Google I/O : pratique avec le projet Astra | Dmshaulers

Google I/O : pratique avec le projet Astra

Comme d’habitude, Google E/S 2024 est un tourbillon absolu de nouvelles et d’annonces. Cette année, au lieu de se concentrer sur le matériel, Android ou Chrome, Google a passé la majeure partie de la conférence des développeurs à nous convaincre qu’il Fonctionnalités de l’IA mérite d’être priorisé. L’un de ces projets est Project Astra, un assistant IA multimodal avec lequel vous pouvez semi-converser et qui peut également utiliser la caméra pour identifier des objets et des personnes.

Je dis “semi” car il est clair après la démo que cette partie de Gemini en est à ses balbutiements. J’ai passé quelques courtes minutes avec le projet Astra sur Pixel 8 Pro pour voir comment cela fonctionne en temps réel. Je n’ai pas eu assez de temps pour le tester dans son intégralité ou essayer de le tromper, mais j’ai eu une idée de ce à quoi l’avenir pourrait ressembler en tant qu’utilisateur d’Android.

Demandez-lui presque n’importe quoi

Le but du Projet Astra est d’être comme un assistant qui vous guide également dans le monde réel. Il peut répondre à des questions sur l’environnement qui vous entoure en identifiant des objets, des visages, des ambiances et des textiles. Cela peut même vous aider à vous rappeler où vous avez placé quelque chose pour la dernière fois.

Un aperçu du mode Pictionary de Project Astra, une autre offre dans la salle de démonstration.
Photo: Florence Ion/Gizmodo

Il y avait quatre démonstrations différentes parmi lesquelles choisir pour le projet Astra. Ils incluaient le mode Storyteller, qui demande à Gemini de créer une histoire basée sur diverses entrées, et Pictionary, essentiellement un jeu de devinette avec l’ordinateur. Il existait également un mode d’allitération dans lequel l’IA montrait ses prouesses pour trouver des mots avec la même lettre de départ, et Free-Form vous permettait de discuter d’avant en arrière.

La démo que j’ai reçue était une version de Free-Form sur le Pixel 8 Pro. Un autre journaliste de mon groupe l’avait directement demandé, l’essentiel de notre démonstration s’est donc concentré sur l’utilisation conjointe de l’appareil et de ce mode de type assistant.

Une image d'une personne tenant le pixel 8 pro et projetant l'astra, identifiant que la personne a un téléphone à la main

Les Gémeaux ont correctement identifié le téléphone dans la main de la personne.
Photo: Florence Ion/Gizmodo

Avec la caméra pointée vers un autre journaliste, le Pixel 8 Pro, Gemini a pu identifier que le sujet était une personne – nous lui avons explicitement dit que la personne s’identifiait comme un homme. Il a alors correctement identifié qu’il portait son téléphone. Dans une question de suivi, notre groupe a posé des questions sur ses vêtements. Il a donné une réponse générale selon laquelle “il semble porter des vêtements décontractés”. Nous avons ensuite demandé ce qu’il faisait, ce à quoi Project Astra a répondu qu’il semblait qu’il mettait une paire de lunettes de soleil (c’était le cas) et prenait une pose décontractée.

J’ai attrapé le Pixel 8 Pro pendant une petite minute. J’ai demandé à Gemini d’identifier correctement un pot de fleurs artificielles. C’étaient des tulipes. Les Gémeaux ont noté qu’ils étaient également colorés. À partir de là, je ne savais pas trop quoi en penser, et mon temps était écoulé. Je suis reparti avec plus de questions que j’en avais posées.

Image d'une personne tenant un Pixel 8 Pro

Les Gémeaux ont correctement identifié les fausses fleurs comme étant des tulipes.
Photo: Florence Ion/Gizmodo

Avec l’IA de Google, cela ressemble à un acte de foi. Je peux voir comment l’identification d’une personne et de ses actions pourrait être un outil d’accessibilité pour aider une personne aveugle ou malvoyante à naviguer dans le monde qui l’entoure. Mais ce n’était pas le but de cette manifestation. Il s’agissait de présenter les capacités du projet Astra et la manière dont nous allons interagir avec lui.

Ma plus grande question est la suivante : est-ce que quelque chose comme Project Astra remplacera Google Assistant sur les appareils Android ? Après tout, cette IA peut se souvenir de l’endroit où vous placez vos affaires et détecter les nuances – du moins c’est ce que la démo véhiculait. Je n’ai pas pu obtenir de réponse des quelques Googleurs que j’ai interrogés. Mais j’ai le fort sentiment que l’avenir d’Android consistera moins à appuyer pour interagir avec le téléphone qu’à lui parler.

Leave a Reply

Your email address will not be published. Required fields are marked *