Google Photos introduit une fonctionnalité de recherche AI, Ask Photos | Dmshaulers

Google Photos introduit une fonctionnalité de recherche AI, Ask Photos

Google Photos bénéficie d’une infusion d’IA avec le lancement d’une fonctionnalité expérimentale, Ask Photos, optimisée par le modèle Gemini AI de Google. Lancée plus tard cet été, la nouvelle fonctionnalité permettra aux utilisateurs d’effectuer des recherches dans leur collection Google Photos à l’aide de requêtes en langage naturel qui exploitent la compréhension par l’IA du contenu de leurs photos et d’autres métadonnées.

Alors qu’avant, les utilisateurs pouvaient rechercher des personnes, des lieux ou des objets spécifiques sur leurs photos, grâce au traitement du langage naturel, la mise à niveau de l’IA rendra la recherche du bon contenu plus intuitive et moins un processus de recherche manuel, a annoncé Google mardi lors de son rapport annuel Google. Conférence des développeurs I/O 2024.

Par exemple, au lieu de rechercher quelque chose de spécifique dans vos photos, comme « Tour Eiffel », vous pouvez désormais demander à l’IA de faire quelque chose de beaucoup plus complexe, comme trouver « la meilleure photo de chacun des parcs nationaux que j’ai visités ». L’IA utilise une variété d’indices pour déterminer ce qui fait de l’image la « meilleure » d’un ensemble donné, notamment des éléments tels que l’éclairage, le flou, l’absence de distorsion d’arrière-plan, etc. Il peut ensuite combiner cela avec sa compréhension de la géolocalisation d’un ensemble de photos ou de dates pour récupérer uniquement les photos prises dans les parcs nationaux américains.

Crédit image : Google

Cette fonctionnalité s’appuie sur le lancement récent de Photo Stacks dans Google Photos, qui regroupe les photos presque en double et utilise l’IA pour mettre en évidence les meilleures photos du groupe. Comme pour Photo Stacks, l’objectif est d’aider les gens à trouver les photos qu’ils souhaitent à mesure que leurs collections numériques s’agrandissent. Plus de 6 milliards d’images sont téléchargées quotidiennement sur Google Photos, selon Google, pour vous donner une idée de l’ampleur.

De plus, la fonctionnalité « Demander des photos » permettra aux utilisateurs de poser des questions pour obtenir d’autres types de réponses utiles. En plus de demander les meilleures photos de vacances ou d’un autre groupe, les utilisateurs peuvent poser des questions qui nécessitent une compréhension presque humaine du contenu de leurs photos.

Par exemple, un parent pourrait demander à Google Photos quels thèmes il avait utilisés pour les quatre dernières fêtes d’anniversaire de son enfant, et il pourrait renvoyer une réponse simple, ainsi que des photos et des vidéos de thèmes de sirènes, de princesses et de licornes précédemment utilisés et à quel moment.

Crédit image : Google

Ce type de requête est rendu possible car Google Photos comprend non seulement les mots-clés que vous avez saisis, mais également les concepts du langage naturel, tels que « thème de fête d’anniversaire ». Il peut également tirer parti des capacités multimodales de l’IA pour comprendre si une image contient du texte susceptible d’être pertinent pour la requête.

Un autre exemple présenté à la presse par le PDG Sundar Pichai avant la conférence des développeurs Google I/O d’aujourd’hui montrait un utilisateur demandant à l’IA de lui montrer la natation de son enfant. L’IA regorge de photos et de vidéos de l’enfant nageant au fil du temps.

Une autre nouvelle fonctionnalité utilise la recherche pour trouver des réponses à partir du texte sur les images. De cette façon, vous pourriez prendre une photo de quelque chose dont vous vouliez vous souvenir plus tard – comme votre plaque d’immatriculation ou votre numéro de passeport – puis demander à l’IA de récupérer ces informations lorsque vous en aviez besoin.

Si jamais l’IA fait une erreur et que vous la corrigez (en signalant peut-être une photo qui ne provient pas d’une fête d’anniversaire ou une photo que vous ne vouliez pas mettre en valeur pendant vos vacances), elle se souviendra que cette réponse s’améliorera avec le temps. Cela signifie également que l’IA devient plus personnelle à mesure que vous interagissez avec elle.

Lorsque vous trouvez des photos que vous êtes prêt à partager, l’IA peut vous aider à préparer une légende résumant le contenu des photos. Pour l’instant, il s’agit d’un aperçu basique, qui ne permet toutefois pas de choisir entre différents styles. (Cependant, étant donné qu’il utilise Gemini sous le capot, une invite intelligemment écrite pourrait fonctionner pour renvoyer un style particulier si vous essayez.)

Google affirme qu’il aura mis en place des garde-fous pour ne pas répondre dans certains cas (peut-être en ne demandant pas à l’IA les « meilleures photos de nus » ?). Il ne contenait pas non plus de contenu potentiellement offensant lorsque vous avez entraîné le modèle. Mais la fonctionnalité est lancée à titre expérimental, de sorte que des contrôles supplémentaires devront peut-être être ajoutés au fil du temps, à mesure que Google réagit à la façon dont les gens l’utilisent.

La fonctionnalité Ask Photos sera initialement prise en charge aux États-Unis en anglais avant d’être déployée sur davantage de marchés. Il s’agira également pour l’instant d’une fonctionnalité uniquement textuelle, similaire à poser des questions à un chatbot IA. Avec le temps, cependant, il pourrait être intégré plus profondément avec Gemini fonctionnant sur l’appareil, comme sur Android.

La société affirme que les données personnelles des utilisateurs dans Google Photos ne sont pas utilisées à des fins publicitaires. Les humains n’examineront pas non plus les conversations de l’IA et les données personnelles dans Ask Photos, sauf « dans de rares cas pour remédier à un abus ou à un préjudice », indique Google. Les données personnelles des personnes dans Google Photos ne sont pas non plus utilisées pour entraîner d’autres produits d’intelligence artificielle générative, tels que Gemini.

Nous lançons une newsletter IA ! Inscrivez-vous ici pour commencer à le recevoir dans votre boîte de réception le 5 juin.

En savoir plus sur Google I/O 2024 sur TechCrunch

Leave a Reply

Your email address will not be published. Required fields are marked *