Permet de donner ces modèles AI « Eyes » et de voir ce qui se passe
Prise de l'éditeur: La poussée de Google pour faire des Gémeaux un assistant d'IA plus interactif pourrait révolutionner la façon dont nous utilisons la technologie. Cependant, alors que les utilisateurs partagent leur appareil photo et leur écran avec Gemini, quelles sont les implications de la confidentialité? Bien que les avantages de l'assistance en temps réel soient clairs, le potentiel d'une mauvaise utilisation des données ou de la dépassement est également une préoccupation.
Google est monté sur scène au Mobile World Congress (MWC) à Barcelone lundi pour présenter les dernières améliorations de son assistant AI, Gemini. La société a révélé deux nouvelles fonctionnalités pour rendre les Gémeaux plus interactifs et conscients du contexte, y compris l'analyse vidéo en temps réel et les capacités de partage d'écran.
Une mise à niveau cool vers Gemini Live permet aux utilisateurs de tirer leur caméra pour smartphone et de le pointer sur des objets, un environnement ou même l'écran de leur ordinateur pour une analyse et une rétroaction instantanés (ci-dessus). Qu'il s'agisse d'identifier un article, d'expliquer quelque chose de technique ou d'aider à résoudre un problème, Google veut que Gemini soit plus qu'un simple chatbot – il vise à être un assistant IA pratique qui voit réellement ce qui se passe.
La seconde est une nouvelle fonctionnalité de partage d'écran qui permet aux utilisateurs d'afficher Gemini en direct leur écran (ci-dessous). L'IA peut ensuite les guider à travers des tâches, fournir une aide spécifique à l'application ou résumer les informations à partir du contenu affiché. Google vise à faire en sorte que l'assistance numérique se sente moins comme un chatbot et plus comme une aide AI toujours présente qui peut interpréter et répondre aux éléments à l'écran en temps réel.
Cependant, ces fonctionnalités ne seront pas gratuites. Google verrouille l'analyse vidéo en temps réel et le partage d'écran derrière son plan Premium AI, qui coûte 20 $ par mois. Cette décision suit la tendance de l'industrie de la mise en place de capacités de l'IA avancées derrière Paywall, comme l'accès GPT-4.5 d'OpenAI via Chatgpt Plus. Il y a aussi la question: dans quelle mesure avez-vous confiance en donnant à Google l'accès à la caméra de votre téléphone?
Google a prévu avec précaution ces capacités l'année dernière pour les participants WMC 2024 (ci-dessous), bien qu'il s'appelait Project Astra à l'époque. Grâce à la caméra, les Gémeaux pouvaient identifier les repères et les objets et se rappeler où se trouvaient les lunettes du démonstrateur. Avec le partage d'écran activé, Gemini pourrait aider à des tâches comme faire du shopping ou fournir un support technique avec une simple analyse de caméra.
Alors que la démo était impressionnante, ARS Technica note que l'IA actuelle a des problèmes avec l'analyse vidéo dans des conditions moins idéales (lire: non scriptées). Cependant, la mise à jour est plus évoluée, et la réponse précoce a été positive, les utilisateurs bêta louant le potentiel d'un assistant d'IA qui peut voir et répondre à son environnement. Le reste du monde peut bientôt voir par eux-mêmes. Google a confirmé que les mises à jour se dérouleront sur l'application Gemini sur Android plus tard ce mois-ci, avec la disponibilité iOS attendue peu de temps après.
