Google minimise les mauvaises réponses, affirmant qu'elles « ne sont pas représentatives de l'expérience de la plupart des gens ».
Forcer l’IA pour tout le monde : Google a déployé des aperçus de l'IA auprès des utilisateurs américains au cours des derniers jours. Alors que l’entreprise affirme que les résumés de l’IA qui apparaissent en haut des résultats de recherche sont pour la plupart corrects et fondés sur des faits, un nombre alarmant d’utilisateurs ont été confrontés à ce qu’on appelle des hallucinations – lorsqu’un LLM présente un mensonge comme un fait. Les utilisateurs sont loin d’être impressionnés.
Lors de mes premiers tests de la fonctionnalité expérimentale de Google, j'ai trouvé les présentations plus désagréables qu'utiles. Ils apparaissent en haut de la page de résultats, je dois donc faire défiler vers le bas pour accéder au matériel que je souhaite. Ils sont souvent incorrects dans les moindres détails et plagient souvent un article mot pour mot.
Ces désagréments m'ont incité à écrire l'article de la semaine dernière expliquant plusieurs façons de contourner la fonctionnalité intrusive maintenant que Google nous l'impose sans interrupteur d'arrêt.
Et maintenant que AI Overviews a eu quelques jours pour s'infiltrer dans le public, les utilisateurs trouvent de nombreux exemples où la fonctionnalité échoue tout simplement.
Les réseaux sociaux regorgent d’exemples amusants et évidents d’IA de Google qui fait trop d’efforts. Gardez à l’esprit que les gens ont tendance à crier lorsque les choses tournent mal et à rester silencieux lorsqu’ils travaillent comme annoncé.
« Les exemples que nous avons vus sont généralement des requêtes très rares et ne sont pas représentatifs des expériences de la plupart des gens », a déclaré un porte-parole de Google à Ars Technica. « La grande majorité des aperçus de l'IA fournissent des informations de haute qualité, avec des liens permettant d'approfondir les recherches sur le Web. »
Même s’il est vrai que la plupart des gens ont de bons résumés, combien de mauvais résumés sont autorisés avant qu’ils ne soient considérés comme peu fiables ? À une époque où tout le monde crie à la désinformation, y compris Google, il semblerait que l’entreprise se soucie davantage des mauvais exemples que de se féliciter des bons – surtout lorsque ses aperçus disent aux gens que courir avec des ciseaux est une bonne chose. cardio.
L'entrepreneur en IA Kyle Balmer présente quelques exemples plus drôles dans une rapide vidéo X (ci-dessous).
La vue d’ensemble de Google AI est un cauchemar. On dirait qu'ils l'ont précipité dehors. Aujourd’hui, Internet s’en donne à cœur joie. Voici quelques-uns des meilleurs exemples https://t.co/ie2whhQdPi
– Kyle Balmer (@iamkylebalmer) 24 mai 2024
Il est important de noter que certaines de ces réponses sont intentionnellement contradictoires. Par exemple, dans celui publié par Ars Technica, le mot « fluide » n'a aucune raison d'être dans la recherche autre que de faire référence au vieux troll/blague, « vous devez changer votre liquide de clignotant ».
La blague existe depuis que j'étais en cours de magasinage au lycée, mais dans sa tentative de fournir une réponse qui englobe tous les termes de recherche, l'IA de Google a repris l'idée d'un troll sur le forum communautaire Good Sam.
Que diriez-vous de lister quelques actrices qui ont la cinquantaine ?
l'IA de Google est si intelligente que c'est honnêtement effrayant pic.twitter.com/7aa68Vo3dw
– Joe Kwaczala (@joekjoek) 19 mai 2024
Bien que 0,250 soit une moyenne au bâton acceptable, un joueur sur quatre ne constitue pas une liste précise. De plus, je parie qu'Elon Musk serait surpris d'apprendre qu'il est diplômé de l'Université de Californie à Berkeley. Selon l'Encyclopedia Britannica, il a en fait obtenu deux diplômes de l'Université de Pennsylvanie. Le plus proche de Berkeley fut deux jours à Stanford avant d'abandonner ses études.
Le même type d'erreur est malheureusement trivial à produire, par exemple pour les PDG du secteur technologique qui sont allés à Berkeley. pic.twitter.com/mDVXT714C7
– MMitchell (@mmitchell_ai) 22 mai 2024
Des erreurs ou des suggestions manifestement évidentes, comme mélanger de la colle avec votre sauce à pizza pour empêcher votre fromage de tomber, ne feront probablement de mal à personne. Cependant, si vous avez besoin de réponses sérieuses et précises, même un mauvais résumé suffit à rendre cette fonctionnalité peu fiable. Et si vous ne pouvez pas lui faire confiance et devez le vérifier en examinant les résultats de recherche réguliers, alors pourquoi dit-il avant tout : « Faites attention à moi ?
Une partie du problème réside dans ce que AI Overviews considère comme une source fiable. Même si Reddit peut être un excellent endroit pour qu'un humain puisse trouver des réponses à une question, ce n'est pas si bon pour une IA qui ne peut pas faire la distinction entre les faits, les fanfictions et la satire. Ainsi, lorsqu’elle voit quelqu’un dire avec insensibilité et désinvolture que « sauter du Golden Gate Bridge » peut guérir quelqu’un de sa dépression, l’IA ne peut pas comprendre que cette personne trollait.
Une autre partie du problème est que Google se précipite sur les aperçus alors qu'il est en mode panique pour rivaliser avec OpenAI. Il existe de meilleurs moyens d’y parvenir qu’en salissant sa réputation de leader des moteurs de recherche en obligeant les utilisateurs à parcourir des absurdités qu’ils n’ont pas demandées. À tout le moins, il devrait s’agir d’une fonctionnalité facultative, voire d’un produit entièrement distinct.
Les passionnés, y compris l'équipe de relations publiques de Google, affirment : « Cela ne fera que s'améliorer avec le temps ».
C'est peut-être le cas, mais j'ai utilisé (lire : toléré) la fonctionnalité depuis janvier, alors qu'elle était encore facultative, et j'ai constaté peu de changement dans la qualité de sa sortie. Donc, prendre le train en marche ne me suffit pas. Google est trop largement utilisé et fiable pour cela.
