Écrire des clauses de non-responsabilité pour éviter les grattoirs de machines ne fonctionne pas
Pourquoi est-ce important: Depuis l’émergence de l’IA générative et des grands modèles de langage, certains ont averti que les résultats générés par l’IA pourraient éventuellement influencer les résultats générés par l’IA ultérieurement, créant ainsi une boucle de rétroaction dangereuse. Nous disposons désormais d’un cas documenté d’un tel événement, soulignant encore davantage le risque pour le domaine technologique émergent.
Alors qu’il tentait de citer des exemples de fausses informations provenant de chatbots IA hallucinants, un chercheur a par inadvertance provoqué l’hallucination d’un autre chatbot en influençant les résultats de recherche classés. L’incident révèle la nécessité de mesures de protection supplémentaires à mesure que les moteurs de recherche améliorés par l’IA prolifèrent.
Le chercheur en sciences de l’information Daniel S. Griffin a publié sur son blog deux exemples de désinformation provenant de chatbots plus tôt cette année concernant l’influent informaticien Claude E. Shannon. Griffin a également inclus un avertissement indiquant que les informations des chatbots étaient fausses pour dissuader les grattoirs de machines de les indexer, mais ce n’était pas suffisant.
Griffin a finalement découvert que plusieurs chatbots, dont Bing de Microsoft et Bard de Google, avaient fait référence aux hallucinations qu’il avait publiées comme si elles étaient vraies, les classant en haut de leurs résultats de recherche. Lorsqu’on leur a posé des questions spécifiques sur Shannon, les robots ont utilisé l’avertissement de Griffin comme base pour un récit cohérent mais faux, attribuant à Shannon un article qu’il n’a jamais écrit. Plus inquiétant encore, les résultats de Bing et Bard n’indiquent pas que leurs sources proviennent de LLM.
Oops. Il semble que mes liens vers les résultats de chat de mon test d’hallucinations de Claude Shannon aient empoisonné @bing. pic.twitter.com/42lZpV12PY
– Daniel Griffin (@danielsgriffin) 29 septembre 2023
La situation est similaire aux cas où les gens paraphrasent ou citent des sources hors de leur contexte, conduisant à des recherches mal informées. Le cas de Griffin prouve que les modèles d’IA génératifs peuvent potentiellement automatiser cette erreur à une échelle effrayante.
Microsoft a depuis corrigé l’erreur dans Bing et a émis l’hypothèse que le problème est plus susceptible de se produire lorsqu’il s’agit de sujets pour lesquels relativement peu de documents écrits par des humains existent en ligne. Une autre raison pour laquelle le précédent est dangereux est qu’il présente un modèle théorique permettant aux mauvais acteurs d’utiliser intentionnellement les LLM comme une arme pour diffuser de la désinformation en influençant les résultats de recherche. Les pirates informatiques sont connus pour diffuser des logiciels malveillants en modifiant des sites Web frauduleux afin d’atteindre les meilleurs classements dans les résultats de recherche.
La vulnérabilité fait écho à un avertissement de juin suggérant qu’à mesure que de plus en plus de contenu généré par LLM remplira le Web, il sera utilisé pour former les futurs LLM. La boucle de rétroaction qui en résulte pourrait éroder considérablement la qualité et la fiabilité des modèles d’IA dans un phénomène appelé « effondrement du modèle ».
Les entreprises travaillant avec l’IA doivent veiller à ce que la formation donne continuellement la priorité au contenu créé par l’homme. La préservation des informations et des documents moins connus élaborés par des groupes minoritaires pourrait contribuer à lutter contre ce problème.
