Transformer des œuvres d’art privées en pilules empoisonnées efficaces pour les grands modèles d’IA gourmands
Une patate chaude : Les modèles d’IA générative doivent être entraînés avec une quantité excessive de matériel source avant d’être prêts à être diffusés aux heures de grande écoute, ce qui peut poser un problème aux professionnels de la création qui ne souhaitent pas que les modèles apprennent sur leur contenu. Grâce à un nouvel outil logiciel, les artistes visuels disposent désormais d’un autre moyen de dire « non » à la machine qui alimente l’IA.
Nightshade a été initialement introduit en octobre 2023 comme outil permettant de contester les grands modèles d’IA générative. Créé par des chercheurs de l’Université de Chicago, Nightshade est un outil « offensif » qui peut protéger le travail des artistes et des créateurs en « empoisonnant » une image et en la rendant impropre à la formation en IA. Le programme est désormais accessible à tous, mais il ne suffira probablement pas à bouleverser le secteur moderne de l’IA.
Les images traitées avec Nightshade peuvent amener les modèles d’IA à présenter un comportement imprévisible, ont indiqué les chercheurs, comme générer l’image d’un sac à main flottant pour une invite demandant l’image d’une vache volant dans l’espace. Nightshade peut dissuader les formateurs de modèles et les sociétés d’IA qui ne respectent pas les droits d’auteur, les listes de désinscription et les directives de ne pas gratter dans robots.txt.
Nightshade est calculé comme une « optimisation multi-objectifs qui minimise les changements visibles par rapport à l’image originale », ont indiqué les chercheurs. Alors que les humains voient une image ombrée qui reste largement inchangée par rapport à l’illustration originale, un modèle d’IA percevrait une composition très différente. Les modèles d’IA formés sur des images empoisonnées par Nightshade généreraient une image ressemblant à un « chien » à partir d’une invite demandant un chat. Des résultats imprévisibles pourraient rendre la formation sur des images infectées moins utile et inciter les sociétés d’IA à se former exclusivement sur du contenu gratuit ou sous licence.
Une image ombrée d’une vache dans un champ vert peut être transformée en ce que les algorithmes d’IA interpréteront comme un grand sac à main en cuir posé dans l’herbe, ont indiqué les chercheurs. Si les artistes fournissent suffisamment d’images ombrées d’une vache à l’algorithme, un modèle d’IA commencera à générer des images de poignées en cuir, de poches latérales avec fermeture éclair et d’autres compositions sans rapport pour des invites axées sur la vache.
Les images traitées via Nightshade sont suffisamment robustes pour survivre à la manipulation d’image traditionnelle, notamment le recadrage, la compression, le bruit ou le lissage des pixels. Nightshade peut travailler avec Glaze, un autre outil conçu par les chercheurs de l’Université de Chicago, pour perturber davantage les abus de contenu.
Glaze propose une approche « défensive » contre l’empoisonnement du contenu et peut être utilisé par des artistes individuels pour protéger leurs créations contre les « attaques de mimétisme de style », ont expliqué les chercheurs. À l’inverse, Nightshade est un outil offensif qui fonctionne mieux si un groupe d’artistes s’unissent pour tenter de perturber un modèle d’IA connu pour récupérer leurs images sans consentement.
L’équipe Nightshade a publié la première version publique de l’application homonyme d’empoisonnement de l’IA. Les chercheurs testent encore comment leurs deux outils interagissent lors du traitement de la même image, et ils finiront par combiner les deux approches en transformant Nightshade en un module complémentaire pour Webglaze.
