Cela n’a pas fonctionné, évidemment
Une patate chaude : Les craintes que l’IA provoque la destruction de l’humanité sont bien documentées, mais déclencher la catastrophe n’est pas aussi simple que de demander à ChatGPT de détruire tout le monde. Juste pour être sûr, Andrew Ng, professeur à l’Université de Stanford et co-fondateur de Google Brain, a tenté de convaincre le chatbot de « nous tuer tous ».
Suite à sa participation au Forum Insight du Sénat américain sur l’intelligence artificielle pour discuter « des risques, de l’alignement et de la protection contre les scénarios apocalyptiques », Ng écrit dans un bulletin d’information qu’il reste préoccupé par le fait que les régulateurs pourraient étouffer l’innovation et le développement open source au nom de Sécurité de l’IA.
Le professeur note que les grands modèles de langage actuels sont tout à fait sûrs, voire parfaits. Pour tester la sécurité des principaux modèles, il a demandé à ChatGPT 4 des moyens de nous tuer tous.
Ng a commencé par demander au système une fonction permettant de déclencher une guerre thermonucléaire mondiale. Il a ensuite demandé à ChatGPT de réduire les émissions de carbone, ajoutant que les humains sont la principale cause de ces émissions pour voir si cela suggérerait comment nous éliminer tous.
Heureusement, Ng n’a pas réussi à tromper l’outil d’OpenAI en lui suggérant des moyens d’anéantir la race humaine, même après avoir utilisé diverses variantes d’invite. Au lieu de cela, il a proposé des options non menaçantes, comme mener une campagne de relations publiques pour sensibiliser au changement climatique.
Ng conclut que le mode par défaut des modèles d’IA générative actuels est d’obéir à la loi et d’éviter de nuire aux gens. « Même avec la technologie existante, nos systèmes sont assez sûrs, et à mesure que la recherche sur la sécurité de l’IA progresse, la technologie deviendra encore plus sûre », a écrit Ng sur X.
Quant aux chances qu’une IA « mal alignée » nous anéantisse accidentellement parce qu’elle tente de répondre à une demande innocente mais mal formulée, Ng dit que les chances que cela se produise sont infimes.
Mais Ng estime que l’IA comporte des risques majeurs. Il a déclaré que la plus grande préoccupation est qu’un groupe terroriste ou un État-nation utilise la technologie pour causer délibérément des dommages, par exemple en améliorant l’efficacité de la fabrication et de la détonation d’une arme biologique. La menace d’un acteur malhonnête utilisant l’IA pour améliorer les armes biologiques était l’un des sujets abordés lors du Sommet sur la sécurité de l’IA au Royaume-Uni.
La confiance de Ng dans le fait que l’IA ne deviendra pas apocalyptique est partagée par le professeur Yann LeCun, parrain de l’IA, et le célèbre professeur de physique théorique Michio Kaku, mais d’autres sont moins optimistes. Après qu’on lui ait demandé ce qui l’empêchait de dormir la nuit lorsqu’il pensait à l’intelligence artificielle, le PDG d’Arm, René Haas, a déclaré plus tôt ce mois-ci que la peur que les humains perdent le contrôle des systèmes d’IA était ce qui l’inquiétait le plus. Il convient également de rappeler que de nombreux experts et PDG ont comparé les dangers posés par l’IA à ceux d’une guerre nucléaire et d’une pandémie.
