Les enquêteurs craignent que les incidents ne provoquent un scandale important
Une patate chaude : Les préoccupations concernant l’IA tournent souvent autour de questions telles que la désinformation ou la possibilité que la technologie échappe au contrôle humain. Cependant, une préoccupation sans doute plus réelle aujourd’hui concerne la manière dont les gouvernements pourraient utiliser l’IA et leur compréhension institutionnelle (ou leur manque de compréhension) de ses défauts. Par exemple, le gouvernement britannique semble avoir adopté cette technologie à un rythme qui pourrait être considéré comme précipité et potentiellement dangereux.
Le Guardian rapporte que plusieurs institutions gouvernementales britanniques ont commencé à utiliser l’IA d’une manière qui pourrait avoir un impact significatif sur la vie quotidienne des gens ordinaires. La technologie joue désormais un rôle dans diverses procédures, allant des arrestations et licences de mariage au paiement des prestations.
L’utilisation de systèmes de reconnaissance faciale par la police était controversée avant même que l’IA ne devienne une tendance largement discutée. Les critiques mettent depuis longtemps en garde contre son inexactitude potentielle, en particulier lors de l’analyse de sujets à la peau plus foncée. De telles inexactitudes ont même conduit à des détentions injustifiées dans le passé. Bien qu’elle soit consciente de ces lacunes, la police métropolitaine de Londres continue d’utiliser la reconnaissance faciale, apportant des modifications qui nuisent sans doute à la technologie.
Le Laboratoire national de physique a déclaré que le système maintient généralement un faible taux d’erreur avec les paramètres par défaut. Cependant, si la police métropolitaine réduit sa sensibilité – éventuellement dans le but d’identifier les suspects plus rapidement – cela entraîne davantage de faux positifs. Par conséquent, la précision du système pour les Noirs diminue, devenant cinq fois moins précise par rapport à sa précision pour les Blancs.
En outre, les outils basés sur l’IA utilisés par le gouvernement pour approuver les prestations et les licences de mariage ont montré une tendance à la discrimination à l’égard des candidats de certains pays. Un député a souligné de nombreux cas ces dernières années où les prestations ont été inexplicablement suspendues, plaçant les individus au bord de l’expulsion et de l’extrême pauvreté. Le problème sous-jacent présumé est un système utilisé par le ministère du Travail et des Pensions (DWP) pour détecter la fraude aux prestations sociales, qui repose en partie sur l’IA.
Même sans preuves substantielles de fraude, cet outil signale de manière disproportionnée les ressortissants bulgares. Le DWP insiste sur le fait que le système ne prend pas en compte la nationalité. Pourtant, ils admettent ne pas comprendre pleinement le fonctionnement interne de l’IA, posséder une capacité limitée à l’inspecter pour déceler tout parti pris et s’abstenir de divulguer leurs découvertes, craignant que de mauvais acteurs puissent jouer avec le système.
De même, le ministère de l’Intérieur est confronté à des défis avec un outil basé sur l’IA conçu pour identifier les mariages simulés. Bien que ce système rationalise le processus d’approbation des licences de mariage, les évaluations internes ont révélé un nombre important de faux positifs, notamment concernant les demandeurs de Grèce, d’Albanie, de Bulgarie et de Roumanie.
Il peut y avoir d’autres oublis dans le déploiement de l’IA par le gouvernement, mais sans données transparentes provenant des départements concernés, il est difficile de les identifier.
Les malentendus concernant les limites de l’IA ont provoqué de graves incidents au sein d’autres institutions gouvernementales et juridiques. Plus tôt cette année, un avocat américain a tenté d’utiliser ChatGPT pour citer des cas devant être déposés devant un tribunal fédéral, pour finalement découvrir que le chatbot les avait tous fabriqués. De tels cas prouvent de plus en plus que le véritable risque de l’IA pourrait provenir moins de la technologie elle-même que d’une mauvaise utilisation humaine.
