Les développeurs sont conscients du problème et tentent de freiner ce comportement
Je ne peux pas être idiot : Alors que les modèles actuels de LLM et d’IA générative sont loin de développer l’intelligence humaine, les utilisateurs ont récemment remarqué que ChatGPT affiche des signes de « paresse », un trait inné de l’humain. Les gens ont commencé à remarquer cette tendance vers la fin novembre.
Un utilisateur de Reddit a affirmé avoir demandé à ChatGPT de remplir un fichier CSV (valeurs séparées par des virgules) avec plusieurs entrées. La tâche est quelque chose qu’un ordinateur peut facilement accomplir – même un programmeur débutant peut créer un script de base pour ce faire. Cependant, ChatGPT a refusé la demande, affirmant essentiellement qu’elle était trop difficile, et a demandé à l’utilisateur de le faire lui-même en utilisant un modèle simple qu’il pouvait fournir.
« En raison de la nature étendue des données, l’extraction complète de tous les produits serait assez longue », a expliqué la machine. « Cependant, je peux fournir le fichier avec cette entrée unique comme modèle, et vous pouvez remplir le reste des données selon vos besoins. »
Les développeurs d’OpenAI ont publiquement reconnu ce comportement étrange, mais se demandent pourquoi cela se produit. La société a assuré aux utilisateurs qu’elle étudiait le problème et qu’elle travaillerait sur un correctif.
nous avons entendu tous vos commentaires sur le fait que GPT4 devient plus paresseux ! nous n’avons pas mis à jour le modèle depuis le 11 novembre, et ce n’est certainement pas intentionnel. le comportement du modèle peut être imprévisible, et nous cherchons à le corriger ð«¡
– ChatGPT (@ChatGPTapp) 8 décembre 2023
Certains utilisateurs ont émis l’hypothèse qu’il pourrait imiter les humains qui ont tendance à ralentir pendant les vacances. La théorie a été surnommée « l’hypothèse des vacances d’hiver ». L’idée est que ChatGPT a appris en interagissant avec les humains que fin novembre et décembre sont des périodes de détente. Après tout, de nombreuses personnes utilisent les vacances comme prétexte pour passer plus de temps avec leur famille. Par conséquent, ChatGPT voit moins d’action. Cependant, c’est une chose de devenir moins actif et une autre de refuser catégoriquement de travailler.
Le chercheur amateur en IA Rob Lynch a testé l’hypothèse des vacances d’hiver en alimentant les tâches de l’API ChatGPT avec des dates système falsifiées de mai et de décembre, puis en comptant les caractères dans les réponses du robot. Le robot semble avoir montré des réponses plus courtes « statistiquement significatives » en décembre par opposition à mai, mais cela n’est en aucun cas concluant, même si ses résultats ont été reproduits de manière indépendante.
@ChatGPTapp @OpenAI @tszzl @emollick @voooooogel Résultat sauvage. gpt-4-turbo sur l’API produit des achèvements plus courts (statistiquement significatifs) lorsqu’il « pense » à décembre par rapport à lorsqu’il pense à mai (tel que déterminé par la date indiquée dans l’invite du système).
J’ai suivi exactement la même invite… pic.twitter.com/mA7sqZUA0r
– Rob Lynch (@RobLynch99) 11 décembre 2023
Lynch a effectué son test après que Will Depue d’OpenAI ait confirmé que le modèle d’IA présentait des signes de « paresse » ou de refus de travailler en laboratoire. Depue a fait allusion au fait qu’il s’agit d’un événement « étrange » que les développeurs ont déjà vécu.
« Je ne dis pas que nous n’avons pas de problèmes de refus excessifs (nous en avons certainement) ou d’autres choses étranges (travailler sur la résolution d’un récent problème de paresse), mais c’est le produit du processus itératif consistant à servir et à essayer de prendre en charge tellement de cas d’utilisation. immédiatement », a-t-il tweeté.
Le problème peut sembler insignifiant à certains, mais personne ne souhaite voir l’IA évoluer vers une machine qui refuse de travailler. Un LLM est un outil qui doit être conforme et faire ce que l’utilisateur demande, tant que la tâche respecte ses paramètres. Évidemment, vous ne pouvez pas demander à ChatGPT de creuser un trou dans la cour. Si un outil ne remplit pas sa fonction, nous appelons cela cassé.