Origines, algorithmes et causes mathématiques des hallucinations dans les modèles de langage.
Une IA ne possède pas de véritable conscience ni de compréhension de la vérité. C'est un modèle mathématique qui calcule le mot suivant le plus logique en se basant sur des probabilités. S'il existe des lacunes dans ses données d'entraînement, l'IA les comble avec des chaînes de mots statistiquement plausibles, mais totalement inventées.
Imagine que tu lises un livre qui raconte plein de fausses histoires. Si après tu veux expliquer quelque chose à quelqu'un, tu vas forcément lui raconter ces fausses histoires à ton tour ! Comme l'IA utilise Internet pour apprendre et qu'il s'y trouve beaucoup de bêtises, elle croit tout simplement à ces bêtises.
Lors du surapprentissage, l'IA a pour ainsi dire appris ses données d'entraînement par cœur. Si on lui pose une nouvelle question légèrement différente, elle tente à tout prix d'y appliquer son apprentissage rigide. Cela la conduit à établir des liens erronés et à générer de fausses réponses.
Parce que cette machine débite son texte sans réfléchir ! Les grands modèles de langage avancent bêtement de gauche à droite, mot par mot. L'IA ne réfléchit pas à l'avance et ne relit pas non plus les bêtises qu'elle a sorties il y a une seconde. Elle n'a tout simplement pas le cerveau pour capter à quel point ce qu'elle raconte est ridicule.
Ah ouais, grave ! Si tu demandes à l'IA : 'Pourquoi la Terre est une pizza ?', elle veut juste être gentille et abonder dans ton sens. Du coup, elle commence direct à inventer des raisons super intelligentes pour expliquer que la sauce tomate se trouve au pôle Nord, au lieu de bêtement te dire que ta question est complètement stupide.