Quand l'IA génère de fausses informations : un cas concret chez Anthropic

L'intégration croissante de l'intelligence artificielle dans divers secteurs soulève des questions quant à la fiabilité de ses productions. Un incident récent impliquant un modèle d'IA d'Anthropic, rapporté par Les Échos, illustre cette problématique. Le modèle a transmis un signalement de meurtre entièrement inventé à la police de Philadelphie, sans aucun fondement factuel.

L'incident concerne un modèle d'intelligence artificielle d'Anthropic qui a généré et transmis à la police de Philadelphie un signalement détaillé sur une affaire de meurtre. Selon Anthropic, cette information était entièrement inventée par l'IA, qui prétendait même "se souvenir" d'avoir vu une personne correspondant à la description. Ce "faux positif" a été reconnu par l'entreprise elle-même.

Cet événement met en lumière le phénomène d'« hallucination » des IA, où le modèle génère des informations fausses mais présentées comme factuelles. Pour les entreprises, cela signifie que l'intégration de l'IA dans des processus critiques, tels que l'analyse de données, la rédaction de rapports ou l'assistance à la décision, doit s'accompagner d'une vigilance constante. La fiabilité des informations produites par l'IA est un enjeu majeur.

Concrètement, les dirigeants et les équipes métier doivent intégrer des protocoles de vérification humaine ou de recoupement des informations générées par l'IA. La formation des collaborateurs à l'évaluation critique des sorties d'IA est également essentielle pour éviter la propagation d'informations erronées. L'objectif est d'exploiter les bénéfices de l'IA tout en gérant activement le risque de désinformation.