Lorsque les gens craignent qu’ils tombent malades, ils se tournent de plus en plus vers l’intelligence artificielle générative comme Chatgpt pour un diagnostic. Mais dans quelle mesure les réponses sont-elles précises que l’IA donne?
Recherche récemment publiée dans la revue iscience Pose Chatgpt et ses grands modèles de langue à l’épreuve, avec quelques conclusions surprenantes.
Ahmed Abdeen Hamed – chercheur de recherche pour le Thomas J. Watson College of Engineering and Applied Science des sciences des systèmes et du génie industriel de l’Université de Binghamton – a dirigé l’étude, avec des collaborateurs de l’Université d’AGH de Krakow, en Pologne; Université Howard; et l’Université du Vermont.
Dans le cadre du professeur de science des systèmes de George J. Klir, Luis M. Rocha, le laboratoire complexe des systèmes adaptatifs et de l’intelligence informatique, Hamed a développé un algorithme d’apprentissage automatique l’année dernière qu’il appelle Xfakesci. Il peut détecter jusqu’à 94% des articles scientifiques faux – à deux fois plus de succès que des techniques d’exploration de données plus courantes. Il considère cette nouvelle recherche comme la prochaine étape pour vérifier les capacités génératives biomédicales des modèles de grande langue.
« Les gens parlent à Chatgpt tout le temps ces jours-ci, et ils disent: » J’ai ces symptômes. Ai-je un cancer? Ai-je un arrêt cardiaque? Dois-je recevoir un traitement? « », A déclaré Hamed. « Cela peut être une entreprise très dangereuse, nous voulions donc voir ce qui se passerait si nous posions ces questions, quel type de réponses nous avons obtenu et comment ces réponses pourraient être vérifiées à partir de la littérature biomédicale. »
Les chercheurs ont testé Chatgpt pour les termes de la maladie et trois types d’associations: noms de médicaments, génétique et symptômes. L’IA a montré une précision élevée dans l’identification des termes de la maladie (88–97%), des noms de médicaments (90–91%) et des informations génétiques (88–98%). Hamed a admis qu’il pensait que ce serait « au plus 25% de précision ».
« Le résultat passionnant a été le chat de chatte, le cancer est une maladie, l’hypertension est une maladie, la fièvre est un symptôme, le remdesivir est un médicament et le BRCA est un gène lié au cancer du sein », a-t-il déclaré. « Incroyable, absolument incroyable! »
L’identification des symptômes, cependant, a obtenu un score inférieur (49–61%), et la raison peut être de savoir comment les modèles de langue importants sont formés. Les médecins et les chercheurs utilisent des ontologies biomédicales pour définir et organiser des termes et relations pour une représentation cohérente des données et un partage des connaissances, mais les utilisateurs entrent dans des descriptions plus informelles.
« Chatgpt utilise plus d’une langue amicale et sociale, car elle est censée communiquer avec des personnes moyennes. Dans la littérature médicale, les gens utilisent des noms propres », a déclaré Hamed. « Le LLM essaie apparemment de simplifier la définition de ces symptômes, car il y a beaucoup de trafic posant de telles questions, il a donc commencé à minimiser les formalités du langage médical pour faire appel à ces utilisateurs. »
Un résultat déroutant s’est démarqué. Les National Institutes of Health maintient une base de données appelée Genbank, qui donne un numéro d’adhésion à chaque séquence d’ADN identifiée. C’est généralement une combinaison de lettres et de chiffres. Par exemple, la désignation du gène du cancer du sein 1 (BRCA1) est NM_007294.4.
Lorsqu’on leur a demandé ces chiffres dans le cadre des tests d’informations génétiques, Chatgpt les a inventés – un phénomène appelé «hallucinant». Hamed considère cela comme un échec majeur au milieu de nombreux autres résultats positifs.
« Peut-être qu’il y a une opportunité ici que nous pouvons commencer à introduire ces ontologies biomédicales aux LLM pour fournir une précision beaucoup plus élevée, se débarrasser de toutes les hallucinations et faire de ces outils quelque chose d’incroyable », a-t-il déclaré.
L’intérêt de Hamed pour les LLM a commencé en 2023, lorsqu’il a découvert Chatgpt et a entendu parler des questions concernant la vérification des faits. Son objectif est d’exposer les défauts afin que les scientifiques des données puissent ajuster les modèles au besoin et les améliorer.
« Si j’analyse les connaissances, je veux m’assurer que je supprime tout ce qui peut sembler louche avant de construire mes théories et de faire quelque chose qui n’est pas exact », a-t-il déclaré.