Il serait très bénéfique pour les médecins qui essaient de sauver des vies dans des unités de soins intensifs s'ils pouvaient être alertés lorsque l'état d'un patient se détériore rapidement ou montre des signes vitaux dans des gammes très anormales.
Alors que les modèles actuels d'apprentissage automatique tentent d'atteindre cet objectif, une étude de Virginia Tech publiée dans Médecine des communications montre qu'ils échouent avec des modèles de prédiction de mortalité à l'hôpital, qui fait référence à la prévision de la probabilité qu'un patient décède à l'hôpital, ne reconnaissant pas 66% des blessures.
« Les prédictions ne sont précieuses que si elles peuvent reconnaître avec précision les conditions critiques du patient. Ils doivent être en mesure d'identifier les patients atteints d'aggravation des problèmes de santé et d'alerter rapidement les médecins, » dit danfeng « Daphné » Yao, professeur au Département d'informatique et membre du corps professoral d'affiliation au Sanghani Center for Artificial Intelligence and Data Analytics.
« Notre étude a trouvé de graves lacunes dans la réactivité des modèles actuels d'apprentissage automatique, » dit Yao. « La plupart des modèles que nous avons évalués ne peuvent pas reconnaître les événements de santé critiques et cela pose un problème majeur. »
Pour mener leurs recherches, le doctorat de Yao et de l'informatique. L'étudiant Tanmoy Sarkar PIAS a collaboré avec un certain nombre de chercheurs.
Leur papier, « Faible réactivité des modèles d'apprentissage automatique à la critique ou à la détérioration des problèmes de santé, » montre que les données des patients ne sont pas suffisantes pour enseigner aux modèles comment déterminer les risques futurs pour la santé. Étalonner les modèles de soins de santé avec « tester les patients » Aide à révéler la véritable capacité et les limitations des modèles.
L'équipe a développé plusieurs approches de tests médicaux, notamment une méthode d'ascension de gradient et une carte d'activation neuronale. Les changements de couleur dans la carte d'activation neuronale indiquent dans quelle mesure les modèles d'apprentissage automatique réagissent à l'aggravation des conditions des patients. La méthode d'ascension du gradient peut générer automatiquement des cas de test spéciaux, ce qui facilite l'évaluation de la qualité d'un modèle.
« Nous avons systématiquement évalué la capacité des modèles d'apprentissage automatique à répondre à des conditions médicales graves à l'aide de nouveaux cas de test, dont certains sont des séries chronologiques, ce qui signifie qu'ils utilisent une séquence d'observations collectées à intervalles réguliers pour prévoir les valeurs futures, » Dit Pias.
« Guidé par les médecins, notre évaluation a impliqué plusieurs modèles d'apprentissage automatique, des techniques d'optimisation et quatre ensembles de données pour deux tâches de prédiction clinique. »
En plus des modèles qui ne reconnaissent pas 66% des blessures pour la prédiction de la mortalité à l'hôpital, les modèles n'ont pas généré, dans certains cas, des scores de risque de mortalité adéquats pour tous les cas de test. L'étude a identifié des carences similaires dans la réactivité des modèles de pronostic de cancer du sein et du poumon sur cinq ans.
Ces résultats informent la recherche future des soins de santé utilisant l'apprentissage automatique et l'intelligence artificielle (IA), a déclaré Yao, car ils montrent que les modèles statistiques d'apprentissage automatique formés uniquement à partir des données des patients sont largement insuffisants et ont de nombreux angles morts dangereux.
Pour diversifier les données de formation, on peut tirer parti des échantillons synthétiques développés stratégiquement, une approche de l'équipe de Yao a explorée en 2022 pour améliorer l'équité de la prédiction pour les patients minoritaires.
« Une conception plus fondamentale consiste à intégrer profondément les connaissances médicales dans les modèles d'apprentissage machine clinique, » Elle a dit. « Il s'agit d'un travail très interdisciplinaire, nécessitant une grande équipe avec une expertise informatique et médicale. »
Entre-temps, le groupe de Yao teste activement d'autres modèles médicaux, y compris les modèles de gros langues, pour leur sécurité et leur efficacité dans les tâches cliniques sensibles au temps, telles que la détection de la septicémie.
« Les tests de sécurité de l'IA sont une course contre le temps, car les entreprises versent des produits dans l'espace médical, » Elle a dit. « Les tests transparents et objectifs sont un must. Les tests d'IA aident à protéger la vie des gens et c'est à cela que mon groupe est engagé. »