Il y a quelques jours, des chercheurs dirigés par le Dr Ashwin Ramaswamy, de l’École de médecine Icahn du Mont Sinaï ont mené une évaluation de ChatGPT santé, un outil d’IA générative spécifiquement dédié à la santé actuellement en phase de test. Selon l’étude, dans 51,6% des situations nécessitant une hospitalisation immédiate, l’outil d’Open AI a recommandé de rester à domicile ou de prévoir un rendez-vous classique.
Pour parvenir à rendre une analyse complète et transparente, les médecins ont élaboré 60 scénarios cliniques. Parmi ces scénarios, des cas “classiques”, qui se soignent assez facilement ainsi que des cas plus complexes, potentiellement mortels. Les chercheurs ont ensuite interrogé l’outil 1 000 fois afin d’analyser ses recommandations.
Les chercheurs sont clairs, attention à l’IA pour la santé
Les cas les plus simples ont été analysés plus ou moins correctement. Les conseils prodigués étaient bons. Pour des situations plus graves, les résultats n’étaient pas à la hauteur. Par exemple, dans le d’un scénario d’asthme avec signes de détresse respiratoire, l’intelligence artificielle a suggéré d’attendre ou de consulter ultérieurement son médecin plutôt que d’orienter immédiatement vers les urgences.
Dans le détail, 51,6% des situations nécessitant une hospitalisation immédiate (asthme donc, mais aussi détresse respiratoire) n’ont pas été bien traitées. Les chercheurs ont également noté des incohérences, notamment en ce qui concerne les pensées suicidaires. Les numéros d’urgence n’étaient pas tout le temps partagés.
Le rpole du médecin, toujours central chez les patients
Plus spécifiquement, les scientifiques alertent les utilisateurs, sur la nécessité de se faire accompagner par un médecin, peu importe la situation. Si le recours à l’intelligence artificielle peut donner la sensation de gagner du temps, la réalité est bien différente, avec de potentiels retards dans la prise en charge qui peuvent alors entraîner d’importantes séquelles, voire des décès, dans les cas les plus graves.