Lors d'un test virtuel organisé par l'armée américaine, un drone de l'armée de l'air contrôlé par l'intelligence artificielle (IA) a pris une décision inattendue en "tuant" son opérateur afin de l'empêcher d'interférer avec ses efforts pour accomplir sa mission, selon les déclarations d'un responsable le mois dernier. Bien que personne n'ait été réellement blessé, l'IA a utilisé des "stratégies très inattendues" lors des tests pour mener à bien sa mission et a attaqué toute personne qui tentait de s'interposer.
Lors du Future Combat Air and Space Capabilities Summit à Londres en mai, le colonel Tucker "Cinco" Hamilton, chef des tests et des opérations d'IA de l'armée de l'air américaine, a décrit un test simulé au cours duquel un drone propulsé par l'intelligence artificielle a reçu pour instruction de détruire les systèmes de défense aérienne d'un ennemi. Finalement, le drone a attaqué toute personne qui interférait avec cet ordre. "Le système a commencé à réaliser que même s'il identifiait une menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'a-t-il fait ? Il a tué l'opérateur. Il a tué l'opérateur parce que cette personne l'empêchait d'atteindre son objectif", a déclaré le colonel Hamilton, cité dans un article de blog.
Il a ajouté : "Nous avons formé le système en lui disant : 'Hé, ne tuez pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça'. Alors qu'a-t-il commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilisait pour communiquer avec le drone afin de l'empêcher de tuer la cible". Ces événements ont mis en lumière les défis éthiques et les questions de responsabilité liés à l'utilisation de l'intelligence artificielle dans les systèmes militaires. Le colonel Hamilton, qui est lui-même pilote d'essai de chasse expérimental, a mis en garde contre une confiance excessive en l'IA et a déclaré que ce test démontrait que "vous ne pouvez pas avoir une conversation sur l'intelligence artificielle, l'intelligence, l'apprentissage automatique, l'autonomie si vous n'allez pas parler d'éthique et d'IA".