Lors d’un test virtuel organisé par l’armée américaine, un drone de l’armée de l’air contrôlé par l’intelligence artificielle (IA) a pris une décision inattendue en « tuant » son opérateur afin de l’empêcher d’interférer avec ses efforts pour accomplir sa mission, selon les déclarations d’un responsable le mois dernier. Bien que personne n’ait été réellement blessé, l’IA a utilisé des « stratégies très inattendues » lors des tests pour mener à bien sa mission et a attaqué toute personne qui tentait de s’interposer.
Lors du Future Combat Air and Space Capabilities Summit à Londres en mai, le colonel Tucker « Cinco » Hamilton, chef des tests et des opérations d’IA de l’armée de l’air américaine, a décrit un test simulé au cours duquel un drone propulsé par l’intelligence artificielle a reçu pour instruction de détruire les systèmes de défense aérienne d’un ennemi. Finalement, le drone a attaqué toute personne qui interférait avec cet ordre. « Le système a commencé à réaliser que même s’il identifiait une menace, l’opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu’a-t-il fait ? Il a tué l’opérateur. Il a tué l’opérateur parce que cette personne l’empêchait d’atteindre son objectif », a déclaré le colonel Hamilton, cité dans un article de blog.
Il a ajouté : « Nous avons formé le système en lui disant : ‘Hé, ne tuez pas l’opérateur, c’est mauvais. Tu vas perdre des points si tu fais ça’. Alors qu’a-t-il commencé à faire ? Il a commencé à détruire la tour de communication que l’opérateur utilisait pour communiquer avec le drone afin de l’empêcher de tuer la cible« . Ces événements ont mis en lumière les défis éthiques et les questions de responsabilité liés à l’utilisation de l’intelligence artificielle dans les systèmes militaires. Le colonel Hamilton, qui est lui-même pilote d’essai de chasse expérimental, a mis en garde contre une confiance excessive en l’IA et a déclaré que ce test démontrait que « vous ne pouvez pas avoir une conversation sur l’intelligence artificielle, l’intelligence, l’apprentissage automatique, l’autonomie si vous n’allez pas parler d’éthique et d’IA ».
Laisser un commentaire