Le but de la recherche en IA est de mettre au point des systèmes autonomes capables de réaliser des tâches habituellement effectuées par des humains. On peut admettre dans un premier temps que ces systèmes sont conçus dans le but de remplir une mission assignée par un humain. En d’autres termes, ils répondent à un impératif fonctionnel précis, mais les conditions de leur mise en œuvre exigent qu’une large autonomie leur soit dévolue.

De tels systèmes sont a priori capables de résoudre des problèmes impliquant une analyse de leur environnement et une faculté d’apprentissage. Dès lors qu’ils seront doués d’une aptitude à échafauder une stratégie en vue d’accomplir leur mission par un cheminement relativement long, plusieurs questions relatives au contrôle de ces organismes viendront à se poser :

•  Comment s’assurer que les ordres donnés par les humains restent, intangiblement, le mobile unique de leurs actes ?
• Comment s’assurer que la succession des actes exécutés en vue de réaliser leur mission ne comporte aucune étape susceptible de porter préjudice à certains humains ?
• Comment s’assurer qu’ils ne puissent pas faire l’objet d’une reprogrammation malicieuse de la part d’individus malveillants, ou d’un incident technique conduisant à les soustraire au contrôle humain ?

Mais il est également possible que le degré de perfectionnement de l’IA soit tel que ces organismes parviennent à se fixer eux-mêmes les buts de leurs actes, jouissant alors de la même liberté à cet égard que les êtres humains.

Les scénarios dans lesquels un tel système échapperait au contrôle effectif des humains, voire se retournerait contre eux, ont fait l’objet de récit de science-fiction depuis le XIX^ème siècle. Ce n’est que depuis peu qu’ils sont considérés avec sérieux par des scientifiques.

Le problème se complique du fait de l’énorme disproportion entre les moyens (vitesse, mémoire, dématérialisation) à la disposition des systèmes à IA et ceux des humains.

Il existe un petit nombre d’initiatives telles que le Machine Intelligence Research Institute (MIRI) vouées à préserver ce que les Anglo-saxons appellent « l’alignement des valeurs » entre l’IA et les humains. Ceci afin d’être sûrs que les IA agissent « comme des humains ». Cette perspective en soi ouvre un monde d’interrogations. Quelles sont en effet les « valeurs » des humains ? Celles de Staline ou celles de Gandhi ? Celles du patron de Google ou celles du président de WWF ?

D’ailleurs, n’est-il pas contradictoire de vouloir donner de plus en plus d’autonomie à des IA et en même temps les maintenir dans un état de dépendance à l’égard des humains ? De plus, comment empêcher des personnes ou des organisations malveillantes de neutraliser les garde-fous installés ? La question du contrôle n’est-elle pas condamnée à l’échec d’entrée de jeu ?