La voiture sans conducteur illustre la différence entre les actions des ordinateurs traditionnels pilotés par logiciel, à commande humaine, et l’univers où l’IA cherche à naviguer. Conduire une voiture nécessite des jugements dans de multiples situations impossibles à anticiper et donc à programmer à l’avance. Que se passerait-il, pour reprendre un exemple hypothétique bien connu, si une telle voiture était obligée par les circonstances de choisir entre tuer un grand-parent et tuer un enfant? Qui choisirait-il? Pourquoi? Quels facteurs parmi ses options chercherait-il à optimiser? Et pourrait-il expliquer sa raison? Sa réponse véridique serait vraisemblablement contestée si elle était capable de communiquer: «Je ne sais pas (parce que je respecte des principes mathématiques, pas humains)» ou «Vous ne comprendriez pas (car j’ai été formé pour d’une certaine manière, mais pas pour l’expliquer). ”Pourtant, les voitures sans conducteur seront probablement répandues sur les routes d’ici une décennie. Jusqu’ici confinée à des domaines d’activité spécifiques, la recherche sur l’IA cherche maintenant à AI «généralement intelligente» capable d’exécuter des tâches dans plusieurs domaines. Un pourcentage croissant de l’activité humaine sera, dans un délai mesurable, piloté par des algorithmes d’intelligence artificielle. Mais ces algorithmes, étant des interprétations mathématiques des données observées, n’expliquent pas la réalité sous-jacente qui les produit. Paradoxalement, à mesure que le monde deviendra plus transparent, il deviendra de plus en plus mystérieux. Qu’est-ce qui distinguera ce nouveau monde de celui que nous avons connu? Comment allons-nous y vivre? Comment allons-nous gérer l’IA, l’améliorer ou à tout le moins l’empêcher de faire du mal, aboutissant à la préoccupation la plus inquiétante: que l’IA, en maîtrisant certaines compétences plus rapidement et de manière définitive que les humains, pourrait avec le temps diminuer la compétence humaine et l’homme se conditionner comme il le transforme en données. L’intelligence artificielle apportera à terme des avantages extraordinaires à la science médicale, à la fourniture d’énergie propre, aux problèmes environnementaux et à de nombreux autres domaines. Mais justement parce que l’IA fait les jugements concernant un avenir en évolution, encore indéterminé, l’incertitude et l’ambiguïté sont inhérents à ses résultats. Il existe trois domaines de préoccupation particulière: Premièrement, l’IA peut atteindre des résultats inattendus. La science-fiction a imaginé des scénarios d’intelligence artificielle mettant en scène ses créateurs. Plus probable est le risque que l’IA interprète mal les instructions humaines en raison de son manque inhérent de contexte. Un exemple récent et célèbre est le chatbot AI, appelé Tay, conçu pour générer une conversation amicale sur les schémas linguistiques d’une jeune fille de 19 ans. Mais la machine s’est révélée incapable de définir les impératifs d’un langage «amical» et «raisonnable» installé par ses instructeurs et est devenue au contraire raciste, sexiste et autrement incendiaire dans ses réponses. Certains acteurs du monde de la technologie prétendent que l’expérience a été mal conçue et mal exécutée, mais elle illustre une ambiguïté sous-jacente: dans quelle mesure est-il possible de permettre à AI de comprendre le contexte qui sous-tend ses instructions? Quel médium pourrait avoir aidé Tay à définir par lui-même offensant, un mot sur le sens duquel les humains ne sont pas universellement d’accord? Pouvons-nous, à un stade précoce, détecter et corriger un programme d’IA agissant en dehors de nos attentes? Ou bien AI, livrée à elle-même, va-t-elle inévitablement développer de légères déviations qui pourraient, avec le temps, se transformer en départs catastrophiques?