Explosion de l’intelligence : possibilités et implications
Luke Muehlhauser, et Anna Salamon. 2012. “Explosion de l’Intelligence: Evidence et Importation.” Dans Singularity Hypotheses: A Scientific and Philosophical Assessment, edité par Amnon Eden, Johnny Søraker, James H. Moor, et Eric Steinhart. Berlin: Springer.
Si vous désirez suggérer des corrections ou des améliorations pour cette traduction ou si vous aimeriez contribuer au travail de l’Institut de Recherche sur l’Intelligence des Machines (Machine Intelligence Research Institute) en traduisant un de nos articles, merci de contacter jake@intelligence.org.
Vous trouverez la version originale en anglais via le lien ci-dessous:
intelligence.org/files/IE-EI.pdf
Auteurs : Luke Muehlhauser et Anna Salamon
Traducteur(s) : Oriane Gaillard et Florent Berthet
Résumé
Dans ce chapitre nous examinons les preuves pour et contre trois affirmations : (1) qu’il existe une importante possibilité que nous créerons une IA de niveau humain avant 2100, (2) que si une IA de niveau humain est créée, il est fort possible qu’une IA largement surhumaine suivra via la “singularité” et (3) qu’une singularité non contrôlée bénéficierait grandement l’humanité si tant est que nous arrivons à l’atteindre. Nous concluons avec des recommandations pour augmenter les chances d’une singularité contrôlée par rapport à une singularité non contrôlée.
Sommaire
2. D’ici à l’IA
2.2. Ralentisseurs
2.4. Combien de temps, alors, avant l’IA ?
3. De l’IA à la Super-Intelligence Artificielle
3.1. Les avantages de l’IA
3.2. Objectifs instrumentalement convergents
3.3. L’Explosion de l’Intelligence
4. Les consequences de la Super-Intelligence Artificielle
4.1. Parvenir à une explosion de l’intelligence contrôlée
4.2. Que pouvons nous faire concernant les risques de l’IA ?
Bibliographie
La meilleure réponse à la question “Les ordinateurs seront-ils un jour plus intelligents que les humains ?” est probablement “Oui, mais juste brièvement.”
—Vernor Vinge
1. Introduction
Il se peut que les humains créent une intelligence artificielle (IA) de niveau humain[1] au cours de ce siècle. Nous assisterons alors peu de temps après à une « explosion de l’intelligence » ou « singularité technologique » —une suite d’événements par lesquels l’IA de niveau humain conduit assez rapidement à des systèmes intelligents dont les capacités surpassent de loin celles de l’humanité biologique dans son ensemble.
Cela est-il probable, et quelles en serait les conséquences ? D’autres ont déjà abordé ces questions (Turing 1950, 1951; Good 1959, 1965, 1970, 1982; Von Neumann 1966; Minsky 1984; Solomonoff 1985; Vinge 1993; Yudkowsky 2008a; Nilsson 2009, chap. 35; Chalmers 2010; Hutter 2012a); notre but ici est de présenter un bref aperçu approprié tant pour les nouveaux venus dans le domaine que pour ceux déjà familiers avec le sujet mais dont l’expertise n’est pertinente que dans certains champs de celui-ci.
Pour un aperçu plus complet de ces arguments, veuillez vous référer à Chalmers (2010, 2012) et Bostrom (à venir). Dans ce court chapitre nous passerons rapidement en revue les preuves pour et contre trois affirmations :
1. Il est assez probable que nous arriverons à créer une IA de niveau humain avant 2100 ;
2. Si une IA de niveau humain est créée, il est fort possible qu’une IA largement surhumaine suivra via la “singularité” ;
3. Une singularité non contrôlée pourrait détruire tout ce à quoi nous tenons, mais une explosion de l’intelligence contrôlée pourrait bénéficier grandement l’humanité si tant est que nous arrivons à l’atteindre.
Le terme de « singularité » étant généralement associé à différentes approches que nous ne défendons pas (Sandberg 2010), nous commencerons par expliquer ce que nous n’affirmons pas.
En premier, nous ne donnerons pas de récit détaillé sur le futur. Chaque étape d’un récit peut être probable, mais si ces étapes sont trop nombreuses, le récit dans son ensemble devient alors improbable (Nordmann 2007; Tversky and Kahneman 1983). Nous ne supposerons pas la prolongation des lois de Moore, ni que la trajectoire prise par le progrès fait dans la construction du matériel informatique détermine les progrès des logiciels, ni que des vitesses d’ordinateur plus rapides impliquent nécessairement une « pensée » plus rapide (Proudfoot and Copeland 2012), ni que les tendances technologiques sont exponentielles (Kurzweil 2005) mais plutôt « courbées en S » ou autre (Modis 2012), ni en effet que les progrès de l’IA accélèreront plutôt qu’ils ne décélèreront (Plebe and Perconti 2012). Au contraire, nous examinerons les résultats concourants qui —comme l’évolution des yeux ou l’émergence des marchés— peuvent se produire de différentes manières et monter en puissance lorsqu’ils débutent.
Deuxièmement, nous ne supposerons pas qu’une intelligence de niveau humain peut être réalisée par une architecture informatique classique de Von Neumann, ni que des machines intelligentes auront les capacités mentales internes telles que la conscience ou une « intentionnalité » similaire à celle des humains, ni que les premières IA auront une localité géographique ou seront facile à désassembler. Ces propriétés ne sont pas requises pour construire une IA, donc des objections à ces affirmations (Lucas 1961; Dreyfus 1972; Searle 1980; Block 1981; Penrose 1994; van Gelder and Port 1995) ne sont pas des objections à l’IA (Chalmers 1996, chap. 9; Nilsson 2009, chap. 24; McCorduck 2004, chap. 8 and 9; Legg 2008; Heylighen 2012) ou à la possibilité d’une explosion de l’intelligence (Chalmers 2012).[2] Par exemple : une machine n’a pas besoin d’être consciente pour transformer intelligemment le monde en accord avec ses préférences, comme il a été démontré par les programmes à “IA faibles” dirigés vers des buts comme les principaux programmes de jeu d’échecs.
Il nous faut aussi clarifier ce que nous entendons par “intelligence” et par “IA”. En ce qui concerne l’intelligence, Legg and Hutter (2007) ont découvert que les définitions d’intelligence utilisées dans les sciences cognitives convergent vers l’idée que “l’intelligence mesure la capacité d’un agent d’atteindre un objectif dans un large éventail d’environnements”. Nous pourrions appeler cela le concept de «puissance d’optimisation» de l'intelligence car cela mesure la capacité d’un agent à optimiser le monde en accord avec ses préférences dans de nombreux domaines différents. Considérons deux agents qui ont les mêmes capacités à optimiser le monde selon leurs préférences, l’un d’entre eux demande beaucoup plus de temps de calcul et de ressources pour agir ainsi. Ils ont la même puissance d’optimisation, mais l’un d’entre eux semble optimiser de manière plus intelligente. Pour cette raison, nous utilisons une description de l’intelligence comme puissance d’optimisation divisée par les ressources utilisés (Yudkowsky 2008b).[3] Pour nos besoins, « l’intelligence » mesure la capacité que possède un agent à optimiser de manière efficace le monde au travers de différents domaines et en accord avec ses préférences. En utilisant cette définition, nous pouvons éviter les objections courantes à l’usage de notions humanocentriques de l’intelligence dans les discussions sur la singularité technologique (Greenfield 2012), et, espérons le, nous éviterons les anthropomorphismes courants qui surgissent souvent lorsque l’on discute d’intelligence (Muehlhauser and Helm 2012).
Par « IA » nous nous référons à une IA forte plutôt qu’une IA faible. Par cela, nous nous référons à des “systèmes qui égalisent et dépassent l’[intelligence] des humains dans pratiquement tous les domaines d’intérêts” (Shulman and Bostrom 2012). Selon cette définition, l’ordinateur Watson d’IBM jouant à Jeopardy! n’est pas une “IA” (dans le sens où nous l’entendons) mais simplement une IA faible, car il ne peut que résoudre un nombre restreint de problèmes. Jetez Watson dans une mare et demandez lui de faire de la science et il sera impuissant même si vous lui donnez un mois de préparation. Imaginez à la place une machine qui peut inventer de nouvelles technologies, manipuler les humains en acquérant des compétences sociales et apprendre autrement à s’orienter dans de nombreux nouveaux environnements sociaux et physiques requis pour atteindre ses buts.
Quelles sortes de machines pourraient accomplir de tels exploits ? Il en est de nombreuses sortes possibles. L’émulation totale du cerveau (whole-brain emulation en anglais ou WBE) serait une émulation informatique des structures du cerveau suffisante pour reproduire de manière fonctionnelle la cognition humaine. Nous n’avons pas besoin de comprendre les mécanismes généraux de l’intelligence pour utiliser le logiciel de l’intelligence humaine déjà inventé par l’évolution (Sandberg and Bostrom 2008). En revanche, une IA “de novo” (conçue de A à Z) suppose que nous réinventions un logiciel d’intelligence tout nouveau. Il existe un large espace de conceptions possibles pour un esprit d’IA de novo (Dennett 1996; Yudkowsky 2008a). "Parmi les approches d'IA de novo, on trouve des programmes de recherche basés sur la symbolique, les probabilités, le connectivisme, l'évolution, les systèmes embarqués, et autres notions (Pennachin and Goertzel 2007).
2. D’ici à l’IA
Pour quand pouvons-nous espérer la première création d’une IA ? Il nous faut autoriser un large éventail de possibilités. En dehors des météorologues (Murphy and Winkler 1984), et des parieurs professionnels talentueux, la quasi-totalité d’entre nous donne des estimations de probabilités imprécises, et sont en particulier trop confiants dans leurs prédictions (Lichtenstein, Fischhoff, and
Phillips 1982; Griffin and Tversky 1992; Yates et al. 2002). Cette trop grande confiance affecte aussi les météorologues (Tetlock 2005), et nous avons de très faibles raisons de penser que les IA météorologistes font mieux.[4] Donc si vous avez un pressentiment concernant le moment auquel une IA sera créée, celui-ci est probablement erroné.
Mais l'incertitude n'est pas une raison pour ignorer toute prédiction (Bostrom 2007). Il nous faut encore décider si nous devons oui ou non encourager le développement de l’émulation totale du cerveau, financer la recherche sur la sûreté de l’IA, etc. Une telle décision présuppose déjà une sorte de prédiction. Choisir de ne pas assurer le financement pour la recherche sur la sûreté de l’IA suggère que nous ne pensons pas que l’IA est proche, alors qu’assurer le financement de la recherche sur la sûreté de l’IA implique que nous pensons que l’IA arrivera bientôt.
2.1. Prévoir l’IA
Quand pouvons-nous donc prévoir quand l’IA sera créée ? Nous considérons diverses stratégies ci-dessous.
En rassemblant la sagesse d’experts ou de différents groupes. De nombreux experts et groupes ont tenté de prévoir la création d’IA. Malheureusement, les prévisions des experts sont souvent à peine meilleures que celles des profanes (Tetlock 2005), les méthodes consistant à solliciter des experts ne se sont en général pas prouvées utiles sur le long terme,[5] et les marchés de prédictions (qui rédigent ostensiblement sur les les opinions de ceux qui croient avoir une certaine expertise) n’ont pas encore été démontrés comme utiles pour la prévision technologique (Williams 2011). Pourtant, il est utile de noter que très peu d’experts (voire aucun) attendent l’IA dans les 5 ans à venir, alors que de nombreux experts attendent l’IA pour 2050 ou 2100.[6]
Par simple extrapolation du matériel informatique. L’auteur de nouvelles Vernor Vinge (1993) a émis ses propres prédictions sur l’IA en se basant sur la tendance évolutive du matériel informatique, mais dans une seconde version de son article en 2003, Vinge note l’insuffisance de son raisonnement ; même si nous acquérons du matériel informatique suffisant pour l’IA, il se peut que le problème du logiciel ne soit pas résolu.[7]
L’extrapolation du matériel informatique est peut-être une méthode plus utile dans un contexte où le logiciel d’intelligence est déjà écrit : l’émulation totale du cerveau. Du fait que la WBE semble dépendre essentiellement de l’amélioration des technologies déjà existantes comme la microscopie et la simulation corticale à grande échelle, la WBE peut être un problème “technique”, ainsi la date à laquelle il existera peut être plus facile à prédire que pour d’autres sortes d’IA.
De nombreux auteurs ont discuté en détail de la difficulté de la WBE (Kurzweil 2005; Sandberg et Bostrom 2008; de Garis et al. 2010; Modha et al. 2011; Cattell et Parker 2012). En bref : La difficulté de la WBE dépend de nombreux facteurs, et en particulier de la résolution de l'émulation nécessaire pour une WBE réussi. Par exemple, une émulation ayant une résolution à l'échelle de la protéine nécessiterait plus de resources et de développement technologique qu'une émulation ayant une résolution à l'échelle du réseau neuronal du cerveau. Dans ce qui peut être le scénario le plus probable,
Une WBE à l’échelle neuronale/synaptique nécessite des améliorations relativement
modestes de la résolution microscopique, un développement plus conséquent de l'automatisation des scanners et du traitement d'image, une poussée de la recherche concernant le problème de la déduction des propriétés fonctionnelles des neurones et des synapses, et la bonne marche du développement habituel des modèles de neurosciences computationelles et du matériel informatique. (Sandberg and Bostrom 2008, 83)
En considérant le temps écoulé depuis Dartmouth. Nous pouvons maintenant tirer des conclusions sur les 50 ans de travail vers l’intelligence des machines depuis la conférence fondatrice de Dartmouth sur l’IA, mais l’IA n’est pas encore là. Cela semble intuitivement être une forte indication selon laquelle l’IA n’arrivera pas dans la minute qui suit, une bonne indication qu’elle n’arrivera pas dans l’année qui suit et une indication significative mais loin d’être irréfutable qu’elle n’arrivera pas dans les prochaines décennies. De telles intuitions peuvent être modélisées, et bien que simplistes, peuvent former un point de départ pour estimer le temps qu’il nous faut attendre avant l’arrivée de l’intelligence des machines.[8]
En suivant les progrès de l’intelligence des machines. Certaines personnes estiment le temps qu’il nous faut d’ici l’IA en se demandant quelle proportion des capacités humaines les logiciels actuels sont capables de reproduire et à quelle vitesse les machines nous rattrapent.[9] Cependant, il est difficile de définir l’espace des “capacités humaines” et combien chacune d’entre elles importe. Nous ne savons pas non plus si les progrès de l’intelligence des machines seront linéaires, exponentiels ou autre. Lorsque l’on observe les progrès d’un enfant qui apprend le calcul intégral, on peut en déduire que l’enfant ne l’apprendra pas avant l’an 3000, jusqu’à ce que soudain l’enfant apprenne d’un coup à 17 ans. Malgré cela, il serait peut-être bon de se demander si l’on peut trouver un moyen d’évaluer pour lequel à la fois : (a) le progrès est suffisamment prévisible pour que l’on puisse l’extrapoler et (b) lorsque les performances arrivent à un certain niveau, on peut s’attendre à l’arrivée de l’IA.
En extrapolant à partir de l’évolution. L’évolution a réussi à créer de l’intelligence sans utiliser l’intelligence pour le faire. Ce fait peut peut-être nous aider à établir une limite temporelle supérieure quant à la difficulté de créer l’IA (Chalmers 2010; Moravec 1976, 1998, 1999), même si cette approche se complexifie avec les effets de sélection d’observation (Shulman and Bostrom 2012).
En estimant les progrès dans les résultats de la recherche scientifique. Imaginer un homme en train de creuser un fossé de dix kilomètres de long. Si il creuse 100 mètres en un jour, on peut prédire que le fossé sera terminé en 100 jours. Mais qu’arrivera-t’il si 20 autres travailleurs se joignent à lui et qu’on leur fourni à tous des pelleteuses ? Le fossé ne devrait plus prendre bien longtemps. De manière analogique, lorsque l’on prévoit le progrès vers l’IA, il peut être utile de considérer non pas quel progrès est fait chaque année mais plutôt quel progrès est fait par unité d’effort de recherche, et combien d’unités d’effort de recherche nous pouvons espérer appliquer au problème dans les décennies à venir.
Malheureusement nous n’avons pas encore découvert de méthodes ayant été démontrées efficaces sur le long terme pour effectuer des prédictions sur la technologie. De nouvelles méthodes sont à l’épreuve (Nagy et al. 2010), mais jusqu’à ce qu’elles se démontrent fructueuses, il nous faut être particulièrement prudent dans nos prédictions sur l’arrivée de l’IA. Ci-dessous, nous nous efforcerons à une dernière approche en ce qui concerne de possibles ralentisseurs et accélérateurs sur le chemin menant à l’IA.
2.2. Ralentisseurs
De nombreux facteurs peuvent ralentir le progrès vers la création d’une première IA. Par exemple : La fin de la loi de Moore. Même si certaines technologies de l’information ont progressé à un rythme exponentiel ou superexponentiel durant de nombreuses décennies (Nagy et al. 2011), cette tendance peut tout aussi bien ne plus se poursuivre pour très longtemps (Mack 2011).
Epuisement des solutions faciles. Le progrès scientifique n’est pas seulement fonction de l’effort de la recherche mais aussi de la facilité de la découverte scientifique ; dans certains domaines il y a souvent un motif de difficulté croissante avec chaque découverte successive (Arbesman 2011; Jones 2009). L’IA peut se révéler être un domaine dans lequel les nouvelles découvertes requièrent beaucoup plus d’effort que les anciennes découvertes.
Effondrement de la société. Divers désastres politiques, économiques, technologiques ou naturels peuvent entraîner un effondrement de la société au cours duquel le progrès scientifique ne continuera pas (Posner 2004; Bostrom et Ćirković 2008).
Manque d’enthousiasme. Chalmers (2010) et Hutter (2012) pensent que le ralentisseur le plus probable dans notre progrès vers l’IA est le manque d’enthousiasme, y compris la prévention active. Il se peut que les humains refusent de créer leurs propres successeurs. De nouvelles technologies comme les “IA-nourrices” (Nanny AI) (Goertzel 2012), ou de nouvelles alliances politiques comme un totalitarisme stable et global (Caplan 2008) peuvent donner aux humains le pouvoir de retarder ou d’entraver le progrès scientifique qui pourrait conduire à la création de l’IA.
2.3. Accelérateurs
D’autres facteurs, cependant, peuvent accélérer les progrès vers l’IA :
Plus de matériel informatique. Pour au moins quatre décennies, la puissance de calcul[10] a augmenté de manière exponentielle, grossièrement en accord avec la loi de Moore[11]. Les experts ont des avis différents concernant combien de temps la loi de Moore tiendra (Mack 2011; Lundstrom 2003), mais même si le matériel informatique progresse moins qu’exponentiellement, nous pouvons nous attendre à ce qu’il soit beaucoup plus puissant dans quelques décennies qu’il ne l’est maintenant[12]. Plus de matériel informatique ne nous fournit pas en soi l’intelligence des machines, mais ça contribue au développement de l’intelligence des machines de différentes manières :
Du matériel informatique puissant peut augmenter les performances simplement en permettant aux solutions de “force brute” déjà existantes de fonctionner plus rapidement (Moravec 1976). Lorsque de telles solutions n’existent pas encore, les chercheurs peuvent être incités à développer rapidement de grandes quantités de matériel informatique à exploiter. De l’informatique bon marché peut permettre beaucoup plus d'expérimentation dans la création d’algorithmes, tout en ajustant les paramètres ou en utilisant des méthodes telles que des algorithmes génétiques. Indirectement, l’informatique peut permettre la production et le traitement d’énormes ensembles de données pour améliorer les performances de l’IA (Halevy, Norvig, and Pereira 2009), ou résulter en une expansion de l’industrie des technologies de l’information et de la quantité des chercheurs dans ce domaine (Shulman and Sandberg 2010).
De meilleurs algorithmes. Bien souvent, les idées mathématiques peuvent réduire le temps de calcul d’un programme par plusieurs ordres de magnitude sans avoir à ajouter de matériel informatique. Par exemple, Deep Blue d’IBM a joué aux échecs au même niveau que le champion du monde Garry Kasparov en 1997 en utilisant 1,5 trillion d’instructions par seconde (TIPS), mais un programme appelé Deep Junior l’a fait en 2003 en utilisant seulement 0,015 TIPS. Ainsi, l’efficacité de calcul des algorithmes aux échecs a augmenté par un facteur de 100 en seulement six ans (Richards et Shaw 2004).
D’énormes ensembles de données. Les plus grands bonds en avant en terme de reconnaissance de la reconnaissance vocale et de logiciels de traduction ne sont pas le résultat de matériel informatique plus rapide ou d’algorithmes codés à la main de manière plus intelligente, mais de l’accès à d’énormes ensembles de données de mots transcrits et traduits par des humains (Halevy, Norvig, et Pereira 2009). Ces ensembles de données devraient augmenter grandement en taille dans les prochaines décennies, et certaines technologies promettent de devancer la “loi de Kryder” (Kryder et Kim 2009), qui indique que la densité de stockage sur disques magnétiques devrait doubler approximativement tous les 18 mois (Walter 2005).
Progrès en psychologie et en neuroscience. Les scientifiques cognitifs ont découvert beaucoup d’algorithmes du cerveau qui contribuent à l’intelligence humaine (Trappenberg 2009; Ashby et Helie 2011). Des méthodes telles que les réseaux neuronaux (importés des neurosciences) et l’apprentissage par renforcement (reinforcement learning) (inspiré par la psychologie du comportement) ont déjà résulté en des progrès significatifs pour l’IA, et les experts s’attendent à ce que ce transfert d’idées des neurosciences vers l’IA continue et peut-être même accélère (Van der Velde 2010; Schierwagen 2011; Floreano and Mattiussi 2008; de Garis et al. 2010; Krichmar et Wagatsuma 2011).
Science accélérée. L’expansion du monde développé signifiera qu’il y aura plus de chercheurs dans de nombreuses universités bien financées qui conduiront des recherches pertinentes pour l’intelligence des machines. La production scientifique dans le monde (en terme de publications) a augmenté d’un tiers de 2002 à 2007, en grande partie dû à la rapide croissance de la production scientifique des pays en développement tels que la Chine et l’Inde (Royal Society 2011).[13] De plus, certains outils peuvent permettre un développement plus rapide dans certains domaines, de la même manière que l’IRMf a accéléré la neuroscience dans les années 1990, et que l’efficacité des scientifiques eux-mêmes peut potentiellement augmenter avec l’augmentation cognitive par produits pharmaceutiques (Bostrom and Sandberg 2009), et les interfaces cerveau-ordinateur qui permettent un accès neuronal direct à de grands ensembles de données (Groß 2009). Pour finir, de nouveaux outils de collaboration comme les blogs et Google Scholar donnent déjà des résultats tels que le Projet Polymath qui résout rapidemment et de manière collaborative des problèmes ouverts en mathématiques (Nielsen 2011).[14]
La motivation économique. Comme les capacité des logiciels à “IA faibles” approches les capacités humaines dans un nombre de plus en plus grand de domaines (Koza 2010), il y aura une demande en augmentation de remplacer les travailleurs humains par des machines moins chères et plus fiables (Hanson 2008, à venir; Kaas et al. 2010; Brynjolfsson et McAfee 2011).
La motivation du premier arrivé. Lorsque l’IA semblera à portée de main, les acteurs politiques et privés verront des avantages considérables à être les premiers à construire l’IA. l’IA pourrait rendre un petit groupe plus puissant que les grandes puissances traditionnelles—un scénario du type “apporter un pistolet dans un combat au couteau”. La course à l’IA pourra peut-être même bien être un scénario pour lequel “le gagnant prend tout”. Ainsi, les acteurs politiques et privés qui réaliseront que l’IA est à portée de main dévoueront une grande quantité de ressources pour le développement de l’IA au plus vite, provocant une course à l’IA (Gubrud 1997).
2.4. Combien de temps alors, avant l’IA ?
Nous n’avons pas encore mentionné deux développements, certes petits mais significatifs, qui nous mettent d’accord avec Schmidhuber (2012) sur le fait que “le progrès vers une IA s’auto-améliorant dépasse déjà considérablement ce dont sont au courant de nombreux futuristes et philosophes”. Ces deux développements sont l’agent modèle AIXI de Marcus Hutter, universel et pouvant être démontré comme optimal, (Hutter 2005), et les modèles de la machine de Gödel, universelle et auto-améliorante de Jürgen Schmidhuber (Schmidhuber 2007, 2009).
Schmidhuber (2012) résume l’importance de la machine de Gödel :
[La] machine de Gödel ... est déjà une IA universelle qui est au moins théoriquement optimale dans un certain sens. Elle peut interagir avec un environnement non connu au départ et partiellement observable qui maximise l’utilité ou la récompense future attendue en résolvant des tâches de calcul définies arbitrairement par l’utilisateur. Son algorithme initial n’est pas câblé ; elle peut se réécrire complètement sans limite essentielle en dehors des limites de calcul, si tant est qu’un analyseur de démonstration intégré dans l’algorithme initial peut d’abord prouver qu’une telle réécriture est utile, selon la fonction d’utilité formelle prenant en compte les limites des ressources calculables. L’auto-réécriture peut modifier/améliorer l’analyseur de démonstration lui-même et peut se révéler être globalement optimal, relativement aux fameuses restrictions fondamentales de démonstration de Gödel (Gödel 1931)...
Tout cela signifie qu’il existe déjà un plan prévu pour l’IA Universelle qui résoudra presque tous les problèmes presque aussi vite que si elle connaissait déjà le meilleur algorithme (inconnu) pour les résoudre, car presque tous les problèmes que l’on peut imaginer sont assez large pour rendre la constante ajoutée négligeable. De fait, il me faut faire opposition à ce qu’à dit Chalmers, que “il nous faut encore trouver les bons algorithmes, et personne n’est encore près de les trouver”.
Ensuite tournons-nous vers Hutter (à venir) pour un résumé sur l’importance de AIXI :
Les éléments concrets d’AIXI sont les suivants : Les actions intelligentes sont basées sur des décisions bien informées. Former de bonnes décisions nécessite des prédictions qui sont typiquement basées sur des modèles de nos environnements. Ces modèles sont construits ou appris par induction de nombreuses observations. Heureusement, selon de nouvelles idées philosophiques et d’importants développements en mathématiques, tous ces problèmes peuvent être dépassés, tout du moins en théorie : Alors, de quoi avons-nous besoin (d’un point de vue mathématique) pour construire un agent universel et optimal, capable d’apprendre en interagissant avec un quelconque environnement inconnu ? La théorie, dénomée IAU (Intelligence Artificielle Universelle, ou UAI en anglais, Universal Artificial Intelligence), développée au court de la dernière décennie et exposée par Hutte (2005) dit : Tout ce dont nous avons besoin est Ockham, Epicurus, Turing, Bayes, Solomonoff (1964a, 1964b), Kolmogorov (1965), et Bellman (1957) : La théorie de la décision séquentielle (Bertsekas 2007) (equation de Bellman) résout de manière formelle le problème des agents rationnels dans des mondes incertains si la véritable distribution de probabilité selon l’environnement est connue. Si l’environnement est inconnu, les Bayesiens (Berger 1993) remplaceront la véritable distribution par un mélange pondéré de distributions d’un certain type (d’hypothèse). Utiliser la grande catégorie de (semi) mesures qui sont (semi) calculables par une machine Turing (implique Epicure) qui nous apprend à ne pas rejeter toutes les hypothèses (cohérentes). Pour ne pas ignorer Ockham, qui sélectionnerait l’hypothèse la plus simple, Solomonoff défini un préalable universel qui assigne une priorité plus ou moins élevées selon la complexité des environnements (Rathmanner and Hutter 2011), alors que Kolmogorov quantifie la complexité (Li and Vitányi 2008). Leur unification constitue la théorie de l’IAU et produit... AIXI.[15]
AIXI n’est pas calculable, mais des approximations de calcul ont déjà été testées de manière expérimentale, et révèlent un chemin vers l’IAU[16] qui résout les problèmes du monde réel dans différents environnements :
Celui-là même [AIXI, approximation de “MC-AIXI-CTW”] est déjà capable de jouer au Tic-Tac-Toe, Kuhn Poker et même, de manière impressionnante, à Pacman (Veness et al. 2011) en partant de zéro. En dehors de Pacman, il existe des centaines d’autres jeux d’arcade des années 1980 et il serait sensationnel si un seul algorithme pouvait les apprendre tous seulement par tâtonnements, ce qui semble être possible avec (une variante de) MC-AIXI-CTW. Même s’ils ne sont que des jeux divertissants, ils contiennent plusieurs éléments prototypes du monde réel, tels que la nourriture, les ennemis, les amis, l’espace, les obstacles, les objets, les armes. Un essai dans des mondes virtuels modernes pourrait suivre... lesquels nécessitent des agents intelligents, et au final quelques problèmes choisis dans le monde réel.
Alors quand créerons-nous l’IA ? Toute prédiction sur le sujet a un grand potentiel d’erreur. Etant donné l’histoire des prédictions confiantes mais fausses sur l’IA (Crevier 1993), et les ralentisseurs potentiels de l’IA, il semble peu judicieux d’être sûr à 90% que l’IA arrivera dans le siècle qui vient. Mais une confiance à 90% que l’IA n’arrivera pas avant la fin de lu siècle semble aussi être faux, étant donné que (a) de nombreuses découvertes difficiles en IA ont été réalisées (y compris la machine de Gödel et AIXI), (b) différents facteurs, tels que la science automatisée et la motivation à agir le premier, peuvent accélérer le progrès vers l’IA et (c) l’émulation totale du cerveau semble être possible et a un développement plus facile à prédire qu’une IA de novo. Ainsi, nous pensons qu’il y a une grande probabilité que l’IA soit créée au cours de ce siècle. Cette affirmation n’est pas scientifique—le domaine des prévisions technologiques n’est pas encore assez développé pour cela—mais nous pensons que notre affirmation est raisonnable.
La création d’une IA de niveau humain aura des répercussions sérieuses, comme le remplacement de beaucoup voire de tous les travailleurs humains (Brynjolfsson and McAfee 2011). Mais si l’IA a beaucoup de chance de mener à la super-intelligence des machines, comme nous l’expliquons plus loin, les conséquences pourraient être encore plus importantes.
3. De l’IA à la super-intelligence artificielle
Il semble improbable que les humains soient proches d’un plafond en ce qui concerne toutes les intelligences possibles, plutôt que d’être simplement la première intelligence qui se trouve être évolutive. Les ordinateurs dépassent largement les humains dans de nombreux domaines restreints (par exemple l’arithmétique, les échecs, la capacité de mémorisation), et nous avons des raisons de croire que de larges développements similaires au delà des performances humaines sont possibles pour le raisonnement en général, la conception technologique, et d’autres domaines d’intérêt. Comme l’a écrit l’occasionnel critique de l’IA Jack Schwartz (1987) :
Si tant est que l’intelligence artificielle peut être créée, il existe très peu de raisons de croire que les succès de départ ne peuvent pas mener rapidement à la construction de super-intelligences artificielles capable d’explorer des alternatives mathématiques, scientifiques ou d’ingénierie importantes à un rythme qui surpasse de loin les capacités humaines, ou de générer des plans et de les mettre en place avec une rapidité toute aussi écrasante. Puisque le presque monopole des plus hautes formes de l’intelligence possédé par les humains a été un des facteurs les plus basiques de l’existence humaine à travers notre histoire passée sur cette planète, de tels développements créeraient de nouvelles économies, une nouvelle sociologie et une nouvelle histoire.
Pourquoi l’IA conduirait-elle “rapidement” à la super-intelligence des machines ? Nous considérons différentes raisons ci-dessous.
3.1. Les avantages de l’IA
Nous listons ci-dessous quelque uns des avantages de l’IA qui lui permettront peut-être de devenir non seulement beaucoup plus intelligente que quelque humain que ce soit mais aussi plus intelligente que l’humanité biologique dans son ensemble (Sotala 2012; Legg 2008). Beaucoup de ces avantages sont uniques à l’intelligence des machines, et c’est pourquoi nous nous intéressons à l’explosion de l’intelligence depuis l’IA plutôt qu’une amélioration cognitive biologique (Sandberg 2011).
Des capacités de calcul augmentées. Le cerveau humain utilise 85-100 milliards de neurones. Cette limite est imposée par les contraintes sur le volume et le métabolisme du cerveau, produites par les procédés de l’évolution. Au contraire, une intelligence artificielle pourrait utiliser des ressources informatiques extensibles (imaginez un “cerveau” de la taille d’un entrepôt). Alors que les algorithmes auraient besoin d’être modifiés pour être augmentés de manière utile, on peut s’imaginer grossièrement l’impact potentiel en remarquant que les humains ont des cerveaux 3,5 fois plus grands que les chimpanzés (Schoenemann 1997), et que la taille du cerveau et le QI sont corrélés positivement chez les humains avec un coefficient de corrélation d’environ 0,35 (McDaniel 2005). Une étude suggère une corrélation similaire entre la taille du cerveau et les capacités cognitives des rats et des souris (Anderson 1993).[17]
Vitesse de communication. Les axones transportent des signaux par pics à une vitesse de 75 mètres par seconde ou moins (Kandel, Schwartz, and Jessell 2000). Cette vitesse est une conséquence définie par notre physiologie. A l’inverse, les logiciels de nos cerveaux pourraient être transférés sur du matériel informatique plus rapide, et pourraient ainsi traiter l’information plus rapidement. (Bien sûr, cela dépend aussi de l’efficacité des algorithmes utilisés ; du matériel informatique plus rapide compense pour des logiciels moins efficaces).
Augmentation de la profondeur de série. Due à la lente fréquence de tir des neurones, le cerveau humain dépend d’une parallélisation massive et est incapable de performer rapidement un calcul qui requiert plus de 100 opérations séquentielles (Feldman and Ballard 1982). Il y a peut-être des tâches cognitives qui pourrait être performées de manière plus efficace et précises si les capacités du cerveau à supporter les algorithmes parallélisables de filtrage par motif étaient remplacées par un support pour des processus séquentiels plus longs. En fait, il existe de nombreux algorithmes déjà connus pour lesquels la meilleure version parallèle utilise beaucoup plus de ressources informatiques que la meilleure série d’algorithmes, en raison des exigences de fonctionnement de la parallélisation.[18]
Potentiel de duplication. Notre collègue de recherche Steve Rayhawk aime à décrire l’IA en tant qu’”intelligence instantanée ; ajoutez juste du matériel informatique !” Ce que Rayhawk veut dire par là est que, alors qu’il faudra des recherches importantes pour concevoir la première IA, créer des IA supplémentaires est juste une question de copier un logiciel. La population de cerveaux numériques peut alors s’étendre pour remplir le matériel informatique de base disponible, dépassant peut-être rapidement la population des cerveaux biologiques.
Le potentiel de duplication permet aussi à la population des IA de devenir rapidement dominée par les IA nouvellement construites avec de nouvelles capacités. Puisque les capacités d’une IA sont stockées sous forme numérique, son état actuel peut être copié,[19] y compris sa mémoire et ses capacités acquises—similairement au fait que “l’état du système” peut être copié par des programmes d’émulation du matériel informatique ou des systèmes de programmes de sauvegarde. Un humain qui poursuit une éducation n’augmente que son ou sa performance, mais une IA qui devient 10% meilleure à gagner de l’argent (par dollar de matériel informatique rentable) que d’autres IA peut être utilisée pour remplacer les autres au travers toute la base informatique—rendant chacune de ses copies 10% plus efficace.[20]
Potentiel de modification. La numérisation ouvre des paramètres de variations contrôlées qui sont impossibles avec les humains. Nous pouvons donner accès aux humains à des programmes de formations mais nous ne pouvons pas performer sur eux des neurochirurgies de manière précise et capables d’être reproduites. Les travailleurs numériques seraient sujets à beaucoup plus de modification que les travailleurs humains ne le sont. Considérons tout d’abord les possibilités pour l’émulation totale du cerveau. Nous savons que la stimulation magnétique transcranienne (ou TMS, abréviation de l'anglais Transcranial Magnetic Stimulation) appliquée à une partie du cortex préfrontal peut améliorer la mémoire de travail (Fregni et al. 2005). Puisque la TMS fonctionne en réduisant et en augmentant “l’’excitabilité” de certains groupes de neurones, il semble possible que réduire ou augmenter le paramètre “d’excitabilité” de certains groupes de neurones (virtuels) dans un cerveau informatique en améliorerait les performances. Nous pourrions aussi modifier expérimentalement des dizaines d’autres paramètres de l’émulation totale du cerveau, tels que des taux de glucose stimulés, des cellules souches (virtuelles) indifférenciées greffées sur des modules particuliers du cerveau tels que le cortex moteur, et des connections rapides au travers de différentes parties du cerveau.[21] En second lieu, une AI transparente, modifiable, pourrait être encore plus modifiable de manière directe qu’une émulation totale du cerveau—par son code source par exemple (bien sûr, de telles possibilités entraînent des questions éthiques).
Coordination des objectifs. Appelons un ensemble de copies ou de quasi-copies d’IA un “clan de copies”. Etant donné leurs objectifs communs, un clan de copies n’aurait pas à faire face à certains problèmes de coordination d’objectifs qui limitent l’efficacité humaine (J. W. Friedman 1994). Un humain ne peut pas utiliser un salaire augmenté au centuple pour acheter une augmentation au centuple de son nombre d’heures productives quotidiennes. Mais un clan de copies, si ses taches peuvent être mises en parallèle, peut tout à fait le faire. Tout gain fait par un tel clan de copies, ou par un humain ou une organisation humaine contrôlant ce clan pourrait potentiellement investir dans un développement de l’IA, permettant aux avantages de départ de fusionner.
Une rationalité améliorée. Certains économistes parlent des humains en tant qu’Homo economicus : des agents rationnels égoïstes qui font ce qu’ils pensent être le mieux pour maximiser la réalisation de leurs objectifs (M. Friedman 1953). Cependant, basé sur des études comportementales, Schneider (2010) montre que nous ressemblons plus à Homer Simpson : nous sommes des créatures irrationnelles qui manquent d’objectifs cohérents et stables (Schneider 2010; Cartwright 2011). Mais imaginez un peu si vous étiez un Homo economicus. Vous pourriez vous cantonner à un régime et utiliser le reste de votre temps de manière optimale pour apprendre quelles activités pourrait vous permettre de réaliser vos objectifs, et continuer avec ce plan optimal, aussi fastidieux soit-il. Des intelligences artificielles de nombreuses sortes peuvent être écrites de façon à ce qu’elles soient largement plus rationnelles que les humains, et augmenter du même coup les intérêts de la pensée et de l’action rationnelles. Le modèle d’agent rationnel (utilisant la théorie de la probabilité Bayesienne et la théorie de l'espérance d'utilité est un paradigme mature dans les conceptions actuelles d'intelligence artificielle (Hutter 2005; Russell and Norvig 2010, ch. 2).
Les avantages de l’IA suggèrent que les IA seront capables de surpasser largement les capacités cognitives et la puissance d’optimisation de l’humanité entière, mais auront-elles cette intention ? Même s’il est difficile de prévoir les intentions d’une IA avancée, nous pouvons faire quelques prédictions concernant les objectifs instrumentaux vers lesquels elles convergera—les objectifs instrumentaux utiles pour satisfaire ses objectifs finaux.
3.2. Objectifs instrumentalement convergents
Pour Omohundro (2007, 2008, 2012) et Bostrom (à venir), il existe différents objectifs instrumentaux qui seront ceux de presque toutes les intelligences avancées, car de tels objectifs sont des intermédiaires utiles pour la réalisation de presque tous les objectifs finaux. Par exemple :
- Une IA cherchera à se préserver, car si elle est détruite elle ne sera plus capable d’agir dans le futur pour maximiser la satisfaction de ses objectifs actuels.
- Une IA voudra préserver le contenu de ses objectifs finaux, car si ce contenu est changé elle aura moins de chances d’agir sur le futur pour maximiser la satisfaction de ses objectifs actuels.[22]
- Une IA voudra améliorer sa propre rationalité et intelligence car cela améliorera sa capacité à prendre des décisions et augmentera ainsi sa capacité à réaliser ses objectifs.
- Une IA voudra acquérir autant de ressources que possible, de manière à ce que ces ressources puissent être transformées et utilisées pour satisfaire les objectifs finaux et instrumentaux de l’IA.
Plus loin nous verrons en quoi ces objectifs instrumentalement convergents suggèrent que le résultat par défaut d’une IA avancée est l’extinction humaine. Pour l’heure, examinons les mécanismes d’auto-amélioration de l’IA.
3.3. L’explosion de l’intelligence
The objectifs instrumentalement convergents pour l’auto-amélioration a une conséquence particulière. Lorsque les programmeurs humains auront construit une IA avec une meilleure capacité que les humains à concevoir d’autres IA, l’objectif instrumental pour l’auto-amélioration pourra inciter une boucle de rétroaction positive d’auto-amélioration.[23] Alors lorsque l’intelligence des machines s’améliorera elle-même, elle améliorera l’intelligence qui produit ces améliorations. Ainsi, si de simples efforts humains suffisent à produire l’intelligence artificielle au cours de ce siècle, une large population d’IA supérieures aux humains pourra créer de rapides cycles d’auto-amélioration en cascades, permettant une transition rapide à la super-intelligence artificielle. Chalmers (2010) parle de ce processus en détails, nous ne ferons donc ici qu’ajouter quelques points supplémentaires.
Le terme “auto” (self) dans des mots comme “auto-amélioration récursive” (recursive self-improvement) ou “quand l’intelligence artificielle s’auto-améliore” est quelque peu inapproprié. L’intelligence artificielle pourrait tout à fait modifier son propre code tout en continuant de fonctionner (Schmidhuber 2007; Schaul and Schmidhuber 2010), mais elle pourrait également créer de nouvelles intelligences qui fonctionneront de manière indépendante. Alternativement, de nombreuses IA (dont peut-être les WBEs) pourraient travailler ensemble pour concevoir la nouvelle génération d’IA. L’explosion de l’intelligence pourrait advenir grâce à l’“auto”-amélioration ou à travers l’amélioration d’autres IA.
Une fois qu’aura commencé l’auto-amélioration durable des machines, le développement de l’IA n’aura pas besoin de suivre le rythme de l’innovation technologique humaine. Il y a par contre un débat important concernant la rapidité et la localité avec laquelle ce processus de “décollage” arriverait (Hanson and Yudkowsky 2008; Loosemore and Goertzel 2011; Bostrom, à venir), ainsi que sur la question de savoir si l’explosion de l’intelligence résulterait en un état d’équilibre entre de multiples intelligences artificielles ou bien en une seule machine, un “singleton” (Bostrom 2006). Nous ne parlerons pas de ces questions complexes ici.
4. Les conséquences de la super-intelligence artificielle
Si les machines dépassent largement les niveaux d’intelligence humaine—c’est à dire, surpassent les capacités humaines pour des optimisations inter-domaines efficaces—nous nous trouverons dans un rôle analogue à celui des singes qui ont regardé les humains inventer le feu, l’agriculture, l’écriture, la science, les armes et les avions, et qui ont ensuite pris le contrôle de la planète. (Une des différence majeure est qu’aucun singe n’a pu être témoin de la saga dans son ensemble, alors que nous pourrions tout à fait être témoins d’un changement vers la supériorité des machines en l’espace d’une vie humaine.) De telles machines nous seraient supérieures dans la manufacture, la collecte de ressources, la découverte scientifique, les aptitudes sociales, l’action stratégique et autres capacités. Nous ne serions pas en position de négocier avec eux, de la même manière que les chimpanzés et les dauphins ne sont pas en position de négocier avec les humains.
De plus, l’intelligence peut être utilisée pour poursuivre quelque but que ce soit. Comme le dit Bostrom (2012), rendre les IA plus intelligentes ne les fera pas changer de systèmes de buts—en effet, les IA seront motivées pour préserver leurs nombreux buts. Rendre les IA plus intelligentes ne fera que les rendre plus capables d’atteindre leurs buts originaux, quelqu’ils soient.[24]
Cela nous amène à l’un des points central du risque de l’IA : A moins que l’IA ne soit programmée spécifiquement pour préserver les valeurs humaines, elle détruira ces structures qui nous sont si chères (y compris les humains) de manière accidentelle. Comme l’explique Yudkowsky (2008a), “l’IA ne vous aime pas, pas plus qu’elle ne vous hait, mais vous êtes fait d’atomes qu’elle peut utiliser pour fabriquer quelque chose d’autre.”
4.1. Parvenir à une explosion de l’intelligence contrôlée
Comment, alors, pouvons nous donner aux IA des buts désirables avant qu’elles s’auto-améliorent au delà de notre capacité à les contrôler ou à négocier avec elles ?[25] WBEs et autres IA “inspirés du cerveau” utilisant une “programmation spaghetti” dérivée des humains n’auront pas nécessairement un créneau clair de ce que seront leurs buts spécifiques désirés (Marcus 2008). Cela pourra aussi être vrai d’autres designs d’IA “obscurs”, tels que ceux produits par les algorithmes évolutionnistes—ou même de designs d’IA plus transparents. Même si une IA a un design transparent avec une fonction d'utilité définie clairement,[26] pouvons nous connaître la manière de leur donner des buts désirables ? Malheureusement, spécifier ce à quoi les humains attachent de la valeur est extrêmement difficile étant donné la complexité et la fragilité des préférences humaines (Yudkowsky 2011; Muehlhauser et Helm, 2012), et permettre à une IA d’apprendre les buts désirés par récompense et punition ne sera pas plus facile (Yudkowsky 2008a). Si cela est vrai, alors la création d’une IA qui s’auto-améliore sera par défaut nuisible, à moins que nous ne résolvions le problème de la construction d’une IA avec une fonction d’utilité stable et désirable—une “IA Amicale” (Friendly AI ou FAI en anglais) (Yudkowsky 2001).[27] Mais supposons qu’il est possible de concevoir une IA Amicale capable d’une auto-amélioration radicale. Les projections normales de croissance économique permettent de penser que de grandes découvertes utiles au bien-être de l’homme auront lieu à la longue—mais une IA Amicale pourrait faire ces découvertes beaucoup plus tôt. Une super-intelligence bienfaisante pourrait, comme l’écrit Bostrom (2003), “créer des opportunités pour nous d’augmenter grandement nos propres capacités intellectuelles et émotionnelles, et pourrait nous aider à créer un monde expérimental très attrayant dans lequel nous pourrions passer tout notre temps à jouer, interagissant, expérimentant, s’occupant de notre développement personnel et vivant près de nos idéaux”.
Pensant que la réalisation d’une FAI pourrait être trop difficile, Goertzel (2012) propose une “IA nourrice” mondiale (Nanny AI en anglais) qui pourrait “prévenir une Singularité entière pour un certain temps, ...nous donnant plus de temps pour arriver à concevoir quel type de Singularité nous voulons vraiment construire et comment.” Goertzel et d’autres ayant travaillé sur les théories de la sûreté de l’IA apprécieraient grandement avoir plus de temps pour résoudre les problèmes de sûreté de l’IA avant la création de la première IA pouvant s’auto-améliorer, mais nous suspectons que l’“IA nourrice” est complètement amicale ou proche de l’être. C’est à dire, pour construire une “IA nourrice”, il se peut que nous ayons à résoudre des problèmes requis pour construire une IA amicale complètement épanouie, par exemple celui des buts spécifiques précis (Yudkowsky 2011; Muehlhauser and Helm, 2012), et le problème de maintenir une fonction d’utilité stable sous des auto-modifications radicales, incluant des mises à jour de l’ontologie interne à l’IA (de Blanc 2011).
Les approches d’une explosion de l’intelligence contrôlée que nous avons eu l’occasion d’observer jusqu’à présent tentent de restreindre les buts de l’IA, mais d’autres suggèrent une variété de contraintes “externes” pour des IA orientées vers un but : confinement physique ou informatique (Chalmers 2010; Yampolskiy 2012), mécanismes de dissuasion et pièges qui arrêterait une IA qui entamerait un comportement dangereux. Malheureusement, ces solutions creuseraient le fossé entre l’intelligence humaine et l’intelligence surhumaine, et nous ne pouvons pas nous attendre à ce que la première prévale. Peut-être pourrons-nous construire une IA aux capacités cognitives limitées—disons une machine qui ne fait que répondre à des questions, une “IA oracle”. Mais cette approche n’est pas sans ses propres dangers (Armstrong, Sandberg, and Bostrom 2012).
Malheureusement, même si ces approches plus tardives fonctionnent, il se peut qu’elles ne fassent que retarder le risque de l’IA sans pour autant l’éliminer. Si une équipe pour le développement de l’IA constuit soit une IA oracle ou bien une IA dirigée vers un but sous des contraintes externes réussies, d’autres groupes pour le développement de l’IA pourraient ne pas être loin de construire leurs propres IA, certains avec des mesures de sécurité moindres. Une IA Amicale avec suffisamment de temps, cependant, pourrait permettre d’éviter la création d’IA dangereuses.
4.2. Que pouvons-nous faire concernant les risques de l’IA ?
Du fait qu’une IA surhumaine et d’autres technologies très puissantes puissent poser des risques pour l’existence humaine (“risque existentiel”), Bostrom (2002) recommande un programme de développement technologique différentiel par lequel nous pourrions “retarder la mise en oeuvre des technologies bénéfiques, particulièrement celles qui réduiraient les dangers posés par d’autres technologies”.
Mais des conséquences positives de l’explosion de l’intelligence semblent dépendre non seulement du développement technologique différentiel, mais aussi, par exemple, de la résolution de certains types de problèmes dans la théorie de la décision et dans l’axiologie avant la création de la première IA (Muehlhauser 2011). Ainsi, nous recommandons un parcours de progrès intellectuel différentiel, qui comprend le développement technologique différentiel comme un cas à part.
Le progrès intellectuel différentiel consiste à mettre la priorité sur la réduction des risques du progrès intellectuel plutôt que sur l’augmentation des risques du progrès intellectuel. Lorsque l’on parle spécifiquement des risques de l’IA, un plan de progrès intellectuel différentiel recommanderait que notre progrès sur les problèmes scientifiques, philosophiques et technologiques de la sûreté de l’IA surpasse notre progrès sur les problèmes des capacités de l’IA, tels que nous développions des IA surhumaines sûres avant que nous développions des IA surhumaines arbitraires. Notre première IA surhumaine devra être une IA surhumaine sûre, car il se peut que nous n’ayons pas de deuxième essai (Yudkowsky 2008a). Avec l’IA comme pour d’autres technologies, il se peut que nous devenions des victimes de la “tendance à ce que l’avancée technologique surpasse le contrôle social de la technologie” (Posner 2004).
5. Conclusion
Nous avons défendu la thèse que l’IA pose un risque existentiel sur l’humanité. D’un autre côté, avec plus d’intelligence, nous pouvons espérer des solutions plus rapides et meilleures à nombre de ces problèmes. Nous n’associons généralement pas les remèdes aux cancers ou la stabilité économique à l’intelligence artificielle, mais guérir le cancer ne nécessite en fin de compte que d’être suffisamment intelligent pour comprendre comment le guérir, et atteindre un équilibre économique n’est en fin de compte qu’une question d’être assez intelligent pour comprendre comment l’atteindre. Quels que soient nos objectifs, ils peuvent être accomplis à des degrés plus élevés en utilisant une intelligence artificielle suffisamment avancée. Lorsque nous considérons les conséquences possibles d’une IA surhumaine, il nous faut respecter à la fois les risques et les avantages qu’elle présente.[28]
Bibliographie
Anderson, Britt. 1993. Evidence from the rat for a general factor that underlies cognitive performance and that relates to brain size: intelligence? Neuroscience Letters 153 (1): 98–102. doi:10.1016/0304-3940(93)90086-Z.
Arbesman, Samuel. 2011. Quantifying the ease of scientific discovery. Scientometrics 86 (2): 245–250. doi:10.1007/s11192-010-0232-6.
Armstrong, Jon Scott. 1985. Long-range forecasting: From crystal ball to computer. 2nd ed. New York: Wiley.
Armstrong, Stuart, Anders Sandberg, and Nick Bostrom. 2012. Thinking inside the box: Using and controlling an oracle AI. Minds and Machines. doi:10.1007/s11023-012-9282-2.
Ashby, F. Gregory, and Sebastien Helie. 2011. A tutorial on computational cognitive neuroscience: Modeling the neurodynamics of cognition. Journal of Mathematical Psychology 55 (4): 273–289. doi:10.1016/j.jmp.2011.04.003.
Bainbridge, William Sims, and Mihail C. Roco, eds. 2006. Managing nano-bio-info-cogno innovations: Converging technologies in society. Dordrecht, The Netherlands: Springer.
Baum, Seth D., Ben Goertzel, and Ted G. Goertzel. 2011. How long until human-level AI? Results from an expert assessment. Technological Forecasting and Social Change 78 (1): 185–195. doi:10.1016/j.techfore.2010.09.006.
Bellman, Richard Ernest. 1957. Dynamic programming. Princeton, NJ: Princeton University Press.
Berger, James O. 1993. Statistical decision theory and Bayesian analysis. 2nd ed. Springer Series in Statistics. New York: Springer.
Bertsekas, Dimitri P. 2007. Dynamic programming and optimal control. 2 vols. Nashua, NH: Athena Scientific.
Block, Ned. 1981. Psychologism and behaviorism. Philosophical Review 90 (1): 5–43. doi:10.2307/2184371.
Bostrom, Nick. 2002. Existential risks: Analyzing human extinction scenarios and related hazards. Journal of Evolution and Technology 9. http://www.jetpress.org/volume9/risks.html.
———. 2003. Ethical issues in advanced artificial intelligence. In Cognitive, emotive and ethical aspects of decision making in humans and in artificial intelligence, ed. Iva Smit and George E. Lasker, 12–17. Vol. 2. Windsor, ON: International Institute of Advanced Studies in Systems Research / Cybernetics.
———. 2006. What is a singleton? Linguistic and Philosophical Investigations 5 (2): 48–54.
———. 2007. Technological revolutions: Ethics and policy in the dark. In Nanoscale: Issues and perspectives for the nano century, ed. Nigel M. de S. Cameron and M. Ellen Mitchell, 129–152. Hoboken, NJ: John Wiley & Sons. doi:10.1002/9780470165874.ch10.
———. 2012. The superintelligent will: Motivation and instrumental rationality in advanced artificial agents. In Theory and philosophy of AI, ed. Vincent C. Müller. Special issue, Minds and Machines 22 (2): 71–85. doi:10.1007/s11023-012-9281-3.
———. Forthcoming. Superintelligence: A strategic analysis of the coming machine intelligence revolution. Manuscript, in preparation.
Bostrom, Nick, and Anders Sandberg. 2009. Cognitive enhancement: Methods, ethics, regulatory challenges. Science and Engineering Ethics 15 (3): 311–341. doi:10.1007/s11948-009-9142-5.
Brynjolfsson, Erik, and Andrew McAfee. 2011. Race against the machine: How the digital revolution is accelerating innovation, driving productivity, and irreversibly transforming employment and the economy. Lexington, MA: Digital Frontier Press. Kindle edition.
Caplan, Bryan. 2008. The totalitarian threat. In Bostrom and Ćirković 2008, 504–519.
Cartwright, Edward. 2011. Behavioral economics. Routledge Advanced Texts in Economics and Finance. New York: Routledge.
Cattell, Rick, and Alice Parker. 2012. Challenges for brain emulation: why is building a brain so difficult? . Synaptic Link, Feb. 5. http://synapticlink.org/Brain%20Emulation%20Challenges.pdf.
Chalmers, David John. 1996. The conscious mind: In search of a fundamental theory. Philosophy of Mind Series. New York: Oxford University Press.
———. 2010. The singularity: A philosophical analysis. Journal of Consciousness Studies 17 (9–10): 7–65. http://www.ingentaconnect.com/content/imp/jcs/2010/00000017/f0020009/art00001.
———. 2012. The singularity: A reply to commentators. Journal of Consciousness Studies 19 (7-8): 141–167. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020007/art00014.
Crevier, Daniel. 1993. AI: The tumultuous history of the search for artificial intelligence. New York: Basic Books.
de Blanc, Peter. 2011. Ontological crises in artificial agents’ value systems. The Singularity Institute, San Francisco, CA, May 19. http://arxiv.org/abs/1105.3821.
de Garis, Hugo, Chen Shuo, Ben Goertzel, and Lian Ruiting. 2010. A world survey of artificial brain projects, part I: Large-scale brain simulations. Neurocomputing 74 (1–3): 3–29. doi:10.1016/j.neucom.2010.08.004.
Dennett, Daniel C. 1996. Kinds of minds: Toward an understanding of consciousness. Science Master. New York: Basic Books.
Dewey, Daniel. 2011. Learning what to value. In Schmidhuber, Thórisson, and Looks 2011, 309–314.
Dreyfus, Hubert L. 1972. What computers can’t do: A critique of artificial reason. New York: Harper & Row.
Eden, Amnon, Johnny Søraker, James H. Moor, and Eric Steinhart, eds. 2012. Singularity hypotheses: A scientific and philosophical assessment. The Frontiers Collection. Berlin: Springer.
Feldman, J. A., and D. H. Ballard. 1982. Connectionist models and their properties. Cognitive Science 6 (3): 205–254. doi:10.1207/s15516709cog0603_1.
Floreano, Dario, and Claudio Mattiussi. 2008. Bio-inspired artificial intelligence: Theories, methods, and technologies. Intelligent Robotics and Autonomous Agents. Cambridge, MA: MIT Press.
Fox, Douglas. 2011. The limits of intelligence. Scientific American, July, 36–43.
Fregni, Felipe, Paulo S. Boggio, Michael Nitsche, Felix Bermpohl, Andrea Antal, Eva Feredoes, Marco A. Marcolin, et al. 2005. Anodal transcranial direct current stimulation of prefrontal cortex enhances working memory. Experimental Brain Research 166 (1): 23–30. doi:10.1007/s00221-005-2334-6.
Friedman, James W., ed. 1994. Problems of coordination in economic activity. Recent Economic Thought 35. Boston: Kluwer Academic Publishers.
Friedman, Milton. 1953. The methodology of positive economics. In Essays in positive economics, 3–43. Chicago: University of Chicago Press.
Gödel, Kurt. 1931. Über formal unentscheidbare sätze der Principia Mathematica und verwandter systeme I. Monatshefte für Mathematik 38 (1): 173–198. doi:10.1007/BF01700692.
Goertzel, Ben. 2006. The hidden pattern: A patternist philosophy of mind. Boco Raton, FL: BrownWalker Press.
———. 2010. Toward a formal characterization of real-world general intelligence. In Artificial general intelligence: Proceedings of the third conference on artificial general intelligence, AGI 2010, Lugano, Switzerland, March 5–8, 2010, ed. Eric Baum, Marcus Hutter, and Emanuel Kitzelmann, 19–24. Advances in Intelligent Systems Research 10. Amsterdam: Atlantis Press. doi:10.2991/agi.2010.17.
———. 2012. Should humanity build a global AI nanny to delay the singularity until it’s better understood? Journal of Consciousness Studies 19 (1–2): 96–111. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00006.
Goertzel, Ben, Ruiting Lian, Itamar Arel, Hugo de Garis, and Shuo Chen. 2010. A world survey of artificial brain projects, part II: Biologically inspired cognitive architectures. Neurocomputing 74 (1–3): 30–49. doi:10.1016/j.neucom.2010.08.012.
Goertzel, Ben, and Cassio Pennachin, eds. 2007. Artificial general intelligence. Cognitive Technologies. Berlin: Springer. doi:10.1007/978-3-540-68677-4.
Goldreich, Oded. 2010. P, NP, and NP-Completeness: The basics of computational complexity. New York: Cambridge University Press.
Good, Irving John. 1959. Speculations on perceptrons and other automata. Research Lecture, RC-115. IBM, Yorktown Heights, New York, June 2. http://domino.research.ibm.com/library/cyberdig.nsf/papers/58DC4EA36A143C218525785E00502E30/$File/rc115.pdf.
———. 1965. Speculations concerning the first ultraintelligent machine. In Advances in computers, ed. Franz L. Alt and Morris Rubinoff, 31–88. Vol. 6. New York: Academic Press. doi:10.1016/S0065-2458(08)60418-0.
———. 1970. Some future social repercussions of computers. International Journal of Environmental Studies 1 (1–4): 67–79. doi:10.1080/00207237008709398.
———. 1982. Ethical machines. In Intelligent systems: Practice and perspective, ed. J. E. Hayes, Donald Michie, and Y.-H. Pao, 555–560. Machine Intelligence 10. Chichester: Ellis Horwood.
Greenfield, Susan. 2012. The singularity: Commentary on David Chalmers. Journal of Consciousness Studies 19 (1–2): 112–118. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00007.
Griffin, Dale, and Amos Tversky. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology 24 (3): 411–435. doi:10.1016/0010-0285(92)90013-R.
Groß, Dominik. 2009. Blessing or curse? Neurocognitive enhancement by “Brain Engineering.” Medicine Studies 1 (4): 379–391. doi:10.1007/s12376-009-0032-6.
Gubrud, Mark Avrum. 1997. Nanotechnology and international security. Paper presented at the Fifth Foresight Conference on Molecular Nanotechnology, Palo Alto, CA, Nov. 5–8. http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/.
Halevy, Alon, Peter Norvig, and Fernando Pereira. 2009. The unreasonable effectiveness of data. IEEE Intelligent Systems 24 (2): 8–12. doi:10.1109/MIS.2009.36.
Hanson, Robin. 2008. Economics of the singularity. IEEE Spectrum 45 (6): 45–50. doi:10.1109/MSPEC.2008.4531461.
———. 2012. Meet the new conflict, same as the old conflict. Journal of Consciousness Studies 19 (1–2): 119–125. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00008.
———. Forthcoming. Economic growth given machine intelligence. Journal of Artificial Intelligence Research. Preprint at, http://hanson.gmu.edu/aigrow.pdf.
Hanson, Robin, and Eliezer Yudkowsky. 2008. The Hanson-Yudkowsky AI-foom debate. LessWrong Wiki. http://wiki.lesswrong.com/wiki/The_Hanson-Yudkowsky_AI-Foom_Debate (accessed Mar. 13, 2012).
Heylighen, Francis. 2012. Brain in a vat cannot break out. Journal of Consciousness Studies 19 (1–2): 126–142. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00009.
Hibbard, Bill. 2011. Measuring agent intelligence via hierarchies of environments. In Schmidhuber, Thórisson, and Looks 2011, 303–308.
———. 2012. Model-based utility functions. Journal of Artificial General Intelligence 3 (1): 1–24. doi:10.2478/v10229-011-0013-5.
Hutter, Marcus. 2005. Universal artificial intelligence: Sequential decisions based on algorithmic probability. Texts in Theoretical Computer Science. Berlin: Springer. doi:10.1007/b138233.
———. 2009. Open problems in universal induction & intelligence. Algorithms 2 (3): 879–906. doi:10.3390/a2030879.
———. 2012a. Can intelligence explode? Journal of Consciousness Studies 19 (1–2): 143–166. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00010.
———. 2012b. One decade of universal artificial intelligence. In Theoretical foundations of artificial general intelligence, ed. Pei Wang and Ben Goertzel, 67–88. Atlantis Thinking Machines 4. Paris: Atlantis. doi:10.2991/978-94-91216-62-6_5.
Jaynes, E. T. 2003. Probability theory: The logic of science. ed. G. Larry Bretthorst. New York: Cambridge University Press. doi:10.2277/0521592712.
Jones, Benjamin F. 2009. The burden of knowledge and the “Death of the Renaissance Man”: Is innovation getting harder? Review of Economic Studies 76 (1): 283–317. doi:10.1111/j.1467-937X.2008.00531.x.
Kaas, Steven, Stephen Rayhawk, Anna Salamon, and Peter Salamon. 2010. Economic implications of software minds. The Singularity Institute, San Francisco, CA, Aug. 10. http://www.singinst.co/upload/economic-implications.pdf.
Kandel, Eric R., James H. Schwartz, and Thomas M. Jessell, eds. 2000. Principles of neural science. New York: McGraw-Hill.
Kolmogorov, A. N. 1965. Three approaches to the definition of the concept “quantity of information.” Problemy peredachi informatsii 1 (1): 3–11. http://mi.mathnet.ru/eng/ppi/v1/i1/p3.
Koza, John R. 2010. Human-competitive results produced by genetic programming. Genetic Programming and Evolvable Machines 11 (3–4): 251–284. doi:10.1007/s10710-010-9112-3.
Krichmar, Jeffrey L., and Hiroaki Wagatsuma, eds. 2011. Neuromorphic and brain-based robots. New York: Cambridge University Press.
Kryder, M. H., and Chang Soo Kim. 2009. After hard drives—what comes next? IEEE Transactions on Magnetics 2009 (10): 3406–3413. doi:10.1109/TMAG.2009.2024163.
Kurzweil, Ray. 2005. The singularity is near: When humans transcend biology. New York: Viking.
Legg, Shane. 2008. Machine super intelligence. PhD diss., University of Lugano. http://www.vetta.org/documents/Machine_Super_Intelligence.pdf.
Legg, Shane, and Marcus Hutter. 2007. A collection of definitions of intelligence. In Advances in artificial general intelligence: Concepts, architectures and algorithms—proceedings of the AGI workshop 2006, ed. Ben Goertzel and Pei Wang. Frontiers in Artificial Intelligence and Applications 157. Amsterdam: IOS Press.
Lichtenstein, Sarah, Baruch Fischhoff, and Lawrence D. Phillips. 1982. Calibration of probabilities: The state of the art to 1980. In Judgement under uncertainty: Heuristics and biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky, 306–334. New York: Cambridge University Press.
Li, Ming, and Paul M. B. Vitányi. 2008. An introduction to Kolmogorov complexity and its applications. Texts in Computer Science. New York: Springer. doi:10.1007/978-0-387-49820-1.
Loosemore, Richard, and Ben Goertzel. 2011. Why an intelligence explosion is probable. H+ Magazine, Mar. 7. http://hplusmagazine.com/2011/03/07/why-an-intelligence-explosion-is-probable/.
Lucas, J. R. 1961. Minds, machines and Gödel. Philosophy 36 (137): 112–127. doi:10.1017/S0031819100057983.
Lundstrom, Mark. 2003. Moore’s law forever? Science 299 (5604): 210–211. doi:10.1126/science.1079567.
Mack, C. A. 2011. Fifty years of Moore’s law. IEEE Transactions on Semiconductor Manufacturing 24 (2): 202–207. doi:10.1109/TSM.2010.2096437.
Marcus, Gary. 2008. Kluge: The haphazard evolution of the human mind. Boston: Houghton Mifflin.
McAfee, Andrew, and Erik Brynjolfsson. 2008. Investing in the IT that makes a competitive difference. Harvard Business Review, July. http://hbr.org/2008/07/investing-in-the-it-that-makes-a-competitive-difference.
McCorduck, Pamela. 2004. Machines who think: A personal inquiry into the history and prospects of artificial intelligence. 2nd ed. Natick, MA: A.K. Peters.
McDaniel, Michael A. 2005. Big-brained people are smarter: A meta-analysis of the relationship between in vivo brain volume and intelligence. Intelligence 33 (4): 337–346. doi:10.1016/j.intell.2004.11.005.
McDermott, Drew. 2012a. Response to “The Singularity” by David Chalmers. Journal of Consciousness Studies 19 (1–2): 167–172. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00011.
———. 2012b. There are no “Extendible Methods” in David Chalmers’s sense unless P=NP. Unpublished manuscript. http://cs-www.cs.yale.edu/homes/dvm/papers/no-extendible-methods.pdf (accessed Mar. 19, 2012).
Mehta, Ghanshyam. B. 1998. Preference and utility. In Handbook of utility theory, volume I , ed. Salvador Barbera, Peter J. Hammond, and Christian Seidl, 1–47. Boston: Kluwer Academic Publishers.
Minsky, Marvin. 1984. Afterword to Vernor Vinge’s novel, “True Names.” Unpublished manuscript, Oct. 1. http://web.media.mit.edu/ minsky/papers/TrueNames.Afterword.html (accessed Mar. 26, 2012).
Modha, Dharmendra S., Rajagopal Ananthanarayanan, Steven K. Esser, Anthony Ndirango, Anthony J. Sherbondy, and Raghavendra Singh. 2011. Cognitive computing. Communications of the ACM 54 (8): 62–71. doi:10.1145/1978542.1978559.
Modis, Theodore. 2012. There will be no singularity. In Eden, Søraker, Moor, and Steinhart 2012.
Moravec, Hans P. 1976. The role of raw rower in intelligence. Unpublished manuscript, May 12. http://www.frc.ri.cmu.edu/users/hpm/project.archive/general.articles/1975/Raw.Power.html (accessed Mar. 13, 2012).
———. 1998. When will computer hardware match the human brain? Journal of Evolution and Technology 1. http://www.transhumanist.com/volume1/moravec.htm.
———. 1999. Rise of the robots. Scientific American, Dec., 124–135.
Muehlhauser, Luke. 2011. So you want to save the world. Last modified March 2, 2012. http://lukeprog.com/SaveTheWorld.html.
Muehlhauser, Luke, and Louie Helm. 2012. The singularity and machine ethics. In Eden, Søraker, Moor, and Steinhart 2012.
Murphy, Allan H., and Robert L. Winkler. 1984. Probability forecasting in meteorology. Journal of the American Statistical Association 79 (387): 489–500.
Nagy, Béla, J. Doyne Farmer, Jessika E. Trancik, and Quan Minh Bui. 2010. Testing laws of technological progress. Santa Fe Institute, NM, Sept. 2. http://tuvalu.santafe.edu/ bn/workingpapers/NagyFarmerTrancikBui.pdf.
Nagy, Béla, J. Doyne Farmer, Jessika E. Trancik, and John Paul Gonzales. 2011. Superexponential long-term trends in information technology. Technological Forecasting and Social Change 78 (8): 1356–1364. doi:10.1016/j.techfore.2011.07.006.
Nielsen, Michael. 2011. What should a reasonable person believe about the singularity? Michael Nielsen (blog). Jan. 12. http://michaelnielsen.org/blog/what-should-a-reasonable-person-believe-about-the-singularity/ (accessed Mar. 13, 2012).
Nilsson, Nils J. 2009. The quest for artificial intelligence: A history of ideas and achievements. New York: Cambridge University Press.
Nordmann, Alfred. 2007. If and then: A critique of speculative nanoethics. NanoEthics 1 (1): 31–46. doi:10.1007/s11569-007-0007-6.
Omohundro, Stephen M. 1987. Efficient algorithms with neural network behavior. Complex Systems 1 (2): 273–347. http://www.complex-systems.com/abstracts/v01_i02_a04.html.
———. 2007. The nature of self-improving artificial intelligence. Paper presented at Singularity Summit 2007, San Francisco, CA, Sept. 8–9. http://singinst.org/summit2007/overview/abstracts/#omohundro.
———. 2008. The basic AI drives. In Wang, Goertzel, and Franklin 2008, 483–492.
———. 2012. Rational artificial intelligence for the greater good. In Eden, Søraker, Moor, and Steinhart 2012.
Orseau, Laurent. 2011. Universal knowledge-seeking agents. In Algorithmic learning theory: 22nd international conference, ALT 2011, Espoo, Finland, October 5–7, 2011. Proceedings, ed. Jyrki Kivinen, Csaba Szepesvári, Esko Ukkonen, and Thomas Zeugmann. Lecture Notes in Computer Science 6925. Berlin: Springer. doi:10.1007/978-3-642-24412-4_28.
Orseau, Laurent, and Mark Ring. 2011. Self-modification and mortality in artificial agents. In Schmidhuber, Thórisson, and Looks 2011, 1–10.
Pan, Zhenglun, Thomas A. Trikalinos, Fotini K. Kavvoura, Joseph Lau, and John P. A. Ioannidis. 2005. Local literature bias in genetic epidemiology: An empirical evaluation of the chinese literature. PLoS Medicine 2 (12): e334. doi:10.1371/journal.pmed.0020334.
Parente, Rick, and Janet Anderson-Parente. 2011. A case study of long-term Delphi accuracy. Technological Forecasting and Social Change 78 (9): 1705–1711. doi:10.1016/j.techfore.2011.07.005.
Pennachin, Cassio, and Ben Goertzel. 2007. Contemporary approaches to artificial general intelligence. In Goertzel and Pennachin 2007, 1–30.
Penrose, Roger. 1994. Shadows of the mind: A search for the missing science of consciousness. New York: Oxford University Press.
Plebe, Alessio, and Pietro Perconti. 2012. The slowdown hypothesis. In Eden, Søraker, Moor, and Steinhart 2012.
Posner, Richard A. 2004. Catastrophe: Risk and response. New York: Oxford University Press.
Proudfoot, Diane, and B. Jack Copeland. 2012. Artificial intelligence. In The Oxford handbook of philosophy of cognitive science, ed. Eric Margolis, Richard Samuels, and Stephen P. Stich. New York: Oxford University Press.
Rathmanner, Samuel, and Marcus Hutter. 2011. A philosophical treatise of universal induction. Entropy 13 (6): 1076–1136. doi:10.3390/e13061076.
Richards, Mark A., and Gary A. Shaw. 2004. Chips, architectures and algorithms: Reflections on the exponential growth of digital signal processing capability. Unpublished manuscript, Jan. 28. http://users.ece.gatech.edu/mrichard/Richards&Shaw_Algorithms01204.pdf (accessed Mar. 20, 2012).
Rieffel, Eleanor, and Wolfgang Polak. 2011. Quantum computing: A gentle introduction. Scientific and Engineering Computation. Cambridge, MA: MIT Press.
Ring, Mark, and Laurent Orseau. 2011. Delusion, survival, and intelligent agents. In Schmidhuber, Thórisson, and Looks 2011, 11–20.
Rowe, Gene, and George Wright. 2001. Expert opinions in forecasting: The role of the Delphi technique. In Principles of forecasting: A handbook for researchers and practitioners, ed. Jon Scott Armstrong. International Series in Operations Research & Management Science 30. Boston: Kluwer Academic Publishers.
The Royal Society. 2011. Knowledge, networks and nations: Global scientific collaboration in the 21st century. RS Policy document, 03/11. The Royal Society, London. http://royalsociety.org/uploadedFiles/Royal_Society_Content/policy/publications/2011/4294976134.pdf.
Russell, Stuart J., and Peter Norvig. 2010. Artificial intelligence: A modern approach. 3rd ed. Upper Saddle River, NJ: Prentice-Hall.
Sandberg, Anders. 2010. An overview of models of technological singularity. Paper presented at the Roadmaps to AGI and the future of AGI workshop, Lugano, Switzerland, Mar. 8th. http://agi-conf.org/2010/wp-content/uploads/2009/06/agi10singmodels2.pdf.
———. 2011. Cognition enhancement: Upgrading the brain. In Enhancing human capacities, ed. Julian Savulescu, Ruud ter Meulen, and Guy Kahane, 71–91. Malden, MA: Wiley-Blackwell.
Sandberg, Anders, and Nick Bostrom. 2008. Whole brain emulation: A roadmap. Technical Report, 2008-3. Future of Humanity Institute, University of Oxford. http://www.fhi.ox.ac.uk/Reports/2008-3.pdf.
———. 2011. Machine intelligence survey. Technical Report, 2011-1. Future of Humanity Institute, University of Oxford. www.fhi.ox.ac.uk/reports/2011-1.pdf.
Schaul, Tom, and Jürgen Schmidhuber. 2010. Metalearning. Scholarpedia 5 (6): 4650. doi:10.4249/scholarpedia.4650.
Schierwagen, Andreas. 2011. Reverse engineering for biologically inspired cognitive architectures: A critical analysis. In From brains to systems: Brain-inspired cognitive systems 2010, ed. Carlos Hernández, Ricardo Sanz, Jaime Gómez-Ramirez, Leslie S. Smith, Amir Hussain, Antonio Chella, and Igor Aleksander, 111–121. Advances in Experimental Medicine and Biology 718. New York: Springer. doi:10.1007/978-1-4614-0164-3_10.
Schmidhuber, Jürgen. 2002. The speed prior: A new simplicity measure yielding near-optimal computable predictions. In Computational learning theory: 5th annual conference on computational learning theory, COLT 2002 Sydney, Australia, July 8–10, 2002 proceedings, ed. Jyrki Kivinen and Robert H. Sloan, 123–127. Lecture Notes in Computer Science 2375. Berlin: Springer. doi:10.1007/3-540-45435-7_15.
———. 2007. Gödel machines: Fully self-referential optimal universal self-improvers. In Goertzel and Pennachin 2007, 199–226.
———. 2009. Ultimate cognition à la Gödel. Cognitive Computation 1 (2): 177–193. doi:10.1007/s12559-009-9014-y.
———. 2012. Philosophers & futurists, catch up! Response to The Singularity. Journal of Consciousness Studies 19 (1–2): 173–182. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00012.
Schmidhuber, Jürgen, Kristinn R. Thórisson, and Moshe Looks, eds. 2011. Artificial General Intelligence: 4th International Conference, AGI 2011, Mountain View, CA, USA, August 3–6, 2011. Proceedings. Lecture Notes in Computer Science 6830. Berlin: Springer. doi:10.1007/978-3-642-22887-2.
Schneider, Stefan. 2010. Homo economicus—or more like Homer Simpson? . Current Issues. Deutsche Bank Research, Frankfurt, June 29. http://www.dbresearch.com/PROD/DBR_INTERNET_EN-PROD/PROD0000000000259291.PDF.
Schoenemann, Paul Thomas. 1997. An MRI study of the relationship between human neuroanatomy and behavioral ability. PhD diss., University of California, Berkeley. http://mypage.iu.edu/toms/papers/dissertation/Dissertation_title.htm.
Schwartz, Jacob T. 1987. Limits of artificial intelligence. In Encyclopedia of artificial intelligence, ed. Stuart C. Shapiro and David Eckroth, 488–503. Vol. 1. New York: John Wiley & Sons.
Searle, John R. 1980. Minds, brains, and programs. Behavioral and Brain Sciences 3 (03): 417–424. doi:10.1017/S0140525X00005756.
Shulman, Carl, and Nick Bostrom. 2012. How hard is artificial intelligence? Evolutionary arguments and selection effects. Journal of Consciousness Studies 19 (7–8): 103–130. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020007/art00011.
Shulman, Carl, and Anders Sandberg. 2010. Implications of a software-limited singularity. In ECAP10: VIII european conference on computing and philosophy, ed. Klaus Mainzer. Munich: Verlag Dr. Hut.
Simon, Herbert Alexander. 1965. The shape of automation for men and management. New York: Harper & Row.
Solomonoff, Ray J. 1964a. A formal theory of inductive inference. Part I. Information and Control 7 (1): 1–22. doi:10.1016/S0019-9958(64)90223-2.
———. 1964b. A formal theory of inductive inference. Part II. Information and Control 7 (2): 224–254. doi:10.1016/S0019-9958(64)90131-7.
———. 1985. The time scale of artificial intelligence: Reflections on social effects. Human Systems Management 5:149–153.
Sotala, Kaj. 2012. Advantages of artificial intelligences, uploads, and digital minds. International Journal of Machine Consciousness 4 (1): 275–291. doi:10.1142/S1793843012400161.
Stanovich, Keith E. 2010. Rationality and the reflective mind. New York: Oxford University Press.
Tetlock, Philip E. 2005. Expert political judgment: How good is it? How can we know? . Princeton, NJ: Princeton University Press.
Trappenberg, Thomas P. 2009. Fundamentals of computational neuroscience. 2nd ed. New York: Oxford University Press.
Turing, A. M. 1950. Computing machinery and intelligence. Mind 59 (236): 433–460. doi:10.1093/mind/LIX.236.433.
Turing, A. M. 1951. Intelligent machinery, a heretical theory. A lecture given to ’51 Society’ at Manchester.
Tversky, Amos, and Daniel Kahneman. 1974. Judgment under uncertainty: Heuristics and biases. Science 185 (4157): 1124–1131. doi:10.1126/science.185.4157.1124.
———. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review 90 (4): 293–315. doi:10.1037/0033-295X.90.4.293.
The Uncertain Future. 2012. What is multi-generational in vitro embryo selection? The Uncertain Future. http://www.theuncertainfuture.com/faq.html#7 (accessed Mar. 25, 2012).
Van der Velde, Frank. 2010. Where artificial intelligence and neuroscience meet: The search for grounded architectures of cognition. Advances in Artificial Intelligence, no. 5. doi:10.1155/2010/918062.
Van Gelder, Timothy, and Robert F. Port. 1995. It’s about time: An overview of the dynamical approach to cognition. In Mind as motion: Explorations in the dynamics of cognition, ed. Robert F. Port and Timothy van Gelder. Bradford Books. Cambridge, MA: MIT Press.
Veness, Joel, Kee Siong Ng, Marcus Hutter, William Uther, and David Silver. 2011. A Monte-Carlo AIXI approximation. Journal of Artificial Intelligence Research 40:95–142. doi:10.1613/jair.3125.
Vinge, Vernor. 1993. The coming technological singularity: How to survive in the post-human era. In Vision-21: Interdisciplinary science and engineering in the era of cyberspace, 11–22. NASA Conference Publication 10129. NASA Lewis Research Center. http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940022855_1994022855.pdf.
Von Neumann, John. 1966. Theory of self-replicating automata. ed. Arthur Walter Burks. Urbana: University of Illinois Press.
Walter, Chip. 2005. Kryder’s law. Scientific American, July 25. http://www.scientificamerican.com/article.cfm?id=kryders-law.
Wang, Pei, Ben Goertzel, and Stan Franklin, eds. 2008. Artificial General Intelligence 2008: Proceedings of the First AGI Conference. Frontiers in Artificial Intelligence and Applications 171. Amsterdam: IOS Press.
Williams, Leighton Vaughan, ed. 2011. Prediction markets: Theory and applications. Routledge International Studies in Money and Banking 66. New York: Routledge.
Wootters, W. K., and W. H. Zurek. 1982. A single quantum cannot be cloned. Nature 299 (5886): 802–803. doi:10.1038/299802a0.
Woudenberg, Fred. 1991. An evaluation of Delphi. Technological Forecasting and Social Change 40 (2): 131–150. doi:10.1016/0040-1625(91)90002-W.
Yampolskiy, Roman V. 2012. Leakproofing the singularity: artificial intelligence confinement problem. Journal of Consciousness Studies 2012 (1–2): 194–214. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00014.
Yates, J. Frank, Ju-Whei Lee, Winston R. Sieck, Incheol Choi, and Paul C. Price. 2002. Probability judgment across cultures. In Heuristics and biases: The psychology of intuitive judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman, 271–291. New York: Cambridge University Press. doi:10.2277/0521796792.
Yudkowsky, Eliezer. 2001. Creating Friendly AI 1.0: The analysis and design of benevolent goal architectures. The Singularity Institute, San Francisco, CA, June 15. http://singinst.org/upload/CFAI.html.
———. 2008a. Artificial intelligence as a positive and negative factor in global risk. In Bostrom and Ćirković 2008, 308–345.
———. 2008b. Efficient cross-domain optimization. LessWrong. Oct. 28. http://lesswrong.com/lw/vb/efficient_crossdomain_optimization/ (accessed Mar. 19, 2012).
———. 2011. Complex value systems in Friendly AI. In Schmidhuber, Thórisson, and Looks 2011, 388–393.
[1] Nous définirons le terme d' "intelligence de niveau humain" de manière plus précise plus loin dans ce chapitre.
[2] Chalmers (2010) suggère que l’IA mènera à l’explosion de l’intelligence si une IA est produite par une « méthode renouvelable » où une méthode renouvelable est « une méthode qui peut être facilement améliorée, menant à des systèmes encore plus intelligents ». McDermott (2012a, 2012b) répond que si P̸=NP (voir Goldreich [2010] pour une explication) alors il n’existe pas de méthode renouvelable. Mais la notion de méthode renouvelable de McDermott n’est pas nécessaire à l’explosion de l’intelligence. La formalisation de la « méthode renouvelable » demande que le programme généré par chaque étape d’amélioration de cette méthode soit capable de résoudre tout problème d’une catégorie particulière dans un temps polynomial —la catégorie des problèmes solubles d’une taille donnée (polynômialement dépendant par étape) dans une catégorie NP complète de problèmes. Mais ceci n’est pas nécessaire pour une explosion de l’intelligence dans sens où l’entend Chalmers (et dans le nôtre). Ce que l’explosion de l’intelligence (dans le sens où nous l’entendons) demanderait est seulement qu’un programme s’auto-améliore jusqu’à dépasser largement les performances humaines, et nous argumentons pour une telle possibilité dans la section 3 de ce chapitre. Ainsi, bien que nous soyons d’accord avec McDermott qu’il est probablement vrai que P̸=NP, nous ne sommes pas d’accord que cela empêche la possibilité d’une explosion de l’intelligence. (Noter que, dû à un problème de communication entre McDermott et ses éditeurs, un brouillon erroné de McDermott [2012a] a été publié dans Journal of Consciousness Studies. Nous recommandons la version corrigée à : http://cs-www.cs.yale.edu/homes/dvm/papers/chalmers-singularity-response.pdf.)
[3] Cette définition est un point de départ fort commode mais pourrait être améliorée. Un travail futur pourrait produire une définition de l’intelligence comme puissance d’optimisation sous une distribution canonique des environnements, avec une sanction pour l’usage des ressources —par exemple la « priorité vitesse » décrite par Schmidhuber (2002). Voir aussi Goertzel (2006, 48; 2010) et Hibbard (2011).
[4] Pour reprendre un des nombreux exemples, Simon (1965, 96) a prédit que "dans les vingt prochaines années, les machines seront capables de faire n'importe quel travail équivalent à ce qu'un homme peut faire." Voir aussi Crevier (1993).
[5] Armstrong (1985); Woudenberg (1991); RoweandWright (2001). Mais se referrer à Parente and Anderson- Parente (2011).
[6] Bostrom (2003); Bain bridge et Roco (2006); Legg(2008); Baum, Goertzel, et Goertzel (2011); Sandberg et Bostrom (2011); Nielsen (2011).
[7] Un goulot d'étranglement au niveau logiciel pourrait retarder l'IA mais pourrait aussi entraîner un risque plus grand. S'il y a un goulot d'étranglement sur le logiciel de l'IA, alors quand l'IA sera créée il pourrait y avoir un "flottement computationnel" : une grande quantité de puissance de calcul bon marché qui pourraient être utilisés pour faire fonctionner des milliers d'IA ou pour donner de vastes ressources informatiques à quelques IA. Cela pourrait aussi ne pas être le cas si les premières IA nécessitent du matériel destiné au calcul quantique, qui est moins susceptible d’être abondant et bon marché que le matériel informatique classique sur une période donnée.
[8] Il nous est possible de former un modèle simple et formel de cette preuve en assumant (tout en simplifiant beaucoup) que chaque année, une pièce est lancée pour déterminer si oui ou non cette année verra le début de l’IA, et que nous nous assurons de la bonne répartition du poids de la pièce. Nous avons constaté plus de 50 ans de “pas d’IA” depuis la première fois que des scientifiques ont sérieusement crus que l’IA ne serait pas loin. Ces “56 années sans IA” observées seraient fort improbable dans des modèles selon lesquels la pièce atterrit “IA” pour 90% des années (la probabilité de nos observations serait de 10-56), ou même dans des modèles où “IA” atterrit pour 10% des années (probabilité de 0,3%), alors que c’est le cas le plus probable si la pièce atterrit “IA” dans, disons, 1% des années, ou même dans 0, 0001% des années. Ainsi, dans ce modèle-jouet, notre observation “pas d’IA pour 56 ans” doit nous alerter contre les pondérations de la pièce de monnaie pour lesquels l’IA serait probable dans la minute qui suit, tout en laissant les probabilités de “l’IA attendue dans 200 ans” et de “l’IA attendue dans 2 million d’années” plus ou moins inchangées. (Ces probabilités mises à jour ne sont pas impactées par le choix de l'intervale de temps entre chaque lancer de pièce ; il importe peu que la pièce soit lancée une fois par décennie, ou une fois par milliseconde, ou que l'on décide ou non une quelconque limite à cet intervale lorsqu'il se rapproche de zéro.) Bien sûr, on obtient un résultat différent si l’on prend un différent point point de départ, comme il est fait exemple dans l’article précurseur d’Alan Turing sur l’intelligence des machines (Turing 1950), ou lors de la conférence d’inauguration sur l’intelligence artificielle générale (Wang, Goertzel, and Franklin 2008). Pour aller plus loin sur ce type d’approche et sur la loi de succession de Laplace, voir Jaynes (2003, chap. 18). Nous suggérons cette approche uniquement comme une manière de générer une distribution de probabilités a priori sur les délais de l’IA, que l’on peut alors mettre à jour lorsque l’on rencontre de nouvelles informations.
[9] De manière similaire, Good (1970) a essayé de prédire la première création d'une IA en relevant les différentes découvertes conceptuelles effectuées par le passé dans le domaine de l'IA et en effectuant des projections sur le futur.
[10] La technique de mesurement prédite par la loi de Moore est la densité des composants dans un circuit intégré, mais ceci est lié de manière très étroite à la perfomance en fonction du prix de la puissance de calculation.
[11] Pour d'importantes objections, voir Nagy et al. (2010); Mack (2011).
[12] Le calcul quantique peut aussi advenir au cours de cette période. Les préoccupations premières concernant l'imposibilité de réaliser le calcul quantique ont été dépassées, mais il est difficile de prédire si le calcul quantique contribuera de manière importante au développement de l'intelligence artificielle car le progrès du calcul quantique dépend grandement d'intuitions et d'idées bien souvent non prédictibles en ce qui concerne les algorithmes quantiques et le matériel informatique (Rieffel and Polak 2011).
[13] D'un autre côté, certaines craintes (Pan et al. 2005) que les taux de fraudes scientifiques et la partialité des publications soit en ce moment plus importantes en Chine et en Inde que dans les pays développés.
[14] De plus, un procédé appelé "iterated embryo selection" ou selection réitérée d'embryons (Uncertain Future 2012) pourrait être utilisé pour produire une génération entière de scientifiques avec des capacités cognitives proches de celle d'Albert Einstein ou de John von Neumann, accélérant ainsi le progrès scientifique et donnant un avantage compétitif aux nations qui choisiront d'utiliser une telle technique.
[15] Dans nos deux citations de Hutter (2012b), nous avons remplacé le style d'insertion AMS utilisé par Hutter avec le style de citation de Chicago.
[16] La création d'une IA n"est cependant probablement pas qu'une question de trouver des approximations AIXI dont les calculs sont facilement contrôlables et qui peuvent résoudre des problèmes de plus en plus compliqués dans des environnements de plus en plus complexes. Il reste de nombreux problèmes théoriques dans l'intelligence artificielle forte (Hutter 2009). Pour des problèmes qui traitent de comment autoriser des modèles semblables aux AIXI de s'auto-modifier, veuillez voir Orseau et Ring (2011); Ring et Orseau (2011); Orseau (2011); Hibbard (2012). Dewey (2011) explique pourquoi les agents de consolidation d'apprentissage comme AIXI peuvent se révéler être une menace pour l'humanité.
[17] Noter que dépendamment de la définition d'intelligence que l'on utilise, de plus grandes ressources de calcul ne donneront pas nécéssairement une machine plus "intelligente" mais augmenteront plutôt son "pouvoir d'optimisation".
[18] Pour un exemple, voir Omohundro (1987).
[19] Si la première IA pouvant s'auto-améliorer demande, au moins en partie, du calcul quantique, les états du système de ces IAs ne pourront être copiées directement à cause d'un théorème ne pouvant pas être cloné (Wootters and Zurek 1982).
[20] Quelque chose de similaire est déjà fait avec des procédés de business utilisant des technologies. Lorsque que l'industrie pharmaceutique CVS améliore son système de commande par ordonnance, elle peut reproduire ces améliorations dans plus de 4000 de ces magasins, pour augmenter immédiatement ses profits (McAfee and Brynjolfsson 2008).
[21] Nombreux sont ceux qui suspectent que la lenteur des connexions inter-cerveaux a été un des facteurs les plus limitants de l'utilité de gros cerveaux (Fox 2011).
[22] Bostrom (2012) fait la liste de certains cas spécifiques pour lesquels une IA pourrait vouloir modifier le contenu de ses buts finaux.
[23] Lorsque qu'une IA peut effectuer 10% des tâches qui lui ont été attribuées et les effectuer à une vitesse surhumaine, les 90% restants font office de goulot d'étranglement. Cependant, si des améliorations permettent à l'IA d'effectuer 90% des objectifs assignés plutôt que les 98%, ce changement produit un impact bien plus conséquent que lorsque les améliorations permettaient à l'IA d'effectuer 51% des objectifs assignés à l'IA plutôt que 50% (Hanson, à venir). Et lorsque l'IA peut effectuer 100% des objectifs qui lui sont assignés plutôt que 99% de ceux ci, le goulot d'étranglement des objectifs effectués à une vitesse lente proche de la vitesse humaine disparait.
[24] Ceci est peut-être moins vrai pour les premières générations de WBE, mais Omohundro (2007) soutient que les IAs deviendront de plus en plus des agents d'optimisation, ce qui montre une rigoureuse séparation entre les objectifs et les abilités cognitives.
[25] Hanson (2012) reformule ce problème en disant que "nous devrierions nous attendre à ce qu'une simple continuation des tendances historiques mènera à coup sûr à un scénario d' "explosion de l'intelligence". Donc il n'est pas très important de considérer l'argument plus spécifique de [Chalmers] au sujet d'un tel scénario. Ainsi, les conflits inter-générationnels qui posent question à Chalmers dans ce scénario sont des conflits d'ordre général qui apparaissent dans de nombreux scénarios passés, présents et futurs. En effet, ceux-ci sont des conflits important à prendre en compte, mais Chalmers n'explique pas en quoi ils sont différents du contexte de la "singularité". Nous offrons brièvement une seule raison de pourquoi les conflits inter-générationnels qui apparaissent lors d'une transition de pouvoir entre humains et super-intelligences artificielles sont différents de conflits inter-générationnels déjà rencontrés: comme Bostrom (2002) le remarque, la singularité pourrait être une cause d'extinction pas uniquement d'un groupe de gens, mais de l'espèce humaine dans son ensemble. Pour d'autres réponses à Hanson, voir Chalmers (2012).
[26] Une fonction d'utilité attribue des valeurs d'utilités à des conséquences de manière à ce que des conséquences dont l'utilité est plus élevée sont toujours préférées à des conséquences dont l'utilité est plus basse (Mehta 1998).
[27] Il existe peut-être aussi une possibilité de restreindre les premières IAs pouvant s'auto-améliorer assez longtemps pour pouvoir développer une IA Amicale avant qu'elle ne cause trop de dégâts.
[28] Tous nos remerciements à Nick Bostrom, Steve Rayhawk, David Chalmers, Steve Omohundro, Marcus Hutter, Brian Rabkin, William Naaktgeboren, Michael Anissimov, Carl Shulman, Eliezer Yudkowsky, Louie Helm, Jesse Liptrap, Nisan Stiennon, Will Newsome, Kaj Sotala, Julia Galef, et aux critiques anonymes pour leurs précieux commentaires.