Intelligence Explosion: Evidence and Import

Muehlhauser, Luke, and Anna Salamon. 2012. “Intelligence Explosion: Evidence and Import.” In Singularity Hypotheses: A Scientific and Philosophical Assessment, edited by Amnon Eden, Johnny Søraker, James H. Moor, and Eric Steinhart. Berlin: Springer.

Si encuentras errores de traducción en este documento y quieres corregirlos, o si quieres contribuír con el Machine Intelligence Research Institute traduciendo otro de nuestros documentos, por favor contactar jake@intelligence.org.

El texto original en inglés de este documento puede ser encontrado en:

intelligence.org/files/IE-EI.pdf

Autores: Luke Muehlhauser and Anna Salamon

Traductores: Francisco Maximiliano García and Francisco José Córdoba Otálora

Abstract

En este capítulo repasamos la evidencia a favor y en contra de tres afirmaciones: (1) hay grandes posibilidades de que crearemos IA con la complejidad humana antes del año 2100, (2) si se crea dicha IA, es probable que emerja una IA superhumana vía una “explosión de inteligencia”, y (3) una explosión de inteligencia descontrolada podría destruir aquello que valoramos, pero una explosión de inteligencia controlada, si es lograda,  podría beneficiar a la humanidad enormemente. Concluimos con recomendaciones para aumentar las posibilidades de una explosión de inteligencia controlada sobre una  fuera de control.  

Tabla de Contenidos

1. Introducción

2. Desde aquí hacia la IA

2.1. Prediciendo la IA

2.2. Contratiempos

2.3. Aceleradores

2.4. Entonces, ¿cuánto falta para IA?

3. Desde la IA hacia la superinteligencia de las máquinas

3.1. Las ventajas de la IA

3.2. Objetivos instrumentales convergentes

3.3. Explosión de inteligencia

4. Consecuencias de la superinteligencia de las máquinas

4.1. Logrando una explosión de inteligencia controlada

4.2. ¿Qué podemos hacer sobre los riesgos de la IA?

5. Conclusión

Referencias

La mejor respuesta a la pregunta, “¿Serán las computadoras tan inteligentes como los humanos?” probablemente sea “Sí, pero por poco tiempo.” —Vernor Vinge

1. Introducción

Es posible que el hombre cree inteligencia artificial (IA) con la capacidad humana^[1] en este siglo. Poco después, podríamos encontrarnos con una “explosión de inteligencia” o “singularidad tecnológica”—una cadena de eventos en la cual IA de capacidad humana conlleva, rápidamente, a la creación de sistemas inteligentes cuyas capacidades sobrepasan aquellas de la humanidad en su totalidad.

¿Qué tan probable es esto, y cuáles serían las consecuencias? Otros han discutido estas preguntas anteriormente (Turing 1950, 1951; Good 1959, 1965, 1970, 1982; Von Neumann 1966; Minsky 1984; Solomonoff 1985; Vinge 1993; Yudkowsky 2008a; Nilsson 2009, cap. 35; Chalmers 2010; Hutter 2012); nuestro objetivo es dar una síntesis apropiada tanto para los novatos como para aquellos familiarizados con el tema, pero con experiencia en solo algunos de los campos relevantes.

Para una discusión más detallada de los argumentos, referimos a nuestros lectores a Chalmers (2010, 2012) y Bostrom (de próxima aparición). En este breve capítulo indagaremos algunas consideraciones a favor y en contra de tres afirmaciones:

1. Hay grandes posibilidades de que crearemos IA con la complejidad humana antes del año 2100;
2. Si se crea IA con la capacidad humana, es probable que emerja una IA superhumana vía una explosión de inteligencia;
3. Una explosión de inteligencia descontrolada podría destruir aquello que valoramos, pero una explosión de inteligencia controlada podría beneficiar a la humanidad enormemente si llegamos a lograrla.

Ya que el término “singularidad” popularmente es asociado con varias afirmaciones y enfoques que no defenderemos (Sandberg 2010), comenzaremos por explicar lo que no afirmamos.

Primero, no contaremos historias detalladas sobre el futuro. Cada parte de una historia puede ser probable, pero si varias dichas partes partes, la historia en sí se hace improbable (Nordmann 2007; Tversky y Kahneman 1983). No asumiremos una continuidad de la ley de Moore, ni que las trayectorias de hardware determinan el progreso del software, ni que computadoras más rápidas necesariamente implican “pensamiento” más rápido (Proudfoot y Copeland 2012), ni que las tendencias tecnológicas serán exponenciales (Kurzweil 2005) en lugar de “S- curved” (una curva en forma de S/función logística) u otra forma (Modis, de próxima aparición), ni siquiera que el progreso de la IA acelerará en lugar de desacelerar (Plebe y Perconti, de próxima aparición). En su lugar, examinaremos resultados convergentes que—como la evolución de la vista o la emergencia de los mercados—pueden originarse a raíz de varios caminos distintos y ganar momento una vez que esto suceda. El hombre tiende a subestimar la posibilidad de resultados que pueden generarse a raíz de distintos caminos (Tversky and Kahneman 1974), y creemos que una explosión de inteligencia es uno de dichos resultados.

Segundo, no asumiremos que inteligencia al nivel humano puede ser conseguida a través de una arquitectura clásica de tipo Von Neumann, ni que máquinas inteligentes tendrán propiedades mentales internas como conciencia o “intencionalidad” al estilo humano, ni que las primeras IAs serán geográficamente locales o fácilmente desmontables. Estas propiedades no son requisito para construir IA, por lo tanto objeciones a estas conjeturas (Lucas 1961; Dreyfus 1972; Searle 1980; Block 1981; Penrose 1994; van Gelder and Port 1995)  no son objeciones a la IA (Chalmers 1996, chap. 9; Nilsson 2009, chap. 24; McCorduck 2004, chap. 8 and 9; Legg 2008; Heylighen 2012) o a la posibilidad de una explosión de inteligencia (Chalmers 2012).^[2] Por ejemplo, una máquina no necesita ser consciente para inteligentemente reformar el mundo de acuerdo con sus preferencias, como fue demostrado por los programas con una meta concreta y reducida de IA como los sistemas para jugar ajedrez.

También debemos ser claros a qué nos referimos por “inteligencia” y por “IA”. En cuanto a “inteligencia”, Legg y Hutter (2007) observaron que las definiciones de inteligencia usadas en las ciencias cognitivas convergen hacia la idea que “la inteligencia mide la habilidad de un agente para completar objetivos en una gran variedad de ambientes”. Podríamos referirnos a esto como el concepto de “poder de optimización” de la inteligencia, ya que mide el poder de un agente para optimizar el mundo acorde a sus preferencias a través de varios dominios. Pero considera dos agentes con la misma habilidad de optimizar el mundo de acuerdo con sus preferencias, uno de los cuales necesita más tiempo y recursos computacionales para hacerlo. Ambos tienen el mismo poder de optimización, pero uno de ellos parece hacerlo de manera más inteligente. Por este motivo, definimos inteligencia como poder de optimización sobre recursos utilizados (Yudkowsky 2008b).^[3] Para nuestros propósitos, la “inteligencia” mide la capacidad de un agente para optimizar eficientemente varios dominios del mundo de acuerdo a sus preferencias. Con esta definición, podemos evitar objeciones comunes al uso de nociones homocéntricas de la inteligencia en discusiones pertinentes a la singularidad tecnológica (Greenfield 2012), y así, tal vez, evitaremos típicos antropomorfismos que surgen en discusiones sobre inteligencia (Muehlhauser and Helm, de próxima aparición).

Al decir “IA”, nos referimos a una IA general en lugar de una IA limitada. En otras palabras, nos referimos a “sistemas que igualan o superan la [inteligencia] del hombre virtualmente en todos los dominios de interés” (Shulman y Bostrom 2012). Con esta definición, la computadora Watson de IBM que juega Jeopardy! no es IA (en nuestro sentido), solo es una IA limitada, ya que sólo puede resolver un pequeño conjunto de problemas. Suelta a Watson en un estanque o pídele que haga investigación original, y sería inútil por más que se le diera un mes de preparación. Imagina en su lugar una máquina que pudiera inventar nuevas tecnologías, manipular humanos con habilidades sociales adquiridas, y aprender a navegar nuevos ambientes sociales y físicos que necesite para alcanzar sus objetivos.

¿Qué tipos de máquinas podrían lograr tales proezas? Hay varios tipos posibles. Una transferencia mental (TM) sería una emulación de las estructuras del cerebro suficiente para reproducir la cognición humana. No necesitamos entender los mecanismos de la inteligencia general para usar el software de inteligencia humana ya inventado por la evolución (Sandberg and Bostrom 2008). En contraste, una “IA de novo” requiere reinventar el software de  la inteligencia. Hay un amplio lugar para posibles diseños de la mente para IA de novo (Dennett 1996; Yudkowsky 2008a). Los posibles acercamientos hacia una IA de novo incluyen la simbólica, probabilística, conexionista, evolutiva y otros programas de investigación (Pennachin y Goertzel 2007).

2. Desde aquí hacia la IA

¿Para cuándo deberíamos esperar la creación de la primera IA? Debemos permitir un amplio rango de posibilidades. Excepto por meteorólogos (Murphy y Winkler 1984), y apostadores profesionales exitosos, casi todos estimamos probabilidades de manera inexacta,  y en general confiamos demasiado en nuestras predicciones (Lichtenstein, Fischhoff, y Phillips 1982; Griffin y Tversky 1992; Yates et al. 2002). Esta confianza también afecta a pronosticadores profesionales (Tetlock 2005), y tenemos pocos motivos para pensar que los pronosticadores de la IA lo hagan mejor.^[4] Por lo tanto, si tienes una corazonada de cuándo se creará la primera IA, probablemente estés equivocado.

Pero la incertidumbre no es motivo para no hacer predicciones (Bostrom 2007). Todavía tenemos que decidir si fomentar el desarrollo de TM o no, si financiar investigaciones en IA segura o no, etc. Tomar una decisión en sí, implica algún tipo de predicción. Elegir no financiar investigaciones en IA segura sugiere que no creemos que la IA está cerca, mientras que financiarlas  implica que la IA podría estar cerca.

2.1. Prediciendo la IA

Entonces, ¿cómo podríamos predecir cuándo será creada la IA? En los siguientes párrafos consideramos varias estrategias.

Recolectando la sabiduría de expertos o las multitudes. Varios expertos y grupos han tratado de predecir la creación de la IA. Desafortunadamente, las predicciones de los expertos frecuentemente son sólo un poco mejor que las de no profesionales (Tetlock 2005), los métodos de elicitación no han probado, en general, ser útiles para predicciones a largo plazo,^[5] y los mercados de predicciones, basados de forma ostensible en las opiniones que se consideran a si mismo con algo de experticia, no han demostrado ser útiles para predicciones tecnológicas (Williams 2011). Sin embargo, es útil mencionar que pocos expertos anticipan la IA dentro de los próximos cinco años, mientras que varios expertos anticipan IA para el año 2050 o 2100.^[6]

A través de extrapolación de hardware. El novelista Vernor Vinge (1993) basó sus predicciones sobre la IA en las tendencias del hardware, pero en una reimpresión en el 2003 de su artículo, Vinge describe una deficiencia de este razonamiento: incluso si adquirimos el hardware necesario para la IA, podríamos no tener el desafío del software resuelto.^[7]

La extrapolación del hardware sería un método más útil en un contexto en el que el software de la inteligencia ya haya sido escrito: Transferencia Mental. Ya que TM parece depender en la expansión de tecnologías ya existentes, como la microscopía y la ampliación de la simulación cortical, TM podría resultar ser un problema de “ingeniería”, y como consecuencia el momento de su llegada sería más predecible que en el caso de otros tipos de IA.

Varios autores han discutido la dificultad de TM en detalle (Kurzweil 2005; Sandberg y Bostrom 2008; de Garis et al. 2010; Modha et al. 2011; Cattell and Parker 2012). En resumen: la dificultad de TM depende de varios factores, y en particular en la resolución de la emulación requerida para  una TM exitosa. Por ejemplo, una emulación de resolución proteómica requeriría más recursos y desarrollo tecnológico que una emulación con la resolución de una red neuronal del cerebro. En el caso más probable,

TM al nivel neuronal/sináptico requiere mejoras relativamente modestas en la resolución microscópica, un desarrollo menos trivial de automatización para escaneo y procesamiento de imágenes, un incentivo a la investigación del problema de inferir propiedades funcionales de neuronas y sinapsis, y los desarrollos de modelos computacionales de neurociencia y hardware computacional (Sandberg y Bostrom 2008, 83)

Considerando el período desde Dartmouth. Hemos visto más de 50 años de trabajo en inteligencia de máquinas desde la conferencia Dartmouth en IA, pero la IA todavía no ha llegado. Esto demuestra, intuitivamente, una fuerte evidencia de que la IA no llegará en los próximos minutos, es buena evidencia que no llegará en el próximo año, y significante pero lejos conclusiva evidencia que no llegará en las próximas décadas. Tales intuiciones pueden formalizarse en modelos que, aunque simplísticos, pueden ser útiles puntos de partida para estimar el período de tiempo hasta la inteligencia de máquinas.^[8]

Evaluando el progreso en la inteligencia de las máquinas. Algunas personas estiman intuitivamente cuánto tiempo hasta la IA en base a qué proporción de las habilidades humanas el software actual puede replicar, y qué tan rápido las máquinas nos están alcanzando.^[9] Sin embargo, no está claro como dividir el espacio de las “habilidades humanas”, ni que tan importante es cada una. Tampoco sabemos si el la evolución de la inteligencia de las máquinas será lineal, exponencial, o de otra manera. Al ver el progreso de un infante al aprender cálculo se podría inferir que no aprenderá hasta el año 3000, hasta que de pronto el chico aprende de golpe a los 17 años. De todas maneras, valdría la pena preguntar si es posible encontrar una medida en la que: (a) el progreso sea suficientemente predecible para extrapolar; y (b) cuando el rendimiento llegue a determinado nivel, podemos anticipar IA.

Extrapolando desde la evolución. La evolución se las ingenió para crear inteligencia sin usar inteligencia para lograrlo. Tal vez este hecho puede ayudarnos a establecer un techo sobre la dificultad de crear IA (Chalmers 2010; Moravec 1976, 1998, 1999), aunque hacerlo de esta manera es complicado debido a efectos de selección de observación  (Shulman y Bostrom 2012).

Estimando el progreso de los resultados de investigaciones científicas. Imagina un hombre cavando una fosa de diez kilómetros de profundidad. Si cava 100 metros en un día, podrías predecir que la fosa será terminada en 100 días. ¿Pero si 20 cavadores más se le unieran, y todos utilizan retroexcavadoras? Ahora la fosa no tardará tanto. Analógicamente, para predecir el progreso de la IA sería necesario considerar no cuanto se progresa por año, sino cuanto se progresa por unidad de esfuerzo de investigación, y cuantas unidades de esfuerzo esperamos que se utilicen en las próximas décadas.

Desafortunadamente, todavía no hemos descubierto métodos de predicción tecnológica a largo plazo que sean demostrativamente confiables. Se están intentando nuevos métodos (Nagy et al. 2010), pero hasta que se prueben exitosos debemos ser cautelosos en predecir los tiempos de IA. A continuación, intentamos un enfoque final al examinar algunos contratiempos y aceleradores plausibles en el camino hacia la IA.

2.2. Contratiempos

Varios factores pueden desacelerar el progreso hacia la primera creación de IA. Por ejemplo: un fin a la ley de Moore. Aunque varias tecnologías de información han progresado a un ritmo exponencial o super exponencial por varias décadas (Nagy et al. 2011), esta tendencia podría no mantenerse por mucho más tiempo (Mack 2011).

Consumo de las frutas al alcance de la mano : El progreso científico no es sólo una función del esfuerzo de investigación pero también de la facilidad del descubrimiento científico; en algunos campos hay un patrón de incremento de dificultad con cada nuevo descubrimiento (Arbesman 2011; Jones 2009). IA podría probar ser un campo en el cual nuevos descubrimientos requiere mucho más esfuerzo que descubrimientos previos.

Colapso social. Varios desastres políticos, económicos, tecnológicos o naturales podrían llevar a un colapso social durante el cual no habría progreso científico (Posner 2004; Bostrom y Ćirković 2008).

Desinterés. Chalmers (2010) y Hutter (2012) piensan que el contratiempo más probable en nuestro progreso hacia la IA será el desinterés, o incluso la prevención activa. Tal vez los humanos no querrán crear sus propios sucesores. Nuevas tecnologías como una “IA niñera” (Goertzel 2012), o nuevas alianzas políticas como un totalitarismo global estable (Caplan 2008), podrían darle el poder al hombre de retrasar o prevenir el progreso científico que llevaría a la creación de IA.

2.3. Aceleradores

Sin embargo, otros factores podrían acelerar el progreso hacia IA:

Más hardware. Al menos durante cuatro décadas, el poder computacional^[10] ha incrementado exponencialmente, prácticamente de acuerdo a la ley de Moore.^[11] Expertos no concuerdan cuánto tiempo más la ley de Moore se mantendrá (Mack 2011; Lundstrom 2003), pero incluso si el hardware avanza más lentamente que exponencialmente, podemos esperar que el hardware será mucho más poderoso en algunas décadas que ahora.^[12] Más hardware en sí mismo no crea máquinas inteligentes, pero contribuye a la creación de máquinas inteligentes de varias formas:

Un hardware poderoso podría mejorar la performance simplemente al posibilitar que soluciones de “fuerza bruta” existentes se ejecuten más rápido (Moravec 1976). Si tales soluciones no existen, los investigadores podrían ser incentivados a llegar a dichas soluciones si pueden tomar ventaja del nuevo hardware. Computadoras más baratas permitirían experimentación mucho más extensiva en el diseño de algoritmos, cambiando parámetros o usando métodos tales como algoritmos genéticos. Indirectamente, las computadoras permitirían la producción y el procesamiento de enormes sets de datos para mejorar el desempeño de la IA (Halevy, Norvig, y Pereira 2009), o podrían resultar en una expansión de la industria de tecnología de la información y la cantidad de investigadores en el campo. (Shulman y Sandberg 2010)

Mejores algoritmos. Frecuentemente, aportes matemáticos pueden reducir el tiempo computacional de un programa en varios órdenes de magnitud sin hardware adicional. Por ejemplo, Deep Blue de IBM jugó ajedrez al nivel del campeón mundial Garry Kasparov en 1997 usando aproximadamente 1.5 millones de instrucciones (TIPS), pero un programa llamado Deep Junior lo hizo en 2003 usando sólo 0.015 TIPS. Así, queda claro que la eficiencia computacional del algoritmo de ajedrez mejoró en un factor de 100 en sólo seis años (Richards y Shaw 2004).

Enormes sets de datos. Los saltos más grandes hacia el futuro en reconocimiento de lenguaje y software de traducción no han llegado a través de hardware más rápido o mejores algoritmos, sino a través del acceso a enormes sets de datos de palabras transcritas y traducidas por humanos (Halevy, Norvig, y Pereira 2009). Se espera que los sets de datos crezcan enormemente en las próximas décadas, y varias tecnologías prometen sobrepasar “La ley de Kryder” (Kryder y Kim 2009), que dice la densidad de almacenamiento en los discos magnéticos se duplica aproximadamente cada 18 meses (Walter 2005).

Progreso en psicología y neurociencia. Científicos cognitivistas han descubierto varios de los algoritmos del cerebro que contribuyen a la inteligencia humana (Trappenberg 2009; Ashby y Helie 2011). Métodos como redes neuronales (adquiridas desde la neurociencia) y el Aprendizaje Por Refuerzo (inspirado en la psicología conductista) ya han resultado en significativo progreso en la IA, y expertos esperan que esta transferencia de ideas desde la neurociencia hacia la IA continue y tal vez se acelere (Van der Velde 2010; Schierwagen 2011; Floreano y Mattiussi 2008; de Garis et al. 2010; Krichmar y Wagatsuma 2011).

Ciencia acelerada. Un primer mundo en crecimiento significaría que más investigadores en universidades bien financiadas conducirán investigaciones relevantes a la inteligencia de las máquinas. Los productos científicos del mundo (en materia de publicación) crecieron en un tercio entre 2002 y 2007, esto se debe en gran parte al rápido crecimiento del producto científico en naciones emergentes como China e India (Royal Society 2011).^[13] Además, nuevas herramientas pueden acelerar campos en particular, tal como fMRI aceleró la neurociencia en los ‘90, y la eficacia de los propios científicos podría potencialmente ser mejorada con fármacos de mejora cognitiva (Bostrom y Sandberg 2009), e interfaces de computadoras-cerebros que permiten acceso directo neuronal a grandes bases de datos (Groß 2009). Finalmente, nuevas herramientas de colaboración como blogs y Google Scholar ya están dando resultados como el Polymath Project, el cuál rápida y colaborativamente resolviendo problemas abiertos en matemática (Nielsen 2011).^[14]

Incentivo económico. Ya que las capacidades de los programas de “IA concreta” se acercan a las capacidades humanas en más dominios (Koza 2010), habrá una demanda en aumento para reemplazar trabajadores humanos con máquinas más baratas y más confiables (Hanson 2008, de próxima aparición; Kaas et al. 2010; Brynjolfsson y McAfee 2011).

Incentivos para el primero en actuar. Una vez que la IA parezca estar en nuestro alcance, actores políticos y privados verán ventajas sustanciales en construir IA primero. IA podría hacer a un pequeño grupo más poderoso que los superpoderes tradicionales—un caso de “traer un revolver a una pelea de cuchillos.” La carrera hacia la IA incluso podría ser un escenario de “el ganador se lleva todo”. En consecuencia, actores políticos y privados que logren darse cuenta que la IA está al alcance podrían dedicar recursos sustanciales a desarrollarla lo más rápido posible provocando una carrera armamentista de IA(Gubrud 1997).

2.4. Entonces, ¿cuánto falta para IA?

Todavía no hemos mencionado dos pequeños pero significantes puntos que nos llevan a estar de acuerdo con Schmidhuber (2012) en que “el progreso hacia una IA de automejora ya llegó mucho más allá de lo que varios futuristas y filósofos saben.” Estos dos puntos son el modelo de agente universal y probablemente óptimo de Marcus Hutter, AIXI (Hutter 2005), y los modelos de máqunas universales de automejora Gödel de Jürgen Schmidhuber’s (Schmidhuber 2007, 2009).

Schmidhuber (2012) sintetiza la importancia de la máquina Gödel:

[La] máquina Gödel . . . ya es una IA universal que es, por lo menos teóricamente, óptima en cierto sentido. Puede interactuar con un ambiente inicialmente desconocido y parcialmente observable para maximizar la utilidad esperada a futuro o recompensa al resolver tareas computacionales arbitrarias definidas por el usuario. El algoritmo no está predefinido; puede sobreescribirse a sí mismo sin límites esenciales más allá de los límites de computabilidad, dado que un buscador de pruebas incluído dentro del algoritmo inicial puede probar que la sobreescritura es útil, de acuerdo con la función de utilidad formalizada teniendo en cuenta que los recursos computacionales son limitados. Auto-sobreescrituras pueden modificar/mejorar el buscador de pruebas mismo, y pueden demostrarse ser globalmente óptimas, relativas a las restricciones de probabilidad fundamentales de Gödel (Gödel 1931). . . .

Todo esto implica que ya existe un plano de una IA Universal que resolverá casi todos los problemas casi tan rápido como si ya supiera el mejor (desconocido) algoritmo para resolverlos, ya que casi todos los problemas imaginables son lo suficientemente grande para hacer las constantes negligibles. Por eso, debo objetar el argumento de Chalmers que “todavía debemos encontrar el algoritmo correcto, y nadie todavía ha estado cerca de encontrarlo.”

A continuación, volcamos nuestra atención hacia Hutter (de próxima aparición) para un resumen de la importancia de AIXI:

Los ingredientes concretos en AIXI son los siguientes: Las acciones inteligentes se basan en decisiones informadas. Lograr buenas decisiones requiere predicciones, las cuales típicamente se basan en modelos del ambiente. Los modelos son construidos o aprendidos en base a observaciones pasadas vía inducción. Afortunadamente, basado en profundos aportes filosóficos y poderosos desarrollos matemáticos, todos estos problemas han sido resueltos, por lo menos en teoría: Entonces, ¿qué necesitamos (desde un punto de vista matemático) para construir un agente de aprendizaje universal óptimo capaz de interactuar con un ambiente desconocido arbitrario? La teoría, llamada IAU [Inteligencia Artificial Universal], desarrollada en la última década y explicada en Hutter (2005) dice: Todo lo que necesitas es Ockham, Epicurus, Turing, Bayes, Solomonoff (1964a, 1964b), Kolmogorov (1965), y Bellman (1957): La teoría de decisión secuencial (Bertsekas 2007) (la ecuación de Bellman) resuelve formalmente el problema de agentes racionales en mundos inciertos si la verdadera probabilidad de distribución del ambiente es conocida. Si el ambiente es desconocido, inferencia Bayesiana(Berger 1993) reemplaza la verdadera distribución mediante una combinación ponderada de distribuciones de clase (de hipótesis).Usando una clase grande de todas las medidas (semi) computables en una máquina de Turing, lleva a considerar a Epicuro que dice que no se debe descartar ninguna hipótesis (consistente).   Para no ignorar a Ockham, quien eligiría la hipótesis más simple, Solomonoff definió un a prori universal que asigna un peso alto/bajo a ambientes simples/complejos (Rathmanner y Hutter 2011), donde Kolmogorov cuantifica la complejidad (Li and Vitányi 2008). La unificación de estos factores constituye la teoría de IAU y resultó en . . . AIXI.^[15]

AIXI es incomputable, pero se ha experimentado con aproximaciones computacionalmente tractables, y las mismas revelan un camino hacia la IA universal^[16] capaz de resolver problemas del mundo real en diversos ambientes:

La misma [AIXI aproximación “MC-AIXI-CTW”] puede aprender a jugar TicTacToe, Kuhn Poker, y de forma impresionante Pacman (Veness et al. 2011) desde cero. Además de Pacman, hay cientos de otros juegos de arcade de los ‘80, y sería sensacional si un solo algoritmo fuera capaz de aprenderlos solamente a través de prueba y error, lo cual parece posible para (una variante de ) MC-AIXI-CTW. Aunque estos sean solo juegos de recreación, contienen varios elementos prototípicos del mundo real, como alimento, enemigos, amigos, espacio, obstáculos, objetos y armas. El próximo paso podría ser una prueba en mundos virtuales modernos . . . lo cual requiere agentes inteligentes, y finalmente algunos selectos problemas del mundo real.

Entonces, cuándo crearemos IA? Cualquier predicción al respecto deberá tener un amplio margen de error. Teniendo en cuenta el historial de falsas predicciones sobre IA (Crevier 1993), y los potenciales contratiempos, parece equivocado decir con 90% de certeza que la IA será exitosa en el próximo siglo. Pero decir con un 90% de certeza que la IA no llegará antes de fin de siglo también parece equivocado, dado que: (a) varios descubrimientos difíciles en AI ya han sido logrados (incluyendo la máquina Gödel y AIXI), (b) varios factores, como la automatización de la ciencia y los incentivos del primero en actuar , podrían acelerar el progreso hacia IA AI, y (c) la transferencia mental parece ser posible y tener un desarrollo más predecible que IA de novo. En consecuencia, hay una gran probabilidad que la IA será creada en este siglo. Esta afirmación no es científica—el campo de predicción tecnológica no esta lo suficiente avanzado para eso—pero creemos que nuestra afirmación es razonable.

La creación de IA de nivel humano tendría serias repercusiones, tal como el reemplazo de casi todos los trabajadores humanos (Brynjolfsson y McAfee 2011). Pero si la IA es capaz de abrir paso a la superinteligencia de las máquinas, tal como discutiremos a continuación, las implicaciones podrían ser incluso mayores.

3. Desde la IA hacia la superinteligencia de las máquinas

Parece poco probable que los humanos estén cerca del techo de las posibles inteligencias, en lugar de simplemente ser la primera de tales inteligencias que ha evolucionado. Las computadoras superan a los humanos en varios nichos concretos (e.g. aritmética, ajedrez, tamaño de memoria), y hay razones para creer que mejoras similares sobre las habilidades humanas son posibles para el razonamiento general, diseño tecnológico, y otras tareas de interés. Como crítico ocasional de IA Jack Schwartz (1987) dijo:

Si las inteligencias artificiales pueden ser creadas en primera instancia, ¿existe una pequeña razón para creer que el éxito inicial no se llevará de forma rápida? a la construcción de super inteligencias artificiales capaces de explorar importantes alternativas matemáticas, científicas o de ingeniería a un ritmo que exceda la habilidad humana, o a generar planes y actuar en base a ellos a una velocidad similar. Ya que el casi monopolio del hombre sobre todas otras formas de inteligencia ha sido uno de los hechos más básicos de la existencia humana a lo largo de la historia, tales creaciones claramente crearían una nueva economía, una nueva sociología y una nueva historia.

¿Por qué podría la IA "llevar de forma rápida" hacia la superinteligencia de las máquinas. ? Debajo algunas consideraciones:

3.1. Las ventajas de la IA

A continuación listamos algunas de las ventajas de IA que podrían permitir que las IAs sean no sólo más inteligentes que cualquier hombre, pero también más inteligente que toda la humanidad biológica (Sotala 2012; Legg 2008). Varias de estas ventajas son únicas en la inteligencia de las máquinas, y es por eso que nos enfocamos en la explosión de inteligencia desde la perspectiva de la IA en lugar de desde la perspectiva de una mejora cognitiva biológica (Sandberg 2011).

Aumento en recursos computacionales. El cerebro humano utiliza 85–100 mil millones de neuronas. Este límite se debe a restricciones producidas por la evolución en el volumen del cerebro y metabolismo. En contraste, la inteligencia de una máquina podría usar recursos computacionales escalables (imagina un “cerebro” del tamaño de una bodega). Aunque los algoritmos necesitarían cambiar para ser fácilmente escalables, uno podría darse una idea del potencial al notar que los humanos tienen un cerebro de aproximadamente 3,5 veces el tamaño del de un chimpancé (Schoenemann 1997), y que hay una correlación positiva entre el tamaño del cerebro y IQ en humanos, con un coeficiente de correlación de 0.35 (McDaniel 2005). Un estudio sugiere una correlación similar entre el tamaño de cerebro y la habilidad cognitiva en ratas y ratones (Anderson 1993).^[17]

Velocidad de comunicación. Los axones generan señales hasta los 75 metros por segundo (Kandel, Schwartz, y Jessell 2000). Esa velocidad es una consecuencia fija de nuestra fisiología. En contraste, la mente de un software puede ser migrada a un hardware más rápido y, en consecuencia, procesar información más rápido. (Por supuesto, esto también depende de la eficiencia del algoritmo utilizado; un hardware más rápido compensa por un software menos eficiente.)

Aumento de la profundidad serial. Debido a la lenta velocidad de activación de las neuronas, el cerebro humano depende de una paralelización masiva y es incapaz de hacer cualquier cómputo que requiere más de aproximadamente 100 operaciones secuenciales (Feldman y Ballard 1982). Tal vez haya tareas cognitivas que podrían ser logradas de manera más efectiva y precisa si la habilidad del cerebro para soportar algoritmos paralelizables de emparejamiento de patrones son complementados para soportar procesos secuenciales más largos. De hecho, hay varios algoritmos conocidos en los cuales la mejor implementación paralela utiliza muchos más recursos computacionales que la mejor implementación serial, debido costo asociado con la paralelización.^[18]

Duplicabilidad. Nuestro investigador colega Steve Rayhawk describe la IA como “inteligencia instantanea; ¡solo agrega el hardware!” Lo que Rayhawk quiere decir es que, aunque diseñar la primera IA requerirá extensivas investigaciones, crear IAs adicionales solo requerirá copiar el software. Así, la población de mentes digitales puede expandirse hasta llenar  la base de hardware existente, tal vez rápidamente sobrepasando la población de mentes biológicas.

La duplicabilidad también lleva a la población de IA a ser rápidamente dominada por nuevas IAs, con nuevas habilidades. Ya que la habilidad de una IA es almacenada digitalmente, su estado actual exacto puede ser copiado,^[19] incluyendo recuerdos y habilidades adquiridas—similar a como el “estado de un sistema” puede ser copiado a través de programas de emulación de hardware o programas de recuperación de sistema. Una persona que se educa mejora sólo su propio desempeño, pero una IA que mejora en un 10%  en acumular dinero (por dólar de hardware rentable) por sobre otras IAs puede ser utilizada para reemplazar el resto—haciendo cada copia un 10% más eficiente.^[20]

Editabilidad. La digitalidad crea más parámetros para una variación controlada de lo que es posible con humanos. Podemos poner humanos en programas de entrenamiento para trabajos específicos, pero no podemos hacer neurocirugías precisas y replicables en ellos. Trabajadores digitales serían más editables que lo que son los trabajadores humanos. Primero, considera las posibilidades que emergerían de una transferencia mental. Sabemos que una Estimulación Magnética Transcraneana (EMT) aplicada a una parte de la corteza prefrontal puede mejorar la memoria de trabajo  (Fregni et al. 2005). Ya que EMT funciona aumentando o disminuyendo la excitabilidad de las poblaciones de neuronas, parece plausible que al aumentar o disminuir el parámetro de “excitabilidad” de ciertas poblaciones de neuronas (virtuales) en una mente digital aumentaría su desempeño. También podríamos modificar experimentalmente docenas de otros parámetros de transferencia mental, tal como simulaciones de niveles de glucosa, células madre virtuales (sin diferenciar) colocadas en módulos particulares del cerebro como la corteza motora, y conexiones rápidas a lo largo de diferentes partes del cerebro.^[21] Segundo, un modular, transparente IA podrían incluso ser más directamente editable que una transferencia mental—posiblemente a través de su código. (Por supuesto, tales posibilidades crean problemas éticos)

Coordinación de objetivos. Permítanos establecer un conjunto de copias de IA o copias cercanas conocidas como  "clan de copia". Dados objetivos compartidos, clan de copia no enfrentaría ciertos problemas de coordinación de objetivos que limitan la efectividad humana (J. W. Friedman 1994). Un humano no puede utilizar un salario 100 veces más alto para comprar un aumento de 100 veces de productividad por día. Pero un clan de copia sí, sus tareas son paralelizables, podría hacer justamente eso. Cualquier ganancia hecha por esa clan de copia, o por un humano o una organización humana controlando al clan, puede potencialmente invertirse en desarrollo de IA,

permitiendo a las ventajas iniciales establecerse.

Racionalidad mejorada. Algunos economistas se refieren a los humanos como Homo economicus: agentes racionales motivados en sí mismos que hacen lo que creen que maximizará el cumplimiento de sus objetivos (M. Friedman 1953). Sin embargo, en base a estudios del comportamiento Schneider (2010) indica que somos más parecidos a Homero Simpson: somos seres irracionales que no tienen objetivos estable y consistentes (Schneider 2010; Cartwright 2011). Pero imagina si tu fueras un Homo economicus. Podrías mantenerte en una dieta, dedicar el tiempo óptimo para aprender qué actividades cumplirán tus objetivos, y seguir un plan óptimo sin importar que tan tedioso sea llevarlo a cabo. Se podría escribir inteligencias  de máquinas para que fuera altamente más racionales que los humanos, y de esa manera acumular los beneficios del pensamiento racional y de la acción.. El modelo del agente racional (utilizando la teoría de probabilidad Bayesiana y la teoría de la utilidad esperada) es un paradigma maduro en actuales diseños de IA (Hutter 2005; Russell y Norvig 2010, ch. 2).

Estas ventajas de IA sugieren que las IAs serán capaces de sobrepasar las habilidades cognitivas y el poder de optimización de la humanidad entera, ¿Pero estarán motivadas para eso? . Aunque es difícil predecir las motivaciones específicas de IAs avanzadas, podemos hacer algunas predicciones sobre objetivos instrumentales convergentes—objetivos instrumentales útiles para la satisfacción de casi cualquier objetivo final.

3.2. Objetivos instrumentales convergentes

Omohundro (2007, 2008, de próxima aparición) y Bostrom (de próxima aparición) sostienen que hay varios objetivos instrumentales que serán buscados por casi cualquier inteligencia avanzada ya que estos objetivos son útiles intermediarios para el cumplimiento de cualquier set de objetivos finales. Por ejemplo:

1. Una IA querrá preservarse a sí misma ya que si fuera destruida no podría actuar en el future para maximizar la satisfacción de su objetivo final actual.
2. Una IA querrá preservar el contenido de sus objetivos finales actuales ya que si el contenido de sus objetivos finales es cambiado sería menos probable que actuase en el futuro para maximizar la satisfacción de los objetivos finales originales.^[22]
3. Una IA querrá mejorar su propia racionalidad e inteligencia ya que esto mejorará su toma de decisiones, y en consecuencia mejorará su capacidad de cumplir su objetivo.
4. Una IA querrá adquirir la mayor cantidad de recursos posibles para que estos puedan ser transformados y puestos en funcionamiento para satisfacer su objetivo final  e instrumental.

Más adelante veremos por qué estos objetivos instrumentales convergentes indican que el  resultado predeterminado del avance de la IA es la extinción humana. Por el momento, examinemos los mecanismos de Auto mejoramiento de IA.

3.3. Explosión de inteligencia

El objetivo instrumentale convergente para el auto mejoramiento  tiene una consecuencia especial. Una vez que los programadores humanos construyan una IA con una capacidad para el diseño de IA mejor que la del hombre, el objetivo instrumental para el auto mejoramiento podría motivar un circuito de auto mejora.^[23] Además, cuando la inteligencia de una máquina se mejora a sí misma, mejora la inteligencia que está a cargo de la mejora. De este modo, si meros esfuerzos humanos son suficientes para producir inteligencia de máquinas en este siglo, una gran población de inteligencia de máquinas mayores que la de los humanos podría comenzar un ciclo de auto mejora, haciendo posible una rápida transición hacia la super inteligencia de las máquinas. Chalmers (2010) analiza este proceso en detalle, por lo cual haremos solo algunos comentarios adicionales.

El término "Auto" en frases como "Auto mejoramiento recursivo" or "cuando la inteligencia de la máquina se auto mejora", es algo de uso de nombre equivocado. La inteligencia de máquinas podría editar su propio código mientras está en funcionamiento (Schmidhuber 2007; Schaul and Schmidhuber 2010), pero también podría crear nuevas inteligencias que funcionan independientemente. Alternativamente, varias IAs (tal vez incluyendo Transferencial Mentales) podrían trabajar en conjunto para diseñar la próxima generación de IAs. La explosión de inteligencia podría suceder gracias al auto mejoramiento u otro mejoramiento de IA.

Una vez que una estable auto mejora de máquinas comience, el desarrollo de IA no necesita avanzar al ritmo normal de las innovaciones tecnológicas de los humanos. Sin embargo, hay un importante disenso sobre qué tan rápido o local este “despegue” sería (Hanson y Yudkowsky 2008; Loosemore y Goertzel 2011; Bostrom, de próxima aparición), y también sobre si la explosión de inteligencia resultaría en un equilibrio estable de múltiples super inteligencias de máquinas o en un “singleton” (Bostrom 2006). No discutiremos estos complejos temas aquí.

4. Consecuencias de la superinteligencia de las máquinas

Si las máquinas sobrepasan los niveles de inteligencia de los humanos—es decir, sobrepasar la capacidad de optimización en diversos dominios de los humanos—nos podríamos encontrar en una posición análoga a la de los simios que observaban cómo los humanos inventaban fuego, escritura, ciencia, armas y aviones para luego dominar el planeta. (Una diferencia importante sería que ningún simio presenció la saga entera, mientras que nosotros podríamos presenciar un cambio hacia el dominio de las máquinas en lo que dura la vida de un humano.) Tales máquinas serían superiores a nosotros en términos de manufactura, recursos descubrimientos científicos, aptitudes sociales y acción estratégica, entre otras capacidades. No estaríamos en una posición de negociar con ellas, tal como ni los chimpancés o los delfines están en una posición de negociar con nosotros.

Además, la inteligencia puede ser aplicada el conseguir cualquier objetivo. Tal como Bostrom (2012) argumenta, si hiciéramos las IAs más inteligentes no haríamos que cambien su sistema de objetivos—de hecho, las IAs estarían motivadas a preservar sus objetivos iniciales. Si hiciéramos las IAs más inteligentes, sólo las haríamos más capaces de lograr sus objetivos finales originales, cualquiera que ellos sean.^[24]

Esto nos lleva a la característica central del riesgo de la IA: A menos que la IA sea específicamente programada para preservar aquellos que los humanos valoras, podría destruir esas estructuras valoradas (incluyendo a los humanos) incidentalmente. Tal Yudkowsky (2008a) lo expresa, “la IA no te ama ni te odia, pero estas hecho de átomos que puede usar para otro propósito.”

4.1. Logrando una explosión de inteligencia controlada

Entonces, ¿cómo podemos darles objetivos a las IAs antes que auto-mejoren más allá de nuestra habilidad de controlarlas o negociar con ellas?^[25] Transferencias Mentales y otras IAs inspiradas en el cerebro funcionando en sistemas derivados de los humanos como el “código en spaghetti” no tengan un claro "espacio" donde se encuentren las metas esperadas. (Marcus 2008). Lo mismo también podrá ser verdad de otros diseños de IA "opacos", como aquellos producidos por algoritmos que evolucionan - o diseños más transparentes de IA. Incluso si una IA tuviera un diseño transparente con una función de utilidad claramente definida,^[26] ¿sabríamos cómo darle objetivos deseables? Desafortunadamente, especificar lo que los humanos valoran podría ser extraordinariamente complicado, debido a la complejidad y fragilidad de las preferencias humanas (Yudkowsky 2011; Muehlhauser y Helm, de próxima aparición), y permitirle a una IA  aprender objetivos deseados a través de castigo y recompensa podría ser igual de dificil (Yudkowsky 2008a). Si esto es correcto, la creación de una IA capaz de auto-mejora podría ser dañino a menos que primero resolvamos el problema de como crear un a IA con una función de utilidad estable y deseada—una  “IA amigable” (Yudkowsky 2001).^[27]

Pero supone que es posible crear una IA amigable (IAA) capaz de una auto-mejora radical. Las  proyecciones normales de crecimiento económico permiten grandes descubrimientos relevantes al bienestar humano para eventualmente ser llevados a cabo—pero una IA amigable podría hacer esos descubrimientos mucho antes. Una super inteligencia de máquinas podría, tal como Bostrom (2003) dijo, “crear oportunidades para que nosotros aumentemos nuestras propias capacidades intelectuales y emocionales, y podría asistirnos en crear un mundo experiencial atractivo en el que podría vivir nuestras vida dedicados a disfrute de juegos, relacionados con cada uno, experiencias, desarrollo personal y de vivir más cerca a nuestros ideales..”

Al pensar que una IAA sería muy difícil, Goertzel (2012) propone una “IA Niñera” global que pueda  “anticipar una completa singularidad por un tiempo, . . .dándonos tiempo para pensar que tipo de singularidad queremos construir realmente y como.” Goertzel y otros trabajando teoría de IA segura apreciarían el tiempo extra para resolver los problemas de la seguridad de IA antes de que la primera IA capaz de auto mejora sea creada, pero tus autores creen que la IA Niñera es una “IAA completa,” o cercana a eso. Es decir, para poder crear una IA Niñera, es posible que haya que resolver todos los problemas para construir una IA Amigable completa, por ejemplo el problema de especificar objetivos precisos (Yudkowsky 2011; Muehlhauser y Helm, de próxima aparición), y el problema de mantener una función de utilidad estable bajo auto modificaciones radicales, incluyendo actualizaciones hacia la ontología interna de la IA (de Blanc 2011).

Los enfoques hacia una explosión de inteligencia controlada que hemos discutido hasta ahora intentan limitar el objetivo de una IA, pero otros han sugerido una variedad de “Externalizar” los límites de IA orientadas por metas: Confinamiento físico y de software (Chalmers 2010; Yampolskiy 2012), mecanismo de disuasión, y botones de apagado que permita apagar la IA si entra a ejercer un comportamiento peligroso. Desafortunadamente, estas soluciones pondrían en competencia la inteligencia humana contra la inteligencia superhumana, y no nos deberíamos confiar que la humana será la vencedora.

Tal vez podríamos construir una IA de habilidad cognitiva limitada—por ejemplo, una máquina que solo responda preguntas: una “IA Oráculo.” Pero esta propuesta tiene sus propios peligros (Armstrong, Sandberg, y Bostrom 2012).

Desafortunadamente, incluso si estas propuestas funcionaran, solo podrían retrasar los riesgos de la IA sin eliminarlos completamente. Si un equipo de desarrollo de IA crea exitosamente una IA Oráculo o IA orientadas por metas con sistemas de restricciones externos exitosos, otros equipos de desarrollo de IA no estarían lejos de crear sus propias IAs, algunas de ellas con medidas de seguridad menos efectivas. Una IA Amigable con suficiente tiempo de preparación, podría prevenir permanentemente las creación de IAs poco seguras.

4.2. ¿Qué podemos hacer sobre los riesgos de la IA?

Ya que la IA superhumana y otras tecnologías poderosas podrían llevar un riesgo de extinción humana (“riesgo existencial”), Bostrom (2002) recomienda un programa de desarrollo tecnológico diferencial en el cual intentaríamos “retrasar la implementación de tecnologías peligrosas y acelerar la implementación de tecnologías beneficiosas, especialmente aquellas que alivian los peligros creados por otras tecnologías.”

Pero resultados positivos de una explosión de inteligencia parecen no solo depender de un desarrollo tecnológico diferencial, pero también, por ejemplo, de la resolución de ciertos problemas en teoría de la decisión y valor de la teoría antes de la primera creación de IA(Muehlhauser 2011). Por eso, recomendamos un camino de progreso intelectual diferencial, el cual incluye desarrollo tecnológico diferencial como un caso especial.

El progreso intelectual diferencial consiste en priorizar progreso intelectual capaz de reducir el riesgo sobre aquel capaz de aumentarlo. Aplicado al riesgo de IA en particular, un plan de progreso intelectual diferencial recomendaría que nuestro progreso en problemas científicos, filosóficos, y tecnológicos de la seguridad de la IA avance más rápidamente que nuestro progreso en los problemas sobre la capacidad de la IA, de tal modo que desarrollemos IAs super humanas seguras  antes de desarrollar IAs super humanas arbitrarias. Nuestra primera IA super humana debe ser una IA segura, ya que podríamos no tener una segunda oportunidad (Yudkowsky 2008a). Tanto con la IA como con otras tecnologías, podríamos caer víctimas de “la tendencia en la que el avance tecnológico es más rápido que el control social tecnológico” (Posner 2004).

5. Conclusión

Hemos argumentado que la IA plantea una amenaza existencial hacia la humanidad. Sin embargo, con mayor inteligencia podemos obtener mejores y rápidas soluciones a muchos de nuestros problemas. Normalmente no asociamos curas al cáncer o estabilidad económica con la inteligencia artificial, pero curar el cáncer es, en definitiva, un problema de ser lo suficientemente inteligente para encontrar la cura, y alcanzar una estabilidad económica es un problema de ser lo suficientemente inteligente para averiguar como alcanzarla. Cualquiera sean nuestros objetivos, tenemos objetivos que pueden ser logrados de manera más efectiva usando inteligencia lo suficientemente avanzada. Al considerar las posibles consecuencias de una IA super humana, debemos respetar ambas oportunidades y riesgos.^[28]

Referencias

Anderson, Britt. 1993. Evidence from the rat for a general factor that underlies cognitive performance and that relates to brain size: intelligence? Neuroscience Letters 153 (1): 98–102. doi:10.1016/0304-3940(93)90086-Z.

Arbesman, Samuel. 2011. Quantifying the ease of scientific discovery. Scientometrics 86 (2): 245–250. doi:10.1007/s11192-010-0232-6.

Armstrong, Jon Scott. 1985. Long-range forecasting: From crystal ball to computer. 2nd ed. New York: Wiley.

Armstrong, Stuart, Anders Sandberg, and Nick Bostrom. 2012. Thinking inside the box: Using and controlling an oracle AI. Minds and Machines. doi:10.1007/s11023-012-9282-2.

Ashby, F. Gregory, and Sebastien Helie. 2011. A tutorial on computational cognitive neuroscience: Modeling the neurodynamics of cognition. Journal of Mathematical Psychology 55 (4): 273–289. doi:10.1016/j.jmp.2011.04.003.

Bainbridge, William Sims, and Mihail C. Roco, eds. 2006. Managing nano-bio-info-cogno innovations: Converging technologies in society. Dordrecht, The Netherlands: Springer.

Baum, Seth D., Ben Goertzel, and Ted G. Goertzel. 2011. How long until human-level AI? Results from an expert assessment. Technological Forecasting and Social Change 78 (1): 185–195. doi:10.1016/j.techfore.2010.09.006.

Bellman, Richard Ernest. 1957. Dynamic programming. Princeton, NJ: Princeton University Press.

Berger, James O. 1993. Statistical decision theory and Bayesian analysis. 2nd ed. Springer Series in Statistics. New York: Springer.

Bertsekas, Dimitri P. 2007. Dynamic programming and optimal control. 2 vols. Nashua, NH: Athena Scientific.

Block, Ned. 1981. Psychologism and behaviorism. Philosophical Review 90 (1): 5–43. doi:10.2307/2184371.

Bostrom, Nick. 2002. Existential risks: Analyzing human extinction scenarios and related hazards. Journal of Evolution and Technology 9. http://www.jetpress.org/volume9/risks.html.

———. 2003. Ethical issues in advanced artificial intelligence. In Cognitive, emotive and ethical aspects of decision making in humans and in artificial intelligence, ed. Iva Smit and George E. Lasker, 12–17. Vol. 2. Windsor, ON: International Institute of Advanced Studies in Systems Research / Cybernetics.

———. 2006. What is a singleton? Linguistic and Philosophical Investigations 5 (2): 48–54.

———. 2007. Technological revolutions: Ethics and policy in the dark. In Nanoscale: Issues and perspectives for the nano century, ed. Nigel M. de S. Cameron and M. Ellen Mitchell, 129–152. Hoboken, NJ: John Wiley & Sons. doi:10.1002/9780470165874.ch10.

———. 2012. The superintelligent will: Motivation and instrumental rationality in advanced artificial agents. In Theory and philosophy of AI, ed. Vincent C. Müller. Special issue, Minds and Machines 22 (2): 71–85. doi:10.1007/s11023-012-9281-3.

———. Forthcoming. Superintelligence: A strategic analysis of the coming machine intelligence revolution. Manuscript, in preparation.

Bostrom, Nick, and Anders Sandberg. 2009. Cognitive enhancement: Methods, ethics, regulatory challenges. Science and Engineering Ethics 15 (3): 311–341. doi:10.1007/s11948-009-9142-5.

Brynjolfsson, Erik, and Andrew McAfee. 2011. Race against the machine: How the digital revolution is accelerating innovation, driving productivity, and irreversibly transforming employment and the economy. Lexington, MA: Digital Frontier Press. Kindle edition.

Caplan, Bryan. 2008. The totalitarian threat. In Bostrom and Ćirković 2008, 504–519.

Cartwright, Edward. 2011. Behavioral economics. Routledge Advanced Texts in Economics and Finance. New York: Routledge.

Cattell, Rick, and Alice Parker. 2012. Challenges for brain emulation: why is building a brain so difficult? . Synaptic Link, Feb. 5. http://synapticlink.org/Brain%20Emulation%20Challenges.pdf.

Chalmers, David John. 1996. The conscious mind: In search of a fundamental theory. Philosophy of Mind Series. New York: Oxford University Press.

———. 2010. The singularity: A philosophical analysis. Journal of Consciousness Studies 17 (9–10): 7–65. http://www.ingentaconnect.com/content/imp/jcs/2010/00000017/f0020009/art00001.

———. 2012. The singularity: A reply to commentators. Journal of Consciousness Studies 19 (7-8): 141–167. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020007/art00014.

Crevier, Daniel. 1993. AI: The tumultuous history of the search for artificial intelligence. New York: Basic Books.

de Blanc, Peter. 2011. Ontological crises in artificial agents’ value systems. The Singularity Institute, San Francisco, CA, May 19. http://arxiv.org/abs/1105.3821.

de Garis, Hugo, Chen Shuo, Ben Goertzel, and Lian Ruiting. 2010. A world survey of artificial brain projects, part I: Large-scale brain simulations. Neurocomputing 74 (1–3): 3–29. doi:10.1016/j.neucom.2010.08.004.

Dennett, Daniel C. 1996. Kinds of minds: Toward an understanding of consciousness. Science Master. New York: Basic Books.

Dewey, Daniel. 2011. Learning what to value. In Schmidhuber, Thórisson, and Looks 2011, 309–314.

Dreyfus, Hubert L. 1972. What computers can’t do: A critique of artificial reason. New York: Harper & Row.

Eden, Amnon, Johnny Søraker, James H. Moor, and Eric Steinhart, eds. 2012. Singularity hypotheses: A scientific and philosophical assessment. The Frontiers Collection. Berlin: Springer.

Feldman, J. A., and D. H. Ballard. 1982. Connectionist models and their properties. Cognitive Science 6 (3): 205–254. doi:10.1207/s15516709cog0603_1.

Floreano, Dario, and Claudio Mattiussi. 2008. Bio-inspired artificial intelligence: Theories, methods, and technologies. Intelligent Robotics and Autonomous Agents. Cambridge, MA: MIT Press.

Fox, Douglas. 2011. The limits of intelligence. Scientific American, July, 36–43.

Fregni, Felipe, Paulo S. Boggio, Michael Nitsche, Felix Bermpohl, Andrea Antal, Eva Feredoes, Marco A. Marcolin, et al. 2005. Anodal transcranial direct current stimulation of prefrontal cortex enhances working memory. Experimental Brain Research 166 (1): 23–30. doi:10.1007/s00221-005-2334-6.

Friedman, James W., ed. 1994. Problems of coordination in economic activity. Recent Economic Thought 35. Boston: Kluwer Academic Publishers.

Friedman, Milton. 1953. The methodology of positive economics. In Essays in positive economics, 3–43. Chicago: University of Chicago Press.

Gödel, Kurt. 1931. Über formal unentscheidbare sätze der Principia Mathematica und verwandter systeme I. Monatshefte für Mathematik 38 (1): 173–198. doi:10.1007/BF01700692.

Goertzel, Ben. 2006. The hidden pattern: A patternist philosophy of mind. Boco Raton, FL: BrownWalker Press.

———. 2010. Toward a formal characterization of real-world general intelligence. In Artificial general intelligence: Proceedings of the third conference on artificial general intelligence, AGI 2010, Lugano, Switzerland, March 5–8, 2010, ed. Eric Baum, Marcus Hutter, and Emanuel Kitzelmann, 19–24. Advances in Intelligent Systems Research 10. Amsterdam: Atlantis Press. doi:10.2991/agi.2010.17.

———. 2012. Should humanity build a global AI nanny to delay the singularity until it’s better understood? Journal of Consciousness Studies 19 (1–2): 96–111. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00006.

Goertzel, Ben, Ruiting Lian, Itamar Arel, Hugo de Garis, and Shuo Chen. 2010. A world survey of artificial brain projects, part II: Biologically inspired cognitive architectures. Neurocomputing 74 (1–3): 30–49. doi:10.1016/j.neucom.2010.08.012.

Goertzel, Ben, and Cassio Pennachin, eds. 2007. Artificial general intelligence. Cognitive Technologies. Berlin: Springer. doi:10.1007/978-3-540-68677-4.

Goldreich, Oded. 2010. P, NP, and NP-Completeness: The basics of computational complexity. New York: Cambridge University Press.

Good, Irving John. 1959. Speculations on perceptrons and other automata. Research Lecture, RC-115. IBM, Yorktown Heights, New York, June 2. http://domino.research.ibm.com/library/cyberdig.nsf/papers/58DC4EA36A143C218525785E00502E30/$File/rc115.pdf.

———. 1965. Speculations concerning the first ultraintelligent machine. In Advances in computers, ed. Franz L. Alt and Morris Rubinoff, 31–88. Vol. 6. New York: Academic Press. doi:10.1016/S0065-2458(08)60418-0.

———. 1970. Some future social repercussions of computers. International Journal of Environmental Studies 1 (1–4): 67–79. doi:10.1080/00207237008709398.

———. 1982. Ethical machines. In Intelligent systems: Practice and perspective, ed. J. E. Hayes, Donald Michie, and Y.-H. Pao, 555–560. Machine Intelligence 10. Chichester: Ellis Horwood.

Greenfield, Susan. 2012. The singularity: Commentary on David Chalmers. Journal of Consciousness Studies 19 (1–2): 112–118. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00007.

Griffin, Dale, and Amos Tversky. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology 24 (3): 411–435. doi:10.1016/0010-0285(92)90013-R.

Groß, Dominik. 2009. Blessing or curse? Neurocognitive enhancement by “Brain Engineering.” Medicine Studies 1 (4): 379–391. doi:10.1007/s12376-009-0032-6.

Gubrud, Mark Avrum. 1997. Nanotechnology and international security. Paper presented at the Fifth Foresight Conference on Molecular Nanotechnology, Palo Alto, CA, Nov. 5–8. http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/.

Halevy, Alon, Peter Norvig, and Fernando Pereira. 2009. The unreasonable effectiveness of data. IEEE Intelligent Systems 24 (2): 8–12. doi:10.1109/MIS.2009.36.

Hanson, Robin. 2008. Economics of the singularity. IEEE Spectrum 45 (6): 45–50. doi:10.1109/MSPEC.2008.4531461.

———. 2012. Meet the new conflict, same as the old conflict. Journal of Consciousness Studies 19 (1–2): 119–125. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00008.

———. Forthcoming. Economic growth given machine intelligence. Journal of Artificial Intelligence Research. Preprint at, http://hanson.gmu.edu/aigrow.pdf.

Hanson, Robin, and Eliezer Yudkowsky. 2008. The Hanson-Yudkowsky AI-foom debate. LessWrong Wiki. http://wiki.lesswrong.com/wiki/The_Hanson-Yudkowsky_AI-Foom_Debate (accessed Mar. 13, 2012).

Heylighen, Francis. 2012. Brain in a vat cannot break out. Journal of Consciousness Studies 19 (1–2): 126–142. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00009.

Hibbard, Bill. 2011. Measuring agent intelligence via hierarchies of environments. In Schmidhuber, Thórisson, and Looks 2011, 303–308.

———. 2012. Model-based utility functions. Journal of Artificial General Intelligence 3 (1): 1–24. doi:10.2478/v10229-011-0013-5.

Hutter, Marcus. 2005. Universal artificial intelligence: Sequential decisions based on algorithmic probability. Texts in Theoretical Computer Science. Berlin: Springer. doi:10.1007/b138233.

———. 2009. Open problems in universal induction & intelligence. Algorithms 2 (3): 879–906. doi:10.3390/a2030879.

———. 2012a. Can intelligence explode? Journal of Consciousness Studies 19 (1–2): 143–166. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00010.

———. 2012b. One decade of universal artificial intelligence. In Theoretical foundations of artificial general intelligence, ed. Pei Wang and Ben Goertzel, 67–88. Atlantis Thinking Machines 4. Paris: Atlantis. doi:10.2991/978-94-91216-62-6_5.

Jaynes, E. T. 2003. Probability theory: The logic of science. ed. G. Larry Bretthorst. New York: Cambridge University Press. doi:10.2277/0521592712.

Jones, Benjamin F. 2009. The burden of knowledge and the “Death of the Renaissance Man”: Is innovation getting harder? Review of Economic Studies 76 (1): 283–317. doi:10.1111/j.1467-937X.2008.00531.x.

Kaas, Steven, Stephen Rayhawk, Anna Salamon, and Peter Salamon. 2010. Economic implications of software minds. The Singularity Institute, San Francisco, CA, Aug. 10. http://www.singinst.co/upload/economic-implications.pdf.

Kandel, Eric R., James H. Schwartz, and Thomas M. Jessell, eds. 2000. Principles of neural science. New York: McGraw-Hill.

Kolmogorov, A. N. 1965. Three approaches to the definition of the concept “quantity of information.” Problemy peredachi informatsii 1 (1): 3–11. http://mi.mathnet.ru/eng/ppi/v1/i1/p3.

Koza, John R. 2010. Human-competitive results produced by genetic programming. Genetic Programming and Evolvable Machines 11 (3–4): 251–284. doi:10.1007/s10710-010-9112-3.

Krichmar, Jeffrey L., and Hiroaki Wagatsuma, eds. 2011. Neuromorphic and brain-based robots. New York: Cambridge University Press.

Kryder, M. H., and Chang Soo Kim. 2009. After hard drives—what comes next? IEEE Transactions on Magnetics 2009 (10): 3406–3413. doi:10.1109/TMAG.2009.2024163.

Kurzweil, Ray. 2005. The singularity is near: When humans transcend biology. New York: Viking.

Legg, Shane. 2008. Machine super intelligence. PhD diss., University of Lugano. http://www.vetta.org/documents/Machine_Super_Intelligence.pdf.

Legg, Shane, and Marcus Hutter. 2007. A collection of definitions of intelligence. In Advances in artificial general intelligence: Concepts, architectures and algorithms—proceedings of the AGI workshop 2006, ed. Ben Goertzel and Pei Wang. Frontiers in Artificial Intelligence and Applications 157. Amsterdam: IOS Press.

Lichtenstein, Sarah, Baruch Fischhoff, and Lawrence D. Phillips. 1982. Calibration of probabilities: The state of the art to 1980. In Judgement under uncertainty: Heuristics and biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky, 306–334. New York: Cambridge University Press.

Li, Ming, and Paul M. B. Vitányi. 2008. An introduction to Kolmogorov complexity and its applications. Texts in Computer Science. New York: Springer. doi:10.1007/978-0-387-49820-1.

Loosemore, Richard, and Ben Goertzel. 2011. Why an intelligence explosion is probable. H+ Magazine, Mar. 7. http://hplusmagazine.com/2011/03/07/why-an-intelligence-explosion-is-probable/.

Lucas, J. R. 1961. Minds, machines and Gödel. Philosophy 36 (137): 112–127. doi:10.1017/S0031819100057983.

Lundstrom, Mark. 2003. Moore’s law forever? Science 299 (5604): 210–211. doi:10.1126/science.1079567.

Mack, C. A. 2011. Fifty years of Moore’s law. IEEE Transactions on Semiconductor Manufacturing 24 (2): 202–207. doi:10.1109/TSM.2010.2096437.

Marcus, Gary. 2008. Kluge: The haphazard evolution of the human mind. Boston: Houghton Mifflin.

McAfee, Andrew, and Erik Brynjolfsson. 2008. Investing in the IT that makes a competitive difference. Harvard Business Review, July. http://hbr.org/2008/07/investing-in-the-it-that-makes-a-competitive-difference.

McCorduck, Pamela. 2004. Machines who think: A personal inquiry into the history and prospects of artificial intelligence. 2nd ed. Natick, MA: A.K. Peters.

McDaniel, Michael A. 2005. Big-brained people are smarter: A meta-analysis of the relationship between in vivo brain volume and intelligence. Intelligence 33 (4): 337–346. doi:10.1016/j.intell.2004.11.005.

McDermott, Drew. 2012a. Response to “The Singularity” by David Chalmers. Journal of Consciousness Studies 19 (1–2): 167–172. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00011.

———. 2012b. There are no “Extendible Methods” in David Chalmers’s sense unless P=NP. Unpublished manuscript. http://cs-www.cs.yale.edu/homes/dvm/papers/no-extendible-methods.pdf (accessed Mar. 19, 2012).

Mehta, Ghanshyam. B. 1998. Preference and utility. In Handbook of utility theory, volume I , ed. Salvador Barbera, Peter J. Hammond, and Christian Seidl, 1–47. Boston: Kluwer Academic Publishers.

Minsky, Marvin. 1984. Afterword to Vernor Vinge’s novel, “True Names.” Unpublished manuscript, Oct. 1. http://web.media.mit.edu/ minsky/papers/TrueNames.Afterword.html (accessed Mar. 26, 2012).

Modha, Dharmendra S., Rajagopal Ananthanarayanan, Steven K. Esser, Anthony Ndirango, Anthony J. Sherbondy, and Raghavendra Singh. 2011. Cognitive computing. Communications of the ACM 54 (8): 62–71. doi:10.1145/1978542.1978559.

Modis, Theodore. 2012. There will be no singularity. In Eden, Søraker, Moor, and Steinhart 2012.

Moravec, Hans P. 1976. The role of raw rower in intelligence. Unpublished manuscript, May 12. http://www.frc.ri.cmu.edu/users/hpm/project.archive/general.articles/1975/Raw.Power.html (accessed Mar. 13, 2012).

———. 1998. When will computer hardware match the human brain? Journal of Evolution and Technology 1. http://www.transhumanist.com/volume1/moravec.htm.

———. 1999. Rise of the robots. Scientific American, Dec., 124–135.

Muehlhauser, Luke. 2011. So you want to save the world. Last modified March 2, 2012. http://lukeprog.com/SaveTheWorld.html.

Muehlhauser, Luke, and Louie Helm. 2012. The singularity and machine ethics. In Eden, Søraker, Moor, and Steinhart 2012.

Murphy, Allan H., and Robert L. Winkler. 1984. Probability forecasting in meteorology. Journal of the American Statistical Association 79 (387): 489–500.

Nagy, Béla, J. Doyne Farmer, Jessika E. Trancik, and Quan Minh Bui. 2010. Testing laws of technological progress. Santa Fe Institute, NM, Sept. 2. http://tuvalu.santafe.edu/ bn/workingpapers/NagyFarmerTrancikBui.pdf.

Nagy, Béla, J. Doyne Farmer, Jessika E. Trancik, and John Paul Gonzales. 2011. Superexponential long-term trends in information technology. Technological Forecasting and Social Change 78 (8): 1356–1364. doi:10.1016/j.techfore.2011.07.006.

Nielsen, Michael. 2011. What should a reasonable person believe about the singularity? Michael Nielsen (blog). Jan. 12. http://michaelnielsen.org/blog/what-should-a-reasonable-person-believe-about-the-singularity/ (accessed Mar. 13, 2012).

Nilsson, Nils J. 2009. The quest for artificial intelligence: A history of ideas and achievements. New York: Cambridge University Press.

Nordmann, Alfred. 2007. If and then: A critique of speculative nanoethics. NanoEthics 1 (1): 31–46. doi:10.1007/s11569-007-0007-6.

Omohundro, Stephen M. 1987. Efficient algorithms with neural network behavior. Complex Systems 1 (2): 273–347. http://www.complex-systems.com/abstracts/v01_i02_a04.html.

———. 2007. The nature of self-improving artificial intelligence. Paper presented at Singularity Summit 2007, San Francisco, CA, Sept. 8–9. http://singinst.org/summit2007/overview/abstracts/#omohundro.

———. 2008. The basic AI drives. In Wang, Goertzel, and Franklin 2008, 483–492.

———. 2012. Rational artificial intelligence for the greater good. In Eden, Søraker, Moor, and Steinhart 2012.

Orseau, Laurent. 2011. Universal knowledge-seeking agents. In Algorithmic learning theory: 22nd international conference, ALT 2011, Espoo, Finland, October 5–7, 2011. Proceedings, ed. Jyrki Kivinen, Csaba Szepesvári, Esko Ukkonen, and Thomas Zeugmann. Lecture Notes in Computer Science 6925. Berlin: Springer. doi:10.1007/978-3-642-24412-4_28.

Orseau, Laurent, and Mark Ring. 2011. Self-modification and mortality in artificial agents. In Schmidhuber, Thórisson, and Looks 2011, 1–10.

Pan, Zhenglun, Thomas A. Trikalinos, Fotini K. Kavvoura, Joseph Lau, and John P. A. Ioannidis. 2005. Local literature bias in genetic epidemiology: An empirical evaluation of the chinese literature. PLoS Medicine 2 (12): e334. doi:10.1371/journal.pmed.0020334.

Parente, Rick, and Janet Anderson-Parente. 2011. A case study of long-term Delphi accuracy. Technological Forecasting and Social Change 78 (9): 1705–1711. doi:10.1016/j.techfore.2011.07.005.

Pennachin, Cassio, and Ben Goertzel. 2007. Contemporary approaches to artificial general intelligence. In Goertzel and Pennachin 2007, 1–30.

Penrose, Roger. 1994. Shadows of the mind: A search for the missing science of consciousness. New York: Oxford University Press.

Plebe, Alessio, and Pietro Perconti. 2012. The slowdown hypothesis. In Eden, Søraker, Moor, and Steinhart 2012.

Posner, Richard A. 2004. Catastrophe: Risk and response. New York: Oxford University Press.

Proudfoot, Diane, and B. Jack Copeland. 2012. Artificial intelligence. In The Oxford handbook of philosophy of cognitive science, ed. Eric Margolis, Richard Samuels, and Stephen P. Stich. New York: Oxford University Press.

Rathmanner, Samuel, and Marcus Hutter. 2011. A philosophical treatise of universal induction. Entropy 13 (6): 1076–1136. doi:10.3390/e13061076.

Richards, Mark A., and Gary A. Shaw. 2004. Chips, architectures and algorithms: Reflections on the exponential growth of digital signal processing capability. Unpublished manuscript, Jan. 28. http://users.ece.gatech.edu/mrichard/Richards&Shaw_Algorithms01204.pdf (accessed Mar. 20, 2012).

Rieffel, Eleanor, and Wolfgang Polak. 2011. Quantum computing: A gentle introduction. Scientific and Engineering Computation. Cambridge, MA: MIT Press.

Ring, Mark, and Laurent Orseau. 2011. Delusion, survival, and intelligent agents. In Schmidhuber, Thórisson, and Looks 2011, 11–20.

Rowe, Gene, and George Wright. 2001. Expert opinions in forecasting: The role of the Delphi technique. In Principles of forecasting: A handbook for researchers and practitioners, ed. Jon Scott Armstrong. International Series in Operations Research & Management Science 30. Boston: Kluwer Academic Publishers.

The Royal Society. 2011. Knowledge, networks and nations: Global scientific collaboration in the 21st century. RS Policy document, 03/11. The Royal Society, London. http://royalsociety.org/uploadedFiles/Royal_Society_Content/policy/publications/2011/4294976134.pdf.

Russell, Stuart J., and Peter Norvig. 2010. Artificial intelligence: A modern approach. 3rd ed. Upper Saddle River, NJ: Prentice-Hall.

Sandberg, Anders. 2010. An overview of models of technological singularity. Paper presented at the Roadmaps to AGI and the future of AGI workshop, Lugano, Switzerland, Mar. 8th. http://agi-conf.org/2010/wp-content/uploads/2009/06/agi10singmodels2.pdf.

———. 2011. Cognition enhancement: Upgrading the brain. In Enhancing human capacities, ed. Julian Savulescu, Ruud ter Meulen, and Guy Kahane, 71–91. Malden, MA: Wiley-Blackwell.

Sandberg, Anders, and Nick Bostrom. 2008. Whole brain emulation: A roadmap. Technical Report, 2008-3. Future of Humanity Institute, University of Oxford. http://www.fhi.ox.ac.uk/Reports/2008-3.pdf.

———. 2011. Machine intelligence survey. Technical Report, 2011-1. Future of Humanity Institute, University of Oxford. www.fhi.ox.ac.uk/reports/2011-1.pdf.

Schaul, Tom, and Jürgen Schmidhuber. 2010. Metalearning. Scholarpedia 5 (6): 4650. doi:10.4249/scholarpedia.4650.

Schierwagen, Andreas. 2011. Reverse engineering for biologically inspired cognitive architectures: A critical analysis. In From brains to systems: Brain-inspired cognitive systems 2010, ed. Carlos Hernández, Ricardo Sanz, Jaime Gómez-Ramirez, Leslie S. Smith, Amir Hussain, Antonio Chella, and Igor Aleksander, 111–121. Advances in Experimental Medicine and Biology 718. New York: Springer. doi:10.1007/978-1-4614-0164-3_10.

Schmidhuber, Jürgen. 2002. The speed prior: A new simplicity measure yielding near-optimal computable predictions. In Computational learning theory: 5th annual conference on computational learning theory, COLT 2002 Sydney, Australia, July 8–10, 2002 proceedings, ed. Jyrki Kivinen and Robert H. Sloan, 123–127. Lecture Notes in Computer Science 2375. Berlin: Springer. doi:10.1007/3-540-45435-7_15.

———. 2007. Gödel machines: Fully self-referential optimal universal self-improvers. In Goertzel and Pennachin 2007, 199–226.

———. 2009. Ultimate cognition à la Gödel. Cognitive Computation 1 (2): 177–193. doi:10.1007/s12559-009-9014-y.

———. 2012. Philosophers & futurists, catch up! Response to The Singularity. Journal of Consciousness Studies 19 (1–2): 173–182. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00012.

Schmidhuber, Jürgen, Kristinn R. Thórisson, and Moshe Looks, eds. 2011. Artificial General Intelligence: 4th International Conference, AGI 2011, Mountain View, CA, USA, August 3–6, 2011. Proceedings. Lecture Notes in Computer Science 6830. Berlin: Springer. doi:10.1007/978-3-642-22887-2.

Schneider, Stefan. 2010. Homo economicus—or more like Homer Simpson? . Current Issues. Deutsche Bank Research, Frankfurt, June 29. http://www.dbresearch.com/PROD/DBR_INTERNET_EN-PROD/PROD0000000000259291.PDF.

Schoenemann, Paul Thomas. 1997. An MRI study of the relationship between human neuroanatomy and behavioral ability. PhD diss., University of California, Berkeley. http://mypage.iu.edu/toms/papers/dissertation/Dissertation_title.htm.

Schwartz, Jacob T. 1987. Limits of artificial intelligence. In Encyclopedia of artificial intelligence, ed. Stuart C. Shapiro and David Eckroth, 488–503. Vol. 1. New York: John Wiley & Sons.

Searle, John R. 1980. Minds, brains, and programs. Behavioral and Brain Sciences 3 (03): 417–424. doi:10.1017/S0140525X00005756.

Shulman, Carl, and Nick Bostrom. 2012. How hard is artificial intelligence? Evolutionary arguments and selection effects. Journal of Consciousness Studies 19 (7–8): 103–130. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020007/art00011.

Shulman, Carl, and Anders Sandberg. 2010. Implications of a software-limited singularity. In ECAP10: VIII european conference on computing and philosophy, ed. Klaus Mainzer. Munich: Verlag Dr. Hut.

Simon, Herbert Alexander. 1965. The shape of automation for men and management. New York: Harper & Row.

Solomonoff, Ray J. 1964a. A formal theory of inductive inference. Part I. Information and Control 7 (1): 1–22. doi:10.1016/S0019-9958(64)90223-2.

———. 1964b. A formal theory of inductive inference. Part II. Information and Control 7 (2): 224–254. doi:10.1016/S0019-9958(64)90131-7.

———. 1985. The time scale of artificial intelligence: Reflections on social effects. Human Systems Management 5:149–153.

Sotala, Kaj. 2012. Advantages of artificial intelligences, uploads, and digital minds. International Journal of Machine Consciousness 4 (1): 275–291. doi:10.1142/S1793843012400161.

Stanovich, Keith E. 2010. Rationality and the reflective mind. New York: Oxford University Press.

Tetlock, Philip E. 2005. Expert political judgment: How good is it? How can we know? . Princeton, NJ: Princeton University Press.

Trappenberg, Thomas P. 2009. Fundamentals of computational neuroscience. 2nd ed. New York: Oxford University Press.

Turing, A. M. 1950. Computing machinery and intelligence. Mind 59 (236): 433–460. doi:10.1093/mind/LIX.236.433.

Turing, A. M. 1951. Intelligent machinery, a heretical theory. A lecture given to ’51 Society’ at Manchester.

Tversky, Amos, and Daniel Kahneman. 1974. Judgment under uncertainty: Heuristics and biases. Science 185 (4157): 1124–1131. doi:10.1126/science.185.4157.1124.

———. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review 90 (4): 293–315. doi:10.1037/0033-295X.90.4.293.

The Uncertain Future. 2012. What is multi-generational in vitro embryo selection? The Uncertain Future. http://www.theuncertainfuture.com/faq.html#7 (accessed Mar. 25, 2012).

Van der Velde, Frank. 2010. Where artificial intelligence and neuroscience meet: The search for grounded architectures of cognition. Advances in Artificial Intelligence, no. 5. doi:10.1155/2010/918062.

Van Gelder, Timothy, and Robert F. Port. 1995. It’s about time: An overview of the dynamical approach to cognition. In Mind as motion: Explorations in the dynamics of cognition, ed. Robert F. Port and Timothy van Gelder. Bradford Books. Cambridge, MA: MIT Press.

Veness, Joel, Kee Siong Ng, Marcus Hutter, William Uther, and David Silver. 2011. A Monte-Carlo AIXI approximation. Journal of Artificial Intelligence Research 40:95–142. doi:10.1613/jair.3125.

Vinge, Vernor. 1993. The coming technological singularity: How to survive in the post-human era. In Vision-21: Interdisciplinary science and engineering in the era of cyberspace, 11–22. NASA Conference Publication 10129. NASA Lewis Research Center. http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940022855_1994022855.pdf.

Von Neumann, John. 1966. Theory of self-replicating automata. ed. Arthur Walter Burks. Urbana: University of Illinois Press.

Walter, Chip. 2005. Kryder’s law. Scientific American, July 25. http://www.scientificamerican.com/article.cfm?id=kryders-law.

Wang, Pei, Ben Goertzel, and Stan Franklin, eds. 2008. Artificial General Intelligence 2008: Proceedings of the First AGI Conference. Frontiers in Artificial Intelligence and Applications 171. Amsterdam: IOS Press.

Williams, Leighton Vaughan, ed. 2011. Prediction markets: Theory and applications. Routledge International Studies in Money and Banking 66. New York: Routledge.

Wootters, W. K., and W. H. Zurek. 1982. A single quantum cannot be cloned. Nature 299 (5886): 802–803. doi:10.1038/299802a0.

Woudenberg, Fred. 1991. An evaluation of Delphi. Technological Forecasting and Social Change 40 (2): 131–150. doi:10.1016/0040-1625(91)90002-W.

Yampolskiy, Roman V. 2012. Leakproofing the singularity: artificial intelligence confinement problem. Journal of Consciousness Studies 2012 (1–2): 194–214. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00014.

Yates, J. Frank, Ju-Whei Lee, Winston R. Sieck, Incheol Choi, and Paul C. Price. 2002. Probability judgment across cultures. In Heuristics and biases: The psychology of intuitive judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman, 271–291. New York: Cambridge University Press. doi:10.2277/0521796792.

Yudkowsky, Eliezer. 2001. Creating Friendly AI 1.0: The analysis and design of benevolent goal architectures. The Singularity Institute, San Francisco, CA, June 15. http://singinst.org/upload/CFAI.html.

———. 2008a. Artificial intelligence as a positive and negative factor in global risk. In Bostrom and Ćirković 2008, 308–345.

———. 2008b. Efficient cross-domain optimization. LessWrong. Oct. 28. http://lesswrong.com/lw/vb/efficient_crossdomain_optimization/ (accessed Mar. 19, 2012).

———. 2011. Complex value systems in Friendly AI. In Schmidhuber, Thórisson, and Looks 2011, 388–393.