L’esplosione di intelligenza:

le prove e la sua importanza

Muehlhauser, Luke, e Anna Salamon. 2012. “Intelligence Explosion: Evidence and Import.” In Singularity Hypotheses: A Scientific and Philosophical Assessment, curato da Amnon Eden, Johnny Søraker, James H Moor, e Eric Steinhart. Berlino, Edizioni Springer.

Se trovate un qualunque errore di traduzione in questo documento e vorreste correggerlo, o contribuire al Machine Intelligence Research Institute traducendo un altro dei nostri documenti, per favore contattate  jake@intelligence.org.

Il testo originale inglese di questo documento si può trovare a:

intelligence.org/files/IE-EI.pdf

Autori: Luke Muehlhauser e Anna Salamon

Tradotto da: Michele Gianella

Abstract

In questo capitolo studieremo le prove a sostegno e contro tre affermazioni: che (1) vi sia un buona possibilità che creeremo un'IA di livello umano prima del 2100; che (2) se mai si creerà un'IA di livello umano, c'è una buona possibilità che questa ceda presto il passo ad un’IA di livello ampiamente superumano, attraverso una “esplosione di intelligenza”; e che (3) un'esplosione di intelligenza incontrollata potrebbe distruggere tutto ciò a cui diamo valore, ma una controllata potrebbe dare all'umanità grandi benefici, se riuscissimo ad ottenerla. Concluderemo con consigli per aumentare la probabilità di un'esplosione di intelligenza controllata rispetto ad una incontrollata.

Riepilogo dei Contenuti

1. Introduzione

2. Da qui alla AI

2.1. Prevedere l'AI

2.2. Dossi

2.3. Acceleratori

2.4. Ma allora, quanto manca all'AI?

3. Dall'IA alla Superintelligenza Artificiale

3.1. I vantaggi delle AI

3.2. Obiettivi Strumentali Convergenti

3.3. L’Esplosione di Intelligenza

4. Le Conseguenze di una Superintelligenza Artificiale

4.1. Ottenere Un’Esplosione di IntelligenzaControllata

4.2. Come possiamo gestire i rischi dell'AI?

5. Conclusione

Referenze

La migliore risposta alla domanda: “I computer saranno mai intelligenti come gli umani?” probabilmente è “Sì, ma solo per poco.”

—Vernor Vinge

1. Introduzione

Gli umani potrebbero riuscire a creare, entro questo secolo, un’intelligenza artificiale di livello umano^[1]. Di lì a breve, potremmo osservare una “esplosione di intelligenza” o una “singolarità tecnologica”—una catena di eventi dai quali l'IA di livello umano passa, molto rapidamente, a sistemi intelligenti le cui capacità surclasserebbero di molte lunghezze quelle dell'intera umanità biologica.

Ma quanto è probabile tutto questo, e quali saranno le conseguenze? Altri hanno discusso queste domande in precedenza (Turing 1950, 1951; Good 1959, 1965, 1970, 1982; Von Neumann 1966; Minsky 1984; Solomonoff 1985; Vinge 1993; Yudkowsky 2008a; Nilsson 2009, cap. 35; Chalmers 2010; Hutter 2012); il nostro scopo, qui, è fornire un breve riepilogo adatto sia a chi si affaccia al tema per la prima volta, sia a coloro con qualche familiarità col tema, ma esperti solo in alcuni dei settori rilevanti.

Per un riepilogo più esaustivo degli argomenti, rimandiamo i nostri lettori a  Chalmers (2010, 2012) e Bostrom (di prossima pubblicazione). In questo breve capitolo accenneremo in breve ad alcune considerazioni a sostegno e contro tre affermazioni:

1. Ci sono buone possibilità che creeremo un'IA di livello umano prima del 2100;
2. Se mai si creerà un'IA di livello umano, c'è una buona possibilità che questa ceda il passo ad un'IA di livello di gran lunga superumano, attraverso una “esplosione di intelligenza”;
3. Un'esplosione di intelligenza incontrollata potrebbe distruggere tutto ciò a cui diamo valore, ma una controllata potrebbe dare all'umanità grandi benefici, se riuscissimo ad ottenerla.

Siccome il termine “singolarità” è di norma associato con diverse affermazioni e approcci che non difenderemo qui (Sandberg 2010), cominceremo spiegando cosa non stiamo affermando.

Per prima cosa, non racconteremo dettagliate storie sul futuro. Ogni passo di ogni storia potrebbe essere probabile, ma allinenando molti passi di questo tipo, la storia nel suo complesso diventa improbabile (Nordmann 2007; Tversky and Kahneman 1983). Non assumeremo la continuazione della Legge di Moore, né che le traiettorie dell'hardware determinino il progresso del software, né che computer più veloci implichino necessariamente un “pensiero” più rapido (Proudfoot e Copeland 2012), né che i trend tecnologici saranno esponenziali (Kurzweil 2005) piuttosto che “a S” o altro (Modis, prossima pubblicazione), né certamente che il progresso dell'IA accelererà invece di rallentare (Plebe e Perconti, prossima pubblicazione). Esamineremo invece risultati convergenti che— come l'evoluzione degli occhi, o la nascita dei mercati— possono sorgere (e poi prendere piede) da uno qualunque dei diversi percorsi possibili. Gli umani tendono  a sottostimare la probabilità di risultati che possono emergere dall'intersezione di diverse strade (Tversky e Kahneman 1974), e crediamo che un'esplosione di intelligenza sia uno di quei risultati.

Secondo, non assumeremo che un'intelligenza di livello umano possa essere realizzata da una classica architettura di calcolo alla Von Neumann, né che le macchine intelligenti avranno necessariamente proprietà mentali interne come la coscienza o una “intenzionalità” simili a quelle umani, né che le prime IA saranno geograficamente collocate, piuttosto che “disincarnate.” Queste proprietà non sono necessarie, per costruire una AI, quindi le obiezioni a queste affermazioni (Lucas 1961; Dreyfus 1972; Searle 1980; Block 1981; Penrose 1994; van Gelder e Port 1995) non sono obiezioni alla IA (Chalmers 1996, chap. 9; Nilsson 2009, chap. 24; McCorduck 2004, cap. 8 and 9; Legg 2008; Heylighen 2012) o alla possibilità dell'esplosione di intelligenza (Chalmers 2012).^[2] Per esempio: una macchina non deve essere conscia per ridisegnare intelligentemente il mondo su misura per le sue preferenze, un fatto dimostrato dai programmi di “IA ristretta”, con un solo scopo, come i migliori programmi per scacchi.

Dobbiamo inoltre essere chiari su quello che intendiamo per “intelligenza ”  e con “AI”.” Per quanto riguarda l'“intelligenza”, Legg e Hutter (2007) hanno scoperto che le definizioni di intelligenza usate nelle scienze cognitive convergono nell'idea che “l'intelligenza misura l'abilità di un agente di ottenere risultati in un ampia gamma di ambienti.” Potremmo chiamare questo concetto di intelligenza come "potere di ottimizzazione", perché misura il potere di un agente di ottimizzare il mondo secondo le sue preferenze in molti domini. Ma considerate due agenti che hanno uguale capacità di ottimizzare il mondo secondo le loro preferenze, uno dei quali richiede però molto più tempo di calcolo e risorse per farlo. Essi hanno lo stesso potere di ottimizzazione, ma uno sembra ottimizzare in modo più intelligente. Per questo motivo, adottiamo una descrizione di intelligenza come il rapporto tra potere di ottimizzazione e risorse utilizzate (Yudkowsky 2008b)^[3]. Per i nostri scopi, il termine "intelligenza" misura la capacità di un agente di ottimizzare i vari domini del mondo in base alle sue preferenze. Usando questa definizione, possiamo evitare molte obiezioni comuni nell'uso di definizioni umano-centriche di intelligenza, quando si discute della singolarità tecnologica (Greenfield 2012), e speriamo di poter evitare antropomorfismi comuni che spesso sorgono quando si parla di intelligenza (Muehlhauser e Helm, prossima pubblicazione).

Per “AI,” ci riferiamo alla IA generale, più che a quella ristretta. In altre parole, ci riferiamo a “sistemi che raggiungono o superano [l'intelligenza] degli umani in, virtualmente, ogni dominio di interesse” (Shulman e Bostrom 2012). Stando a questa definizione,  il computer Watson della IBM, in grado di giocare a Jeopardy! non è una “AI” (nel nostro senso) ma semplicemente un'IA ristretta, perché può risolvere solo un set limitato di problemi. Affondate Watson in un pozzo, o chiedetegli di produrre scienza nuova, e sarebbe impotente, anche se gli fosse dato un mese per prepararsi. Immaginate invece una macchina che potrebbe inventare nuove tecnologie, manipolare gli esseri umani acquisendo competenze sociali, e comunque imparare a navigare molti nuovi ambienti sociali e fisici per raggiungere i suoi obiettivi.

Quali tipi di macchine possono realizzare tali prodezze? Esistono molti tipi possibili. Una whole brain emulation (emulazione dell'intero cervello, WBE) sarebbe una emulazione al computer delle strutture cerebrali, sufficiente a riprodurre funzionalmente la cognizione umana. Non dobbiamo comprendere i meccanismi di intelligenza generale per utilizzare il software di intelligenza umana già inventato dall'evoluzione (Sandberg e Bostrom 2008). Al contrario, la "de novo AI" richiede che si inventi software di intelligenza nuovo. Lo spazio delle possibili architetture mentali per un'IA de novo è vasto (Dennett 1996; Yudkowsky 2008a). Tra gli approcci possibili alle IA de novo troviamo quelli simbolico, probabilistico, connessionista, evolutiva, embedded, e altri programmi di ricerca (Pennachin e Goertzel 2007).

2. Da qui alla AI

Quando dovremmo aspettarci la creazione della prima AI? Dobbiamo lasciare aperto un ampio ventaglio di possibilità. Con l'eccezione dei meteorologi (Murphy e Winkler 1984), e dei giocatori professionisti di successo, quasi tutti tendono a dare stime di probabilità imprecise, e in particolare siamo troppo sicuri delle nostre previsioni (Lichtenstein, Fischhoff, e Phillips 1982; Griffin e Tversky 1992; Yates et al. 2002). Questo eccesso di fiducia colpisce anche previsori professionali (Tetlock 2005), e non abbiamo molte ragioni di pensare che i previsori IA se la caverebbero meglio^[4]. Se avete una sensazione viscerale su quando verrà creata l’AI, quindi, probabilmente è sbagliata.

Ma l'incertezza non ci dà titolo per dire "follie in libertà" (Bostrom 2007). Dobbiamo ancora decidere o meno se favorire o meno lo sviluppo dell’emulazione cerebrale completa, se aiutare a finanziare la ricerca sulla sicurezza AI, ecc. Decidere implica già, in ogni caso, una sorta di previsione. La scelta di non finanziare la ricerca sulla sicurezza IA suggerisce che non riteniamo l'IA così vicina, mentre finanziarla implica che a nostro avviso potrebbe essere presto disponibile.

2.1. Prevedere l'AI

Come potremmo, allora, prevedere quando verrà creata l'AI? Di seguito, abbiamo preso in considerazione diverse strategie.

Ricorrendo alla saggenza degli esperti o della folla. Molti esperti e gruppi hanno cercato di prevedere la creazione dell'AI. Purtroppo, le previsioni degli esperti sono spesso poco più sofisticate di quelle della gente comune (Tetlock 2005), i metodi di elicitazione esperta si sono, in generale, dimostrati poco utili per le previsioni a lungo termine^[5], e i mercati delle previsioni (che attingono alle opinioni di chi ritiene di possedere una certa esperienza) non si sono ancora dimostrati utili per le previsioni tecnologiche (Williams, 2011). Tuttavia, può essere utile notare che quasi nessun esperto si aspetta l'IA entro cinque anni, mentre molti esperti se la aspettano entro il 2050 o il 2100.

Estrapolando i dati sul progresso dell'hardware. Lo scrittore Vernor Vinge (1993) basa le proprie previsioni in materia di IA sulle tendenze dell'hardware, ma in una ristampa del suo articolo, nel 2003, Vinge rileva l'insufficienza di questo ragionamento: anche avendo l'hardware sufficiente per ottenere un'AI, potremmo non aver risolto il problema del software^[6].

L'estrapolazione dell'hardware potrebbe essere un metodo più utile, in un contesto in cui il software dell’intelligenza è già scritto: quello dell'emulazione cerebrale completa. Poiché la ECC  sembra basarsi soprattutto su un'estensione delle tecnologie esistenti, come la microscopia e la simulazione corticale su grande scala, la ECC può essere soprattutto un problema di "ingegneria", e quindi il momento del suo arrivo può essere più prevedibile rispetto a quanto avviene per altri tipi di IA .

Diversi autori hanno discusso in dettaglio la difficoltà di una ECC (Kurzweil 2005; Sandberg e Bostrom 2008; de Garis et al 2010;. Modha et al 2011;. Cattell e Parker 2012). In breve: la difficoltà di una ECC dipende da molti fattori, e in particolare sulla risoluzione di emulazione necessaria ad una ECC di successo. Ad esempio, la risoluzione necessaria all'emulazione del proteoma richiederebbe più risorse e lo sviluppo tecnologico di emulazione alla risoluzione di rete neurale del cervello. Nello scenario forse più probabile,

la ECC a livello neuronal/sinaptico richiede incrementi relativamente modesti nella risoluzione microscopica, uno sviluppo meno banale dell’automazione per la scansione e l'elaborazione delle immagini, uno sforzo di ricerca sul problema di inferire le proprietà funzionali di neuroni e sinapsi, e lo sviluppo, relativamente convenzionale, di modelli di neuroscienze computazionali e hardware del computer. (Sandberg e Bostrom 2008, 83)

Osservando il tempo trascorso da Dartmouth. Abbiamo visto più di  50 anni di lavoro verso l'intelligenza artificiale, dalla conferenza “seminale” di Dartmouth sull'AI, ma l'IA non è ancora arrivata. Il che, intuitivamente, sembra suggerire fortemente che l'IA non arriverà nel prossimo minuto, che probabilmente non arriverà nel prossimo anno, e una significativa, ma non assoluta, possibilità che non arriverà nei prossimi decenni. Tali intuizioni possono essere formalizzate in modelli che, pur semplicistici, possono costituire un utile punto di partenza nella stima del tempo in cui arriverà l'AI.^[7]

Monitorando i progressi nell'intelligenza artificiale. Alcune persone stimano approssimativamente il tempo che manca all'IA a partire dalla proporzione di abilità umane simulabile dal software di oggi, e a quanto in fretta le macchine si stanno avvicinando a noi.^[8] Tuttavia, non è chiaro come dividere lo spettro di "capacità umane", né quanto ogni singola capacità conti. Inoltre non sappiamo se i progressi verso l’intelligenza artificiale saranno lineari, esponenziali, o di altro tipo. Guardare i progressi di un bambino verso l'apprendimento del calcolo potrebbe far dedurre che il bambino non imparerà prima dell'anno 3000, finché improvvisamente il bambino impara in un colpo a 17 anni. Ancora, può valere la pena chiedersi se si può trovare una misura per cui: (a) il progresso è abbastanza prevedibile per un'estrapolazione, e (b) una volta che le prestazioni raggiungono un certo livello, ci si può aspettare l’AI.

Estrapolare l'evoluzione. L'evoluzione è riuscita a creare l'intelligenza senza ricorrere all'intelligenza per riuscirci. Forse questo fatto può aiutarci a stabilire un limite superiore alla difficoltà di creare IA (Chalmers 2010; Moravec 1976, 1998, 1999), anche se questo approccio è complicato da effetti di selezione nell'osservazione (Shulman e Bostrom 2012).

Stimare i progressi nella produzione di ricerca scientifica. Immaginate un uomo che scava un fosso di dieci chilometri. Se scava 100 metri in un giorno, si potrebbe prevedere che il fosso sarà finito in 100 giorni. Ma cosa succede se altri 20 si uniscono, e a tutti sono fornite ruspe? A quel punto il fosso potrebbe non richiedere più molto tempo. Analogamente, quando si fa una previsione sul progresso verso l'IA può essere utile considerare non quanto progresso è stato fatto per anno, ma invece quanti progressi sono stati fatti per unità di sforzo di ricerca, e quante unità di sforzo di ricerca ci si può aspettare verranno dedicate al problema nei prossimi decenni.

Purtroppo, non abbiamo ancora scoperto metodi dimostrabilmente affidabili per la previsione tecnologica a lungo termine. Sono stati provati nuovi metodi (Nagy et al. 2010), ma finché non avranno dimostrato di funzionare dovremmo essere particolarmente cauti nel prevedere le linee temporali dell'AI. Qui di seguito, tentiamo un approccio finale esaminando alcuni plausibili dossi e acceleratori sulla strada verso l’IA.

2.2. Dossi

Diversi fattori possono rallentare i nostri progressi verso la prima creazione di AI. Ad esempio:
 La fine della legge di Moore. Anche se diverse tecnologie dell'informazione hanno progredito a un ritmo esponenziale o super-esponenziale per molti decenni (Nagy et al. 2011), questa tendenza non può durare ancora molto a lungo (Mack 2011).

L'esaurimento delle conquiste più semplici. Il progresso scientifico non è solo una funzione dello sforzo di ricerca, ma anche della facilità della scoperta scientifica. In alcuni settori, ogni scoperta rende più difficile quella successiva (Arbesman 2011; Jones 2009). Potremmo scoprire che nel campo dell'IA le nuove scoperte richiedono molto più sforzo di quelle precedenti.

Collasso sociale. I vari disastri politici, economici, tecnologici, o naturali possono portare a un collasso sociale durante il quale il progresso scientifico si fermerebbe (Posner 2004; Bostrom e Cirkovic 2008).

Riluttanza. Chalmers (2010) e Hutter (2012) pensano che l'ostacolo più probabile nel nostro progresso verso IA sarà la riluttanza, compresa la prevenzione attiva. Forse gli uomini non vorranno creare i propri successori. Nuove tecnologie come la "Balia AI" (Goertzel 2012), o nuove alleanze politiche, come un totalitarismo globale stabile (Caplan 2008), può autorizzare gli umani a ritardare o impedire il progresso scientifico che potrebbe portare alla creazione dell'AI.

2.3. Acceleratori

Altri fattori, tuttavia, possono accelerare il progresso verso AI:

Altro hardware. Per almeno quattro decenni, la potenza di calcolo^[9] è aumentata esponenzialmente, grosso modo secondo la legge di Moore^[10]. Gli esperti non sono d'accordo su quanto ancora la legge di Moore resterà valida (Mack 2011; Lundstrom 2003), ma anche se l'hardware progredisse più lentamente della progressione esponenziale, possiamo aspettarci che in pochi decenni l'hardware diventi molto più potente di quanto sia ora^[11]. Più hardware di per sé non ci darà l'intelligenza artificiale, ma contribuisce allo sviluppo di macchine intelligenti in diversi modi:

Un hardware potente può migliorare le prestazioni semplicemente permettendo ad alcune soluzioni esistenti di "forza bruta" di funzionare più velocemente (Moravec 1976). Se tali soluzioni ancora non esistono,  i ricercatori potrebbero essere incentivati ​​a svilupparle rapidamente, dato l'abbondante hardware da sfruttare. Il calcolo a basso costo può permettere una sperimentazione molto più vasta nella progettazione di algoritmi, parametri di manipolazione o nell'utilizzo di metodi come gli algoritmi genetici. Indirettamente, l'informatica può consentire la produzione e il processamento di enormi set di dati per migliorare le prestazioni IA (Halevy , Norvig , e Pereira 2009), o comportare un ampliamento del settore delle tecnologie dell'informazione e della quantità di ricercatori nel campo. (Shulman e Sandberg 2010)

Algoritmi migliori. Spesso, le intuizioni matematiche possono ridurre il tempo di calcolo di un programma di molti ordini di grandezza, senza hardware aggiuntivo. Ad esempio, IBM Deep Blue ha giocato a scacchi a livello del campione del mondo Garry Kasparov nel 1997 con circa 1.500 miliardi di istruzioni al secondo (TIPS), ma un programma chiamato Deep Junior l'ha fatto nel 2003 con soli 0.015 TIPS . L'efficienza computazionale degli algoritmi di scacchi, dunque, è aumentata di un fattore di 100 in soli sei anni (Richards e Shaw 2004) .

Enormi dataset. I più grandi balzi in avanti nel riconoscimento vocale e nei software di traduzione non sono venuti da hardware più veloce o dalla scrittura di algoritmi più efficienti, ma dall'accesso a enormi basi di parole trascritte e tradotte da umani (Halevy , Norvig , e Pereira 2009) . I dataset dovrebbero aumentare notevolmente di dimensioni, nei prossimi decenni, e diverse tecnologie promettono di superare la "legge di Kryder " (Kryder e Kim 2009) , in cui si afferma che la densità di immagazzinamento su disco magnetico raddoppia ogni 18 mesi circa (Walter 2005) .

Progressi nel campo della psicologia e delle neuroscienze. Gli scienziati cognitivi hanno scoperto molti degli algoritmi del cervello che contribuiscono alla intelligenza umana (Trappenberg 2009; Ashby e Hélie 2011). Metodi come le reti neurali (importati dalle neuroscienze) e l'apprendimento di rinforzo (ispirato dalla psicologia comportamentista) hanno già portato ad un significativo progresso nell'AI, e gli esperti si aspettano che questo passaggio di conoscenze dalle neuroscienze all'IA continui e forse acceleri (Van der Velde 2010; Schierwagen 2011; Floreano e Mattiussi 2008; de Garis et al 2010; Krichmar e Wagatsuma 2011) .

Scienza Accelerata. Un Primo Mondo in costante aumento significa che più ricercatori, ben finanziati, staranno conducendo nelle Università ricerche rilevanti per l'intelligenza artificiale. La produzione scientifica del mondo (in numero di pubblicazioni) è cresciuta di un terzo dal 2002 al solo 2007, e gran parte di questa crescita è guidata dall’ascesa dei paesi in via di sviluppo come Cina e India (Royal Society 2011).^[12] Inoltre, nuovi strumenti in grado di accelerare alcuni particolari settori, come la fMRI, hanno accelerato le neuroscienze nel 1990, e l'efficacia degli scienziati stessi potrebbe essere aumentata con prodotti farmaceutici di potenziamento cognitivo (Bostrom e Sandberg 2009), e interfacce mente-macchina che consentono l'accesso diretto alle grandi basi neurali di dati (Gross 2009). Infine, i nuovi strumenti di collaborazione come blog e Google Scholar stanno già dando risultati come il Progetto Polymath, che è diventato rapidamente e in modo collaborativo la soluzione dei problemi aperti in matematica (Nielsen, 2011)^[13].

Incentivo economico. Man mano che le capacità dei programmi di "IA ristretta" si avvicinano alle capacità degli esseri umani in più domini (Koza 2010), ci sarà una richiesta crescente di sostituire i lavoratori umani con macchine più economiche, e più affidabili (Hanson 2008, Prossima pubblicazione; Kaas et al 2010. , Brynjolfsson e McAfee 2011).

Incentivo del primo giocatore. Una volta che l'IA sembrerà a portata di mano, gli attori politici e privati ​​vedranno vantaggi sostanziali nella costruzione della prima IA . L'IA potrebbe creare un piccolo sottogruppo più potente delle tradizionali superpotenze: sarebbe un po' come "portare una pistola a una lotta con il coltello." La gara di intelligenza artificiale può anche essere uno scenario "chi-vince-prende-tutto". I primi attori politici e privati a rendersi conto che l'IA è a portata di mano potrebbero dedicare ingenti risorse allo sviluppo più rapido possibile dell’intelligenza artificiale, provocando una “corsa agli armamenti” nel settore (Gubrud 1997).

2.4. Ma allora, quanto manca all'AI?

Non abbiamo ancora menzionato due piccoli ma significativi sviluppi che ci portano a convenire con Schmidhuber (2012) quando sostiene che "i progressi verso l'auto-miglioramento IA è già sostanzialmente più avanti di quanto molti futuristi e filosofi si rendano conto." Questi due sviluppi sono il modello di agente AIXI, di Marcus Hutter, dimostrabilmente ottimale (Hutter 2005), e i modelli universali di Macchine di Gödel ad auto-miglioramento, di Jürgen Schmidhuber (Schmidhuber 2007, 2009).

Schmidhuber (2012) riassume l'importanza della macchina di Godel:

[La] macchina di Gödel. . . è già un'IA universale almeno teoricamente ottimale, in un certo senso. Si può interagire con un certo ambiente inizialmente sconosciuto, parzialmente osservabile, per massimizzare la futura utilità attesa, o ricompensa, risolvendo arbitrarie operazioni di calcolo definite dall'utente. Il suo algoritmo iniziale non è cablato, ma può riscrivere completamente sé stesso senza limiti fondamentali, a parte i limiti della computabilità, posto che il motore di ricerca di una prova, inserito all'interno del primo algoritmo iniziale, possa dimostrare che la riscrittura è utile (in base alla funzione di utilità formalizzata) tenendo conto delle risorse computazionali limitate. Le auto-riscritture possono modificare / migliorare il motore di ricerca di una prova, e si può dimostrare che è globalmente ottimale, rispetto alle ben note restrizioni fondamentali della dimostrabilità di Gödel (Gödel 1931). . . .

Tutto ciò implica che esiste già il progetto di un'intelligenza artificiale universale capace di risolvere quasi tutti i problemi rapidamente, come se già conoscesse il miglior algoritmo (a noi ancora sconosciuto) per risolverli, perché quasi tutti i problemi immaginabili sono grandi abbastanza da rendere trascurabile ogni aggiunta costante. Quindi, devo obiettare la dichiarazione di Chalmers [ che ] "dobbiamo ancora trovare gli algoritmi giusti, e nessuno si è avvicinato a trovarli ancora.".

Dopodiché, rimandiamo a Hutter (di prossima pubblicazione) per una sintesi dell'importanza di AIXI :

Gli ingredienti concreti di AIXI sono i seguenti: le azioni intelligenti si basano su decisioni informate; il raggiungimento di buone decisioni richiede predizioni che si basano in genere su modelli degli ambienti; i modelli sono costruiti o prodotti tramite induzione da osservazioni passate. Fortunatamente, sulla base di profonde intuizioni filosofiche e potenti sviluppi matematici, tutti questi problemi sono stati superati, almeno in teoria. Ma allora, di cosa abbiamo bisogno (da un punto di vista matematico) per la costruzione di un agente universale di apprendimento ottimale che interagisce con un ambiente sconosciuto e arbitrario? La teoria, definita IAU [intelligenza artificiale universale] , sviluppata negli ultimi dieci anni e spiegata in Hutter (2005) dice: Tutto ciò che serve sono Ockham , Epicuro, Turing , Bayes, Solomonoff (1964a , 1964b), Kolmogorov ( 1965) , e Bellman (1957): la teoria delle decisioni sequenziali (Bertsekas 2007). (L'equazione di Bellman) risolve formalmente il problema di agenti razionali in mondi incerti se la vera distribuzione di probabilità ambientale è nota. Se l'ambiente non è noto, i bayesiani (Berger 1993) sostituiscono la reale distribuzione di una miscela ponderata delle distribuzioni con alcune (ipotesi) di classe. Utilizzare la grande classe di tutte le (semi)misure (semi)calcolabili su una macchina di Turing fa venire in mente Epicuro, che insegna a non scartare alcuna ipotesi (coerente). Al fine di non ignorare Ockham, che avrebbe selezionato l'ipotesi più semplice, Solomonoff ha definito un universale preventivo che assegni un peso alto o basso ad ambienti semplici o complessi (Rathmanner e Hutter 2011), mentre Kolmogorov quantifica la complessità (Li e Vitanyi 2008). La loro unione costituisce la teoria della IAU e ha provocato . . . AIXI.^[14]

AIXI è incomputabile, ma approssimazioni computazionalmente trattabili sono già state testate sperimentalmente, e svelano un percorso verso l'IA universale^[15] che risolve i problemi del mondo reale in un'ampia varietà di ambienti:

Una di queste [l'approssimazione AIXI "MC-AIXI-CTW"] è già in grado di imparare a giocare a TicTacToe, Kuhn Poker, e addirittura a Pacman (Veness et al. 2011) da zero. Oltre a Pacman, esistono centinaia di altri giochi arcade dal 1980, e sarebbe clamoroso se un singolo algoritmo potesse imparare tutto esclusivamente per tentativi ed errori, come sembra fattibile per (una variante di) MC-AIXI-CTW. Benché questi siano "solo" giochi ricreativi, contengono molti elementi prototipali del mondo reale, come il cibo, i nemici, gli amici, lo spazio, gli ostacoli, gli oggetti e le armi. Il prossimo passo potrebbe essere un test in mondi virtuali moderni. . . che richiedono agenti intelligenti, e infine alcuni problemi reali selezionati.

Ma allora, quando riusciremo a creare l'AI? Eventuali previsioni in materia devono concedere ampi margini di errore. Data la storia di previsioni degne di fiducia, ma sbagliate, sull'IA (Crevier 1993), e potenziali “dossi” nell'intelligenza artificiale, sembra sbagliato ritenere che al 90% l'IA arriverà nel prossimo secolo. Ma anche un livello di confidenza del 90% sull'arrivo della IA prima della fine del secolo sembra sbagliato, dato che: (a) nel campo dell'IA oramai sono stati fatti molti difficili passi in avanti (tra cui la macchina Gödel e AIXI); (b) diversi fattori, come ad esempio la scienza automatizzata e gli incentivi della prima mossa, potrebbero accelerare i progressi verso l'AI; e (c) l'emulazione completa del cervello sembra essere possibile e ha uno sviluppo più prevedibile di quello dell'IA ricreata de novo. Riteniamo che la probabilità di vedere l'IA entro questo secolo sia alta. Questa affermazione non è scientifica- il campo della previsione tecnologica non è ancora abbastanza avanzato - ma crediamo che la nostra ipotesi sia ragionevole.

La creazione di un'IA di livello umano avrebbe gravi ripercussioni, come la perdita di molti o tutti i posti di lavoro umani (Brynjolfsson e McAfee 2011). Ma se l'IA ci porterà alla super-macchina, come discusso più avanti, le conseguenze potrebbero essere ancora più preoccupanti.

3. Dall'IA alla Superintelligenza Artificiale

Sembra improbabile che gli esseri umani siano vicino al soffitto delle possibili intelligenze, piuttosto che essere semplicemente la prima di tali intelligenze che si è evoluta con successo. I computer surclassano di gran lunga gli esseri umani in molte nicchie ristrette (ad esempio l'aritmetica, gli scacchi, la dimensione della memoria), e non vi è ragione di credere che simili  grandi miglioramenti, al di sopra delle prestazioni umane, non siano raggiungibili nel ragionamento generale, nella progettazione della propria tecnologia, e in altri compiti di interesse. Come analista occasionale di questioni legate all’AI, il critico Jack Schwartz (1987) ha scritto:

Se mai le intelligenze artificiali si potranno creare, non c'è motivo di credere che i successi iniziali non potrebbero portare rapidamente alla costruzione di superintelligenze artificiali in grado di esplorare le più significative alternative matematiche, scientifiche, o ingegneristiche ad una velocità di gran lunga superiore alle capacità umane, o per fare progetti e agire sulla base di essi con velocità altrettanto travolgente. Dal momento che il quasi monopolio umano di tutte le forme superiori di intelligenza è stato uno dei fatti più fondamentali dell'esistenza umana in tutta la storia passata di questo pianeta, tali sviluppi porterebbero chiaramente alla creazione di una nuova economia, una nuova sociologia, e una nuova Storia.

Perché l’IA potrebbe "portare rapidamente" alla super-macchina? Di seguito si considerano alcuni motivi.

3.1. I vantaggi delle AI

Qui di seguito elenchiamo alcuni vantaggi delle IA che possono consentire all’IA di diventare non solo molto più intelligente di qualsiasi essere umano, ma anche più intelligente dell’intera umanità biologica (Sotala 2012; Legg 2008). Molti di questi sono specifici dell'intelligenza artificiale, ed è per questo che ci concentriamo sull’esplosione di intelligenza da AI, piuttosto che dal potenziamento cognitivo biologico (Sandberg 2011).

Maggiori risorse computazionali. Il cervello umano utilizza 85-100.000.000.000 neuroni. Questo limite è imposto da vincoli prodotti dall’evoluzione su volume cerebrale e metabolismo. Un’intelligenza macchina, al contrario, potrebbe utilizzare risorse di calcolo scalabili (immaginate un "cervello" delle dimensioni di un magazzino). Anche se gli algoritmi dovrebbero essere cambiati, per scalarli utilmente, qui si può forse avere un'idea di massima per l'impatto potenziale, notando che gli esseri umani hanno circa 3,5 volte le dimensioni del cervello di uno scimpanzé (Schoenemann 1997), e che le dimensioni del cervello e IQ sono negli esseri umani positivamente correlate, con un coefficiente di correlazione di circa 0,35 (McDaniel 2005). Uno studio ha suggerito una correlazione simile tra le dimensioni del cervello e le capacità cognitive di ratti e topi (Anderson, 1993).^[16]

Velocità di comunicazione. Gli assoni trasportano segnali di picco a 75 metri al secondo o meno (Kandel, Schwartz, e Jessell 2000). Questa velocità è una conseguenza fissa della nostra fisiologia. Al contrario, le menti artificiali potrebbero essere portate su un hardware più veloce, e potrebbero quindi elaborare le informazioni più rapidamente. (Naturalmente, questo dipende anche dall'efficienza degli algoritmi in uso; un hardware più veloce compensa un software meno efficiente.)

Aumento della profondità seriale. A causa della lenta velocità di trasmissione dei neuroni, il cervello umano si basa sulla massiccia parallelizzazione ed è incapace di eseguire rapidamente qualsiasi calcolo che richieda più di circa 100 operazioni sequenziali (Feldman e Ballard 1982). Forse ci sono compiti cognitivi che potrebbero essere eseguiti in modo più efficiente e preciso, se la capacità del cervello di sostenere algoritmi di riconoscimento dei pattern parallelizzabili fosse assistita da un supporto ai processi più sequenziali. In realtà, ci sono molti algoritmi noti per il quale la migliore versione parallela utilizza molte più risorse computazionali del migliore algoritmo seriale, a causa del sovraccarico di parallelizzazione^[17].

Duplicabilità. Il nostro collega di ricerca Steve Rayhawk ama definire l’IA come "intelligenza istantanea: basta aggiungere hardware!". Rayhawk intende che, benché si richiedano approfondite ricerche per la progettazione del primo AI, creare ulteriore IA è solo una questione di copiare software. La popolazione di menti digitali può quindi espandersi fino a riempire la base hardware disponibile, forse superando rapidamente la popolazione delle menti biologiche.

La duplicabilità permette anche alla popolazione di IA di essere rapidamente dominata da IA di nuova costruzione, con nuove competenze. Dal momento che le abilità di un'IA sono memorizzate digitalmente, il suo esatto stato attuale, tra cui le conoscenze e le competenze acquisite, può essere copiato, proprio come uno "stato del sistema" può essere copiato da programmi di emulazione hardware o di backup del sistema. Un essere umano, istruendosi, aumenta solo la propria, di prestazione; ma un'IA che diventa un 10% più brava delle altre IA a guadagnare denaro (per ogni dollaro di hardware affittabile) può essere utilizzata per sostituire le altre nell'hardware di base, rendendo ogni copia più efficiente del 10% .^[18]

Editabilità. La natura digitale di queste intelligenze apre più parametri per la variazione controllata di quanto sia possibile con gli esseri umani. Siamo in grado di erogare agli esseri umani programmi di formazione, ma non siamo in grado di effettuare su di loro interventi neurochirurgici precisi e replicabili. I lavoratori digitali sarebbero più modificabili di noi lavoratori umani. Consideriamo in primo luogo la possibilità di un’emulazione completa del cervello. Sappiamo che la stimolazione magnetica transcranica (TMS), applicata ad una parte della corteccia prefrontale può migliorare la memoria di lavoro (Fregni et al. 2005). Poiché la TMS funziona riducendo o aumentando temporaneamente l'eccitabilità delle popolazioni di neuroni, sembra plausibile che diminuire o aumentare l’"eccitabilità" di alcune popolazioni di neuroni virtuali in una mente digitale potrebbe migliorarne le prestazioni. Potremmo anche modificare sperimentalmente decine di altri parametri dell’emulazione cerebrale completa, come i livelli di glucosio, le cellule staminali indifferenziate, virtuali e simulate, innestate su particolari moduli cerebrali come la corteccia motoria, e i collegamenti rapidi tra le diverse parti del cervello^[19]. In secondo luogo, un’IA modulare e trasparente potrebbe essere anche più direttamente editabile di un’emulazione cerebrale completa— possibilmente attraverso il suo codice sorgente. (Ovviamente, tale possibilità solleva controversie etiche.)

Coordinamento degli obiettivi. Chiamiamo un insieme di copie IA o quasi copie un "clan di copie." Dati degli obiettivi condivisi, una clan di copie non dovrebbe affrontare alcuni problemi di coordinamento degli obiettivi che limitano l'efficacia umana (JW Friedman 1994). Un essere umano non può ricorrere ad uno stipendio centuplicato per acquistare un centuplicamento delle ore produttive al giorno. Ma un clan di copie, se i loro compiti sono parallelizzabili, potrebbe fare esattamente così. Le eventuali plusvalenze realizzate da tale clan di copie, o dall’organismo umano che controlla quel clan, potrebbe potenzialmente essere investito in ulteriori sviluppi AI, consentendo al vantaggio iniziale di guadagnare interessi composti.

Razionalità migliorata. Alcuni economisti modellano l’uomo come Homo oeconomicus: agenti razionali egoisti che fanno ciò che credono li permetterà di ottimizzare la realizzazione dei loro obiettivi (M. Friedman, 1953). Sulla base di studi comportamentali, però, Schneider (2010) sottolinea che noi siamo più simili a Homer Simpson: siamo esseri irrazionali che mancano di coerenza e di obiettivi stabili (Schneider 2010; Cartwright 2011). Ma immaginate di essere un'istanza di Homo oeconomicus. Si può stare a dieta, spendere la quantità ottimale di tempo ad apprendere le attività che conquistano i vostri obiettivi, e percorrere così una strada ottimale, per quanto noiosa. Sarebbe possibile scrivere diverse intelligenze artificiali, molto più razionali degli esseri umani, che potenzino quindi i benefici del pensiero e dell'azione razionale. Il modello di agente razionale (con teoria della probabilità bayesiana e teoria dell'utilità attesa) è un paradigma diffuso nella progettazione delle IA attuali (Hutter 2005. Russell e Norvig 2010, cap 2).

Questi vantaggi IA suggeriscono che l'IA sarà in grado di superare di gran lunga le capacità cognitive e la potenza di ottimizzazione di tutta l'umanità, ma saranno motivate ​​a farlo? Anche se è difficile prevedere le motivazioni specifiche di un’IA avanzata, possiamo fare alcune previsioni sugli obiettivi strumentali convergenti- obiettivi strumentali utili per la soddisfazione di quasi tutti gli obiettivi finali.

3.2. Obiettivi Strumentali Convergenti

Omohundro (2007, 2008, prossima pubblicazione) e Bostrom (di prossima pubblicazione) sostengono che saranno diversi gli obiettivi strumentali perseguiti da qualsiasi intelligenza avanzata, perché questi obiettivi sono intermediari utili al conseguimento di qualsiasi insieme di obiettivi finali. Per esempio:

1. Un'IA vorrà preservare sé stessa perché se distrutta non sarà in grado di agire in futuro al fine di massimizzare la soddisfazione dei suoi attuali obiettivi finali.
2. Un'IA vorrà preservare il contenuto dei suoi attuali obiettivi finali, perché se il contenuto dei suoi obiettivi finali cambiasse, sarebbe meno probabile che agisse in futuro al fine di massimizzare la soddisfazione dei suoi obiettivi finali attuali.^[20]
3. Un'IA vorrà migliorare la propria razionalità e intelligenza, perché questo migliorerà il suo processo decisionale, e quindi migliorerà la sua capacità di raggiungere i propri obiettivi.
4. Un'IA vorrà acquisire quante più risorse possibili, perché siano trasformate e messe al lavoro per la soddisfazione dei suoi obiettivi finali e strumentali.

Più avanti vedremo perché questi obiettivi strumentali convergenti suggeriscono che il risultato di default dell’IA avanzata sia l'estinzione umana. Per ora, esaminiamo i meccanismi di auto-miglioramento dell’intelligenza artificiale.

3.3. L’Esplosione di Intelligenza

L'obiettivo strumentale convergente per l’auto-miglioramento ha una conseguenza particolare. Una volta che i programmatori umani costruiranno un’IA con una capacità ultraumana nella progettazione delle AI, l'obiettivo fondamentale di auto-miglioramento può motivare un ciclo di feedback positivo di auto-miglioramento. A quel punto, quando la stessa intelligenza artificiale migliora, migliora l'intelligenza che esegue il miglioramento. Così, se i meri sforzi umani saranno sufficienti a produrre l'intelligenza artificiale in questo secolo, una vasta popolazione di intelligenze artificiali ultraumane potranno essere in grado di creare una rapida cascata di cicli di auto-miglioramento, consentendo una rapida transizione verso le super-macchine. Chalmers (2010) discute il processo in dettaglio; qui noi facciamo solo alcuni punti aggiuntivi.

Il prefisso "auto", in frasi come "auto-miglioramento ricorsivo" o "quando la macchina auto-migliora l'intelligenza," è un termine se vogliamo improprio. L’intelligenza artificiale, in teoria, potrebbe sì modificare il proprio codice durante l’esecuzione (Schmidhuber 2007; Schaul e Schmidhuber 2010), ma potrebbe anche creare nuove intelligenze che funzionano in modo indipendente. In alternativa, molte IA (tra cui forse una WBE) potrebbero cooperare alla progettazione della prossima generazione di IA. Un’esplosione di intelligenza potrebbe avvenire sia attraverso l’"auto" miglioramento, sia attraverso il miglioramento di un’altra AI.

Una volta che inizia un miglioramento artificiale in grado di autosostenersi, tuttavia, lo sviluppo dell’IA non ha bisogno di procedere al ritmo normale dell’innovazione tecnologica umana. Vi è, tuttavia, un dibattito significativo su quanto in fretta, o diffusamente, avverrebbe questo "decollo" (Hanson e Yudkowsky 2008; Loosemore e Goertzel 2011; Bostrom, prossima pubblicazione), e anche sul fatto se l’esplosione di intelligenza si tradurrebbe nell’equilibrio stabile di una super-intelligenza a macchina multipla o invece "singola" (Bostrom 2006). Ma non discuteremo tali complesse questioni in questa sede.

4. Le Conseguenze di una Superintelligenza Artificiale

Se le macchine supereranno di gran lunga i livelli umani di intelligenza, cioè la capacità dell'umanità di ottimizzazione efficace in diversi domini, potremmo trovarci in una situazione analoga a quella delle scimmie che hanno visto gli esseri umani inventare il fuoco, l'agricoltura, la scrittura, la scienza, le armi e gli aerei - e poi dominare il pianeta. (Una differenza saliente sarebbe che nessuna scimmia ha visto tutta la saga, mentre potremmo assistere al passaggio verso la dominanza artificiale nel corso di una sola vita umana.) Tali macchine sarebbero superiori a noi in produzione, risorse, scoperta scientifica, talento sociale e azione strategica, tra le altre cose. Non saremmo in grado di negoziare con loro, proprio come né gli scimpanzé né i delfini sono in grado di negoziare con gli esseri umani.

Inoltre, l'intelligenza può essere applicata nel perseguimento di qualsiasi obiettivo. Come Bostrom (2012) sostiene, rendere l’IA più intelligente non farà venir loro voglia di cambiare il loro sistema di obiettivi: anzi, le IA saranno motivate a preservare i loro obiettivi iniziali. Rendere le IA più intelligenti le rende solo più capaci di raggiungere i loro obiettivi finali originali, quali che siano.^[21]

Il che ci porta alla caratteristica centrale del rischio legato all’AI: a meno che un’IA sia specificamente programmata per preservare le cose cui gli umani danno valore (inclusi gli umani stessi), potrebbe distruggerle strada facendo. Nelle parole di Yudkowsky (2008a), “l’IA non ti ama né ti odia, ma sei fatto di atomi che può usare per qualcos’altro.”

4.1. Ottenere Un’Esplosione di IntelligenzaControllata

Come possiamo, allora, dare alle IA degli obiettivi auspicabili prima che raggiungano un auto-miglioramento al di là della nostra capacità di controllarle,  o di negoziarvi^[22]? Le ECC e le altre IA ispirate al cervello, in esecuzione su "codice spaghetti" scritto da umani, potrebbero non avere una chiara "sede"in cui specificare gli obiettivi desiderabili (Marcus 2008). Lo stesso può essere vero anche per altri disegni IA "opachi", come ad esempio quelli prodotti da algoritmi evolutivi, o anche di progetti IA più trasparenti. Anche se un’IA avesse un design trasparente con una funzione di utilità chiaramente definibile(nota 26), sapremmo come dare obiettivi desiderabili? Purtroppo, specificare a cosa gli esseri umani danno valore può essere estremamente difficile, data la complessità e la fragilità delle preferenze umane (Yudkowsky 2011; Muehlhauser e Helm, prossima pubblicazione), e permettere ad un’IA di imparare obiettivi desiderabili dalla ricompensa e dalla punizione potrebbe essere altrettanto difficile (Yudkowsky 2008a ). Se le cose stan così, allora la creazione di auto-miglioramento IA può essere errata per difetto se prima non risolviamo il problema di come costruire un'IA con una stabile, e desiderabile, funzione di utilità di-un programma "friendly AI" (Yudkowsky 2001).^[23]

Ma supponiamo che sia possibile costruire un'IA amichevole (FIA) capace di radicale auto-miglioramento. Proiezioni normali di crescita economica consentono alla fine di effettuare grandi scoperte, rilevanti per il benessere umano; ma un'IA amichevole potrebbe fare quelle scoperte molto prima. Una macchina super-benevola potrebbe, come scrive Bostrom (2003): "darci l'opportunità di aumentare notevolmente le nostre capacità intellettuali ed emotive, e potrebbe aiutarci a creare un mondo di esperienze molto allettanti in cui si possa vivere vite dedite al gioco, agli altri, alle sperimentazioni, alla crescita personale, e per vivere più vicini ai nostri ideali. "

Prevedendo che l’IA amichevole possa essere troppo difficile , Goertzel (2012 ) propone una "Balia AI" globale che “prevenga una piena Singolarità per un po' . . . dandoci il tempo di capire che tipo di Singolarità vogliamo veramente costruire e come. " Goertzel, e altri che lavorano sulla teoria della sicurezza AI, apprezzerebbero molto il tempo in più per risolvere i problemi di sicurezza IA prima del primo auto-miglioramento dell'IA , ma i vostri autori sospettano che la Balia IA sia una "IA amichevole completa", o quasi. In altre parole, per costruire una “Balia AI” potrebbe essere necessario risolvere tutti i problemi necessari alla costruzione di un’IA amichevole in piena regola, per esempio il problema della definizione degli obiettivi precisi ( Yudkowsky 2011; Muehlhauser e Helm , Prossima pubblicazione), e il problema di mantenere una funzione di utilità stabile sotto una radicale auto-modificazione, compresi gli aggiornamenti dell'ontologia interna della IA ( de Blanc 2011) .

Gli approcci finora indagati ad un'esplosione controllata di intelligenza cercano di vincolare gli obiettivi di un’IA, ma altri hanno suggerito una serie di vincoli "esterni" per le IA mosse da uno scopo: confinamento fisico e software (Chalmers 2010; Yampolskiy 2012), i meccanismi di deterrenza, e una circuiteria di sicurezza che spenga un'IA se si impegna in un comportamento pericoloso. Purtroppo, queste soluzioni metterebbero l'intelligenza umana contro quella sovrumana, e non possiamo essere sicuri che la prima prevarrebbe.

Forse potremmo costruire un'IA di limitata capacità cognitiva – per esempio una macchina che risponde solo alle domande: una "IA Oracolo" Ma anche questo approccio non è privo di rischi (Armstrong , Sandberg e Bostrom 2012).

Purtroppo, anche se questi ultimi approcci hanno funzionato, potrebbero semplicemente ritardare il rischio AI, senza eliminarlo. Se un team di sviluppo di IA ha costruito con successo sia un AI-Oracolo, che un'IA con uno scopo sotto vincoli esterni efficaci, difficilmente non vi saranno altre squadre di sviluppo IA vicine alla costruire della propria, alcune delle quali con misure di sicurezza meno efficaci. Un'IA amichevole che restasse allo stato dell'arte abbastanza a lungo, tuttavia, potrebbe impedire definitivamente la realizzazione di IA pericolose.

4.2. Come possiamo gestire i rischi dell'AI?

Perché l'IA sovrumana e altre potenti tecnologie possono comportare qualche rischio di estinzione umana ("rischio esistenziale"), Bostrom (2002) raccomanda un programma di sviluppo tecnologico differenziale in cui tenteremmo di ritardare l'attuazione di tecnologie pericolose e accelerare l'attuazione di quelle benefiche, in particolare quelle che migliorano i pericoli posti da altre tecnologie. "

Ma i risultati positivi di un’esplosione di intelligenza sembrano dipendere non solo dal differenziale di sviluppo tecnologico, ma anche, per esempio, dal riuscire a risolvere alcuni tipi di problemi di teoria delle decisioni e teoria del valore prima della creazione della prima IA (Muehlhauser 2011). Pertanto, vi consigliamo un percorso di progresso intellettuale differenziale, che comprende lo sviluppo tecnologico differenziale come un caso speciale.

Il progresso intellettuale differenziale consiste nel dare priorità alla riduzione del rischio del progresso intellettuale. Applicato ai rischi dell'AI, in particolare, un piano di progresso intellettuale differenziale consiglia che i nostri progressi sui problemi scientifici, filosofici e tecnologici della sicurezza IA abbiano la precedenza sui nostri progressi sui problemi delle funzionalità dell'intelligenza artificiale, in modo da sviluppare IA sovrumane sicure prima di sviluppare delle  IA sovrumane qualsiasi. La nostra prima IA sovrumana deve essere un'IA sovrumana sicura, altrimenti potremmo non avere una seconda possibilità (Yudkowsky 2008a). Con l’Al, così come con altre tecnologie, potremmo diventare vittime della “tendenza del progresso tecnologico a superare il controllo sociale della tecnologia" (Posner 2004).

5. Conclusione

Abbiamo sostenuto che L'IA pone una minaccia esistenziale all'umanità. D'altra parte, con più intelligenza possiamo sperare in soluzioni migliori, e più rapide, a molti dei nostri problemi. Di solito non associamo le cure tumorali o la stabilità economica all'intelligenza artificiale, ma trovare una cura per il cancro è in definitiva un problema di come essere abbastanza intelligenti da capire come curarlo, e raggiungere la stabilità economica è in definitiva un problema di essere abbastanza intelligenti da capire come ottenerla. Per quanto ambiziosi siano i nostri obiettivi, quegli obiettivi possono essere realizzati meglio, con un'intelligenza sufficientemente avanzata. Quando si considerano le probabili conseguenze di un'IA sovrumana, dobbiamo rispettare sia il rischio che le opportunità^[24].

References

Anderson, Britt. 1993. Evidence from the rat for a general factor that underlies cognitive performance and that relates to brain size: intelligence? Neuroscience Letters 153 (1): 98–102. doi:10.1016/0304-3940(93)90086-Z.

Arbesman, Samuel. 2011. Quantifying the ease of scientific discovery. Scientometrics 86 (2): 245–250. doi:10.1007/s11192-010-0232-6.

Armstrong, Jon Scott. 1985. Long-range forecasting: From crystal ball to computer. 2nd ed. New York: Wiley.

Armstrong, Stuart, Anders Sandberg, and Nick Bostrom. 2012. Thinking inside the box: Using and controlling an oracle AI. Minds and Machines. doi:10.1007/s11023-012-9282-2.

Ashby, F. Gregory, and Sebastien Helie. 2011. A tutorial on computational cognitive neuroscience: Modeling the neurodynamics of cognition. Journal of Mathematical Psychology 55 (4): 273–289. doi:10.1016/j.jmp.2011.04.003.

Bainbridge, William Sims, and Mihail C. Roco, eds. 2006. Managing nano-bio-info-cogno innovations: Converging technologies in society. Dordrecht, The Netherlands: Springer.

Baum, Seth D., Ben Goertzel, and Ted G. Goertzel. 2011. How long until human-level AI? Results from an expert assessment. Technological Forecasting and Social Change 78 (1): 185–195. doi:10.1016/j.techfore.2010.09.006.

Bellman, Richard Ernest. 1957. Dynamic programming. Princeton, NJ: Princeton University Press.

Berger, James O. 1993. Statistical decision theory and Bayesian analysis. 2nd ed. Springer Series in Statistics. New York: Springer.

Bertsekas, Dimitri P. 2007. Dynamic programming and optimal control. 2 vols. Nashua, NH: Athena Scientific.

Block, Ned. 1981. Psychologism and behaviorism. Philosophical Review 90 (1): 5–43. doi:10.2307/2184371.

Bostrom, Nick. 2002. Existential risks: Analyzing human extinction scenarios and related hazards. Journal of Evolution and Technology 9. http://www.jetpress.org/volume9/risks.html.

———. 2003. Ethical issues in advanced artificial intelligence. In Cognitive, emotive and ethical aspects of decision making in humans and in artificial intelligence, ed. Iva Smit and George E. Lasker, 12–17. Vol. 2. Windsor, ON: International Institute of Advanced Studies in Systems Research / Cybernetics.

———. 2006. What is a singleton? Linguistic and Philosophical Investigations 5 (2): 48–54.

———. 2007. Technological revolutions: Ethics and policy in the dark. In Nanoscale: Issues and perspectives for the nano century, ed. Nigel M. de S. Cameron and M. Ellen Mitchell, 129–152. Hoboken, NJ: John Wiley & Sons. doi:10.1002/9780470165874.ch10.

———. 2012. The superintelligent will: Motivation and instrumental rationality in advanced artificial agents. In Theory and philosophy of AI, ed. Vincent C. Müller. Special issue, Minds and Machines 22 (2): 71–85. doi:10.1007/s11023-012-9281-3.

———. Forthcoming. Superintelligence: A strategic analysis of the coming machine intelligence revolution. Manuscript, in preparation.

Bostrom, Nick, and Anders Sandberg. 2009. Cognitive enhancement: Methods, ethics, regulatory challenges. Science and Engineering Ethics 15 (3): 311–341. doi:10.1007/s11948-009-9142-5.

Brynjolfsson, Erik, and Andrew McAfee. 2011. Race against the machine: How the digital revolution is accelerating innovation, driving productivity, and irreversibly transforming employment and the economy. Lexington, MA: Digital Frontier Press. Kindle edition.

Caplan, Bryan. 2008. The totalitarian threat. In Bostrom and Ćirković 2008, 504–519.

Cartwright, Edward. 2011. Behavioral economics. Routledge Advanced Texts in Economics and Finance. New York: Routledge.

Cattell, Rick, and Alice Parker. 2012. Challenges for brain emulation: why is building a brain so difficult? . Synaptic Link, Feb. 5. http://synapticlink.org/Brain%20Emulation%20Challenges.pdf.

Chalmers, David John. 1996. The conscious mind: In search of a fundamental theory. Philosophy of Mind Series. New York: Oxford University Press.

———. 2010. The singularity: A philosophical analysis. Journal of Consciousness Studies 17 (9–10): 7–65. http://www.ingentaconnect.com/content/imp/jcs/2010/00000017/f0020009/art00001.

———. 2012. The singularity: A reply to commentators. Journal of Consciousness Studies 19 (7-8): 141–167. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020007/art00014.

Crevier, Daniel. 1993. AI: The tumultuous history of the search for artificial intelligence. New York: Basic Books.

de Blanc, Peter. 2011. Ontological crises in artificial agents’ value systems. The Singularity Institute, San Francisco, CA, May 19. http://arxiv.org/abs/1105.3821.

de Garis, Hugo, Chen Shuo, Ben Goertzel, and Lian Ruiting. 2010. A world survey of artificial brain projects, part I: Large-scale brain simulations. Neurocomputing 74 (1–3): 3–29. doi:10.1016/j.neucom.2010.08.004.

Dennett, Daniel C. 1996. Kinds of minds: Toward an understanding of consciousness. Science Master. New York: Basic Books.

Dewey, Daniel. 2011. Learning what to value. In Schmidhuber, Thórisson, and Looks 2011, 309–314.

Dreyfus, Hubert L. 1972. What computers can’t do: A critique of artificial reason. New York: Harper & Row.

Eden, Amnon, Johnny Søraker, James H. Moor, and Eric Steinhart, eds. 2012. Singularity hypotheses: A scientific and philosophical assessment. The Frontiers Collection. Berlin: Springer.

Feldman, J. A., and D. H. Ballard. 1982. Connectionist models and their properties. Cognitive Science 6 (3): 205–254. doi:10.1207/s15516709cog0603_1.

Floreano, Dario, and Claudio Mattiussi. 2008. Bio-inspired artificial intelligence: Theories, methods, and technologies. Intelligent Robotics and Autonomous Agents. Cambridge, MA: MIT Press.

Fox, Douglas. 2011. The limits of intelligence. Scientific American, July, 36–43.

Fregni, Felipe, Paulo S. Boggio, Michael Nitsche, Felix Bermpohl, Andrea Antal, Eva Feredoes, Marco A. Marcolin, et al. 2005. Anodal transcranial direct current stimulation of prefrontal cortex enhances working memory. Experimental Brain Research 166 (1): 23–30. doi:10.1007/s00221-005-2334-6.

Friedman, James W., ed. 1994. Problems of coordination in economic activity. Recent Economic Thought 35. Boston: Kluwer Academic Publishers.

Friedman, Milton. 1953. The methodology of positive economics. In Essays in positive economics, 3–43. Chicago: University of Chicago Press.

Gödel, Kurt. 1931. Über formal unentscheidbare sätze der Principia Mathematica und verwandter systeme I. Monatshefte für Mathematik 38 (1): 173–198. doi:10.1007/BF01700692.

Goertzel, Ben. 2006. The hidden pattern: A patternist philosophy of mind. Boco Raton, FL: BrownWalker Press.

———. 2010. Toward a formal characterization of real-world general intelligence. In Artificial general intelligence: Proceedings of the third conference on artificial general intelligence, AGI 2010, Lugano, Switzerland, March 5–8, 2010, ed. Eric Baum, Marcus Hutter, and Emanuel Kitzelmann, 19–24. Advances in Intelligent Systems Research 10. Amsterdam: Atlantis Press. doi:10.2991/agi.2010.17.

———. 2012. Should humanity build a global IA nanny to delay the singularity until it’s better understood? Journal of Consciousness Studies 19 (1–2): 96–111. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00006.

Goertzel, Ben, Ruiting Lian, Itamar Arel, Hugo de Garis, and Shuo Chen. 2010. A world survey of artificial brain projects, part II: Biologically inspired cognitive architectures. Neurocomputing 74 (1–3): 30–49. doi:10.1016/j.neucom.2010.08.012.

Goertzel, Ben, and Cassio Pennachin, eds. 2007. Artificial general intelligence. Cognitive Technologies. Berlin: Springer. doi:10.1007/978-3-540-68677-4.

Goldreich, Oded. 2010. P, NP, and NP-Completeness: The basics of computational complexity. New York: Cambridge University Press.

Good, Irving John. 1959. Speculations on perceptrons and other automata. Research Lecture, RC-115. IBM, Yorktown Heights, New York, June 2. http://domino.research.ibm.com/library/cyberdig.nsf/papers/58DC4EA36A143C218525785E00502E30/$File/rc115.pdf.

———. 1965. Speculations concerning the first ultraintelligent machine. In Advances in computers, ed. Franz L. Alt and Morris Rubinoff, 31–88. Vol. 6. New York: Academic Press. doi:10.1016/S0065-2458(08)60418-0.

———. 1970. Some future social repercussions of computers. International Journal of Environmental Studies 1 (1–4): 67–79. doi:10.1080/00207237008709398.

———. 1982. Ethical machines. In Intelligent systems: Practice and perspective, ed. J. E. Hayes, Donald Michie, and Y.-H. Pao, 555–560. Machine Intelligence 10. Chichester: Ellis Horwood.

Greenfield, Susan. 2012. The singularity: Commentary on David Chalmers. Journal of Consciousness Studies 19 (1–2): 112–118. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00007.

Griffin, Dale, and Amos Tversky. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology 24 (3): 411–435. doi:10.1016/0010-0285(92)90013-R.

Groß, Dominik. 2009. Blessing or curse? Neurocognitive enhancement by “Brain Engineering.” Medicine Studies 1 (4): 379–391. doi:10.1007/s12376-009-0032-6.

Gubrud, Mark Avrum. 1997. Nanotechnology and international security. Paper presented at the Fifth Foresight Conference on Molecular Nanotechnology, Palo Alto, CA, Nov. 5–8. http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/.

Halevy, Alon, Peter Norvig, and Fernando Pereira. 2009. The unreasonable effectiveness of data. IEEE Intelligent Systems 24 (2): 8–12. doi:10.1109/MIS.2009.36.

Hanson, Robin. 2008. Economics of the singularity. IEEE Spectrum 45 (6): 45–50. doi:10.1109/MSPEC.2008.4531461.

———. 2012. Meet the new conflict, same as the old conflict. Journal of Consciousness Studies 19 (1–2): 119–125. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00008.

———. Forthcoming. Economic growth given machine intelligence. Journal of Artificial Intelligence Research. Preprint at, http://hanson.gmu.edu/aigrow.pdf.

Hanson, Robin, and Eliezer Yudkowsky. 2008. The Hanson-Yudkowsky AI-foom debate. LessWrong Wiki. http://wiki.lesswrong.com/wiki/The_Hanson-Yudkowsky_AI-Foom_Debate (accessed Mar. 13, 2012).

Heylighen, Francis. 2012. Brain in a vat cannot break out. Journal of Consciousness Studies 19 (1–2): 126–142. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00009.

Hibbard, Bill. 2011. Measuring agent intelligence via hierarchies of environments. In Schmidhuber, Thórisson, and Looks 2011, 303–308.

———. 2012. Model-based utility functions. Journal of Artificial General Intelligence 3 (1): 1–24. doi:10.2478/v10229-011-0013-5.

Hutter, Marcus. 2005. Universal artificial intelligence: Sequential decisions based on algorithmic probability. Texts in Theoretical Computer Science. Berlin: Springer. doi:10.1007/b138233.

———. 2009. Open problems in universal induction & intelligence. Algorithms 2 (3): 879–906. doi:10.3390/a2030879.

———. 2012a. Can intelligence explode? Journal of Consciousness Studies 19 (1–2): 143–166. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00010.

———. 2012b. One decade of universal artificial intelligence. In Theoretical foundations of artificial general intelligence, ed. Pei Wang and Ben Goertzel, 67–88. Atlantis Thinking Machines 4. Paris: Atlantis. doi:10.2991/978-94-91216-62-6_5.

Jaynes, E. T. 2003. Probability theory: The logic of science. ed. G. Larry Bretthorst. New York: Cambridge University Press. doi:10.2277/0521592712.

Jones, Benjamin F. 2009. The burden of knowledge and the “Death of the Renaissance Man”: Is innovation getting harder? Review of Economic Studies 76 (1): 283–317. doi:10.1111/j.1467-937X.2008.00531.x.

Kaas, Steven, Stephen Rayhawk, Anna Salamon, and Peter Salamon. 2010. Economic implications of software minds. The Singularity Institute, San Francisco, CA, Aug. 10. http://www.singinst.co/upload/economic-implications.pdf.

Kandel, Eric R., James H. Schwartz, and Thomas M. Jessell, eds. 2000. Principles of neural science. New York: McGraw-Hill.

Kolmogorov, A. N. 1965. Three approaches to the definition of the concept “quantity of information.” Problemy peredachi informatsii 1 (1): 3–11. http://mi.mathnet.ru/eng/ppi/v1/i1/p3.

Koza, John R. 2010. Human-competitive results produced by genetic programming. Genetic Programming and Evolvable Machines 11 (3–4): 251–284. doi:10.1007/s10710-010-9112-3.

Krichmar, Jeffrey L., and Hiroaki Wagatsuma, eds. 2011. Neuromorphic and brain-based robots. New York: Cambridge University Press.

Kryder, M. H., and Chang Soo Kim. 2009. After hard drives—what comes next? IEEE Transactions on Magnetics 2009 (10): 3406–3413. doi:10.1109/TMAG.2009.2024163.

Kurzweil, Ray. 2005. The singularity is near: When humans transcend biology. New York: Viking.

Legg, Shane. 2008. Machine super intelligence. PhD diss., University of Lugano. http://www.vetta.org/documents/Machine_Super_Intelligence.pdf.

Legg, Shane, and Marcus Hutter. 2007. A collection of definitions of intelligence. In Advances in artificial general intelligence: Concepts, architectures and algorithms—proceedings of the AGI workshop 2006, ed. Ben Goertzel and Pei Wang. Frontiers in Artificial Intelligence and Applications 157. Amsterdam: IOS Press.

Lichtenstein, Sarah, Baruch Fischhoff, and Lawrence D. Phillips. 1982. Calibration of probabilities: The state of the art to 1980. In Judgement under uncertainty: Heuristics and biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky, 306–334. New York: Cambridge University Press.

Li, Ming, and Paul M. B. Vitányi. 2008. An introduction to Kolmogorov complexity and its applications. Texts in Computer Science. New York: Springer. doi:10.1007/978-0-387-49820-1.

Loosemore, Richard, and Ben Goertzel. 2011. Why an intelligence explosion is probable. H+ Magazine, Mar. 7. http://hplusmagazine.com/2011/03/07/why-an-intelligence-explosion-is-probable/.

Lucas, J. R. 1961. Minds, machines and Gödel. Philosophy 36 (137): 112–127. doi:10.1017/S0031819100057983.

Lundstrom, Mark. 2003. Moore’s law forever? Science 299 (5604): 210–211. doi:10.1126/science.1079567.

Mack, C. A. 2011. Fifty years of Moore’s law. IEEE Transactions on Semiconductor Manufacturing 24 (2): 202–207. doi:10.1109/TSM.2010.2096437.

Marcus, Gary. 2008. Kluge: The haphazard evolution of the human mind. Boston: Houghton Mifflin.

McAfee, Andrew, and Erik Brynjolfsson. 2008. Investing in the IT that makes a competitive difference. Harvard Business Review, July. http://hbr.org/2008/07/investing-in-the-it-that-makes-a-competitive-difference.

McCorduck, Pamela. 2004. Machines who think: A personal inquiry into the history and prospects of artificial intelligence. 2nd ed. Natick, MA: A.K. Peters.

McDaniel, Michael A. 2005. Big-brained people are smarter: A meta-analysis of the relationship between in vivo brain volume and intelligence. Intelligence 33 (4): 337–346. doi:10.1016/j.intell.2004.11.005.

McDermott, Drew. 2012a. Response to “The Singularity” by David Chalmers. Journal of Consciousness Studies 19 (1–2): 167–172. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00011.

———. 2012b. There are no “Extendible Methods” in David Chalmers’s sense unless P=NP. Unpublished manuscript. http://cs-www.cs.yale.edu/homes/dvm/papers/no-extendible-methods.pdf (accessed Mar. 19, 2012).

Mehta, Ghanshyam. B. 1998. Preference and utility. In Handbook of utility theory, volume I , ed. Salvador Barbera, Peter J. Hammond, and Christian Seidl, 1–47. Boston: Kluwer Academic Publishers.

Minsky, Marvin. 1984. Afterword to Vernor Vinge’s novel, “True Names.” Unpublished manuscript, Oct. 1. http://web.media.mit.edu/ minsky/papers/TrueNames.Afterword.html (accessed Mar. 26, 2012).

Modha, Dharmendra S., Rajagopal Ananthanarayanan, Steven K. Esser, Anthony Ndirango, Anthony J. Sherbondy, and Raghavendra Singh. 2011. Cognitive computing. Communications of the ACM 54 (8): 62–71. doi:10.1145/1978542.1978559.

Modis, Theodore. 2012. There will be no singularity. In Eden, Søraker, Moor, and Steinhart 2012.

Moravec, Hans P. 1976. The role of raw rower in intelligence. Unpublished manuscript, May 12. http://www.frc.ri.cmu.edu/users/hpm/project.archive/general.articles/1975/Raw.Power.html (accessed Mar. 13, 2012).

———. 1998. When will computer hardware match the human brain? Journal of Evolution and Technology 1. http://www.transhumanist.com/volume1/moravec.htm.

———. 1999. Rise of the robots. Scientific American, Dec., 124–135.

Muehlhauser, Luke. 2011. So you want to save the world. Last modified March 2, 2012. http://lukeprog.com/SaveTheWorld.html.

Muehlhauser, Luke, and Louie Helm. 2012. The singularity and machine ethics. In Eden, Søraker, Moor, and Steinhart 2012.

Murphy, Allan H., and Robert L. Winkler. 1984. Probability forecasting in meteorology. Journal of the American Statistical Association 79 (387): 489–500.

Nagy, Béla, J. Doyne Farmer, Jessika E. Trancik, and Quan Minh Bui. 2010. Testing laws of technological progress. Santa Fe Institute, NM, Sept. 2. http://tuvalu.santafe.edu/ bn/workingpapers/NagyFarmerTrancikBui.pdf.

Nagy, Béla, J. Doyne Farmer, Jessika E. Trancik, and John Paul Gonzales. 2011. Superexponential long-term trends in information technology. Technological Forecasting and Social Change 78 (8): 1356–1364. doi:10.1016/j.techfore.2011.07.006.

Nielsen, Michael. 2011. What should a reasonable person believe about the singularity? Michael Nielsen (blog). Jan. 12. http://michaelnielsen.org/blog/what-should-a-reasonable-person-believe-about-the-singularity/ (accessed Mar. 13, 2012).

Nilsson, Nils J. 2009. The quest for artificial intelligence: A history of ideas and achievements. New York: Cambridge University Press.

Nordmann, Alfred. 2007. If and then: A critique of speculative nanoethics. NanoEthics 1 (1): 31–46. doi:10.1007/s11569-007-0007-6.

Omohundro, Stephen M. 1987. Efficient algorithms with neural network behavior. Complex Systems 1 (2): 273–347. http://www.complex-systems.com/abstracts/v01_i02_a04.html.

———. 2007. The nature of self-improving artificial intelligence. Paper presented at Singularity Summit 2007, San Francisco, CA, Sept. 8–9. http://singinst.org/summit2007/overview/abstracts/#omohundro.

———. 2008. The basic IA drives. In Wang, Goertzel, and Franklin 2008, 483–492.

———. 2012. Rational artificial intelligence for the greater good. In Eden, Søraker, Moor, and Steinhart 2012.

Orseau, Laurent. 2011. Universal knowledge-seeking agents. In Algorithmic learning theory: 22nd international conference, ALT 2011, Espoo, Finland, October 5–7, 2011. Proceedings, ed. Jyrki Kivinen, Csaba Szepesvári, Esko Ukkonen, and Thomas Zeugmann. Lecture Notes in Computer Science 6925. Berlin: Springer. doi:10.1007/978-3-642-24412-4_28.

Orseau, Laurent, and Mark Ring. 2011. Self-modification and mortality in artificial agents. In Schmidhuber, Thórisson, and Looks 2011, 1–10.

Pan, Zhenglun, Thomas A. Trikalinos, Fotini K. Kavvoura, Joseph Lau, and John P. A. Ioannidis. 2005. Local literature bias in genetic epidemiology: An empirical evaluation of the chinese literature. PLoS Medicine 2 (12): e334. doi:10.1371/journal.pmed.0020334.

Parente, Rick, and Janet Anderson-Parente. 2011. A case study of long-term Delphi accuracy. Technological Forecasting and Social Change 78 (9): 1705–1711. doi:10.1016/j.techfore.2011.07.005.

Pennachin, Cassio, and Ben Goertzel. 2007. Contemporary approaches to artificial general intelligence. In Goertzel and Pennachin 2007, 1–30.

Penrose, Roger. 1994. Shadows of the mind: A search for the missing science of consciousness. New York: Oxford University Press.

Plebe, Alessio, and Pietro Perconti. 2012. The slowdown hypothesis. In Eden, Søraker, Moor, and Steinhart 2012.

Posner, Richard A. 2004. Catastrophe: Risk and response. New York: Oxford University Press.

Proudfoot, Diane, and B. Jack Copeland. 2012. Artificial intelligence. In The Oxford handbook of philosophy of cognitive science, ed. Eric Margolis, Richard Samuels, and Stephen P. Stich. New York: Oxford University Press.

Rathmanner, Samuel, and Marcus Hutter. 2011. A philosophical treatise of universal induction. Entropy 13 (6): 1076–1136. doi:10.3390/e13061076.

Richards, Mark A., and Gary A. Shaw. 2004. Chips, architectures and algorithms: Reflections on the exponential growth of digital signal processing capability. Unpublished manuscript, Jan. 28. http://users.ece.gatech.edu/mrichard/Richards&Shaw_Algorithms01204.pdf (accessed Mar. 20, 2012).

Rieffel, Eleanor, and Wolfgang Polak. 2011. Quantum computing: A gentle introduction. Scientific and Engineering Computation. Cambridge, MA: MIT Press.

Ring, Mark, and Laurent Orseau. 2011. Delusion, survival, and intelligent agents. In Schmidhuber, Thórisson, and Looks 2011, 11–20.

Rowe, Gene, and George Wright. 2001. Expert opinions in forecasting: The role of the Delphi technique. In Principles of forecasting: A handbook for researchers and practitioners, ed. Jon Scott Armstrong. International Series in Operations Research & Management Science 30. Boston: Kluwer Academic Publishers.

The Royal Society. 2011. Knowledge, networks and nations: Global scientific collaboration in the 21st century. RS Policy document, 03/11. The Royal Society, London. http://royalsociety.org/uploadedFiles/Royal_Society_Content/policy/publications/2011/4294976134.pdf.

Russell, Stuart J., and Peter Norvig. 2010. Artificial intelligence: A modern approach. 3rd ed. Upper Saddle River, NJ: Prentice-Hall.

Sandberg, Anders. 2010. An overview of models of technological singularity. Paper presented at the Roadmaps to AGI and the future of AGI workshop, Lugano, Switzerland, Mar. 8th. http://agi-conf.org/2010/wp-content/uploads/2009/06/agi10singmodels2.pdf.

———. 2011. Cognition enhancement: Upgrading the brain. In Enhancing human capacities, ed. Julian Savulescu, Ruud ter Meulen, and Guy Kahane, 71–91. Malden, MA: Wiley-Blackwell.

Sandberg, Anders, and Nick Bostrom. 2008. Whole brain emulation: A roadmap. Technical Report, 2008-3. Future of Humanity Institute, University of Oxford. http://www.fhi.ox.ac.uk/Reports/2008-3.pdf.

———. 2011. Machine intelligence survey. Technical Report, 2011-1. Future of Humanity Institute, University of Oxford. www.fhi.ox.ac.uk/reports/2011-1.pdf.

Schaul, Tom, and Jürgen Schmidhuber. 2010. Metalearning. Scholarpedia 5 (6): 4650. doi:10.4249/scholarpedia.4650.

Schierwagen, Andreas. 2011. Reverse engineering for biologically inspired cognitive architectures: A critical analysis. In From brains to systems: Brain-inspired cognitive systems 2010, ed. Carlos Hernández, Ricardo Sanz, Jaime Gómez-Ramirez, Leslie S. Smith, Amir Hussain, Antonio Chella, and Igor Aleksander, 111–121. Advances in Experimental Medicine and Biology 718. New York: Springer. doi:10.1007/978-1-4614-0164-3_10.

Schmidhuber, Jürgen. 2002. The speed prior: A new simplicity measure yielding near-optimal computable predictions. In Computational learning theory: 5th annual conference on computational learning theory, COLT 2002 Sydney, Australia, July 8–10, 2002 proceedings, ed. Jyrki Kivinen and Robert H. Sloan, 123–127. Lecture Notes in Computer Science 2375. Berlin: Springer. doi:10.1007/3-540-45435-7_15.

———. 2007. Gödel machines: Fully self-referential optimal universal self-improvers. In Goertzel and Pennachin 2007, 199–226.

———. 2009. Ultimate cognition à la Gödel. Cognitive Computation 1 (2): 177–193. doi:10.1007/s12559-009-9014-y.

———. 2012. Philosophers & futurists, catch up! Response to The Singularity. Journal of Consciousness Studies 19 (1–2): 173–182. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00012.

Schmidhuber, Jürgen, Kristinn R. Thórisson, and Moshe Looks, eds. 2011. Artificial General Intelligence: 4th International Conference, AGI 2011, Mountain View, CA, USA, August 3–6, 2011. Proceedings. Lecture Notes in Computer Science 6830. Berlin: Springer. doi:10.1007/978-3-642-22887-2.

Schneider, Stefan. 2010. Homo economicus—or more like Homer Simpson? . Current Issues. Deutsche Bank Research, Frankfurt, June 29. http://www.dbresearch.com/PROD/DBR_INTERNET_EN-PROD/PROD0000000000259291.PDF.

Schoenemann, Paul Thomas. 1997. An MRI study of the relationship between human neuroanatomy and behavioral ability. PhD diss., University of California, Berkeley. http://mypage.iu.edu/toms/papers/dissertation/Dissertation_title.htm.

Schwartz, Jacob T. 1987. Limits of artificial intelligence. In Encyclopedia of artificial intelligence, ed. Stuart C. Shapiro and David Eckroth, 488–503. Vol. 1. New York: John Wiley & Sons.

Searle, John R. 1980. Minds, brains, and programs. Behavioral and Brain Sciences 3 (03): 417–424. doi:10.1017/S0140525X00005756.

Shulman, Carl, and Nick Bostrom. 2012. How hard is artificial intelligence? Evolutionary arguments and selection effects. Journal of Consciousness Studies 19 (7–8): 103–130. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020007/art00011.

Shulman, Carl, and Anders Sandberg. 2010. Implications of a software-limited singularity. In ECAP10: VIII european conference on computing and philosophy, ed. Klaus Mainzer. Munich: Verlag Dr. Hut.

Simon, Herbert Alexander. 1965. The shape of automation for men and management. New York: Harper & Row.

Solomonoff, Ray J. 1964a. A formal theory of inductive inference. Part I. Information and Control 7 (1): 1–22. doi:10.1016/S0019-9958(64)90223-2.

———. 1964b. A formal theory of inductive inference. Part II. Information and Control 7 (2): 224–254. doi:10.1016/S0019-9958(64)90131-7.

———. 1985. The time scale of artificial intelligence: Reflections on social effects. Human Systems Management 5:149–153.

Sotala, Kaj. 2012. Advantages of artificial intelligences, uploads, and digital minds. International Journal of Machine Consciousness 4 (1): 275–291. doi:10.1142/S1793843012400161.

Stanovich, Keith E. 2010. Rationality and the reflective mind. New York: Oxford University Press.

Tetlock, Philip E. 2005. Expert political judgment: How good is it? How can we know? . Princeton, NJ: Princeton University Press.

Trappenberg, Thomas P. 2009. Fundamentals of computational neuroscience. 2nd ed. New York: Oxford University Press.

Turing, A. M. 1950. Computing machinery and intelligence. Mind 59 (236): 433–460. doi:10.1093/mind/LIX.236.433.

Turing, A. M. 1951. Intelligent machinery, a heretical theory. A lecture given to ’51 Society’ at Manchester.

Tversky, Amos, and Daniel Kahneman. 1974. Judgment under uncertainty: Heuristics and biases. Science 185 (4157): 1124–1131. doi:10.1126/science.185.4157.1124.

———. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review 90 (4): 293–315. doi:10.1037/0033-295X.90.4.293.

The Uncertain Future. 2012. What is multi-generational in vitro embryo selection? The Uncertain Future. http://www.theuncertainfuture.com/faq.html#7 (accessed Mar. 25, 2012).

Van der Velde, Frank. 2010. Where artificial intelligence and neuroscience meet: The search for grounded architectures of cognition. Advances in Artificial Intelligence, no. 5. doi:10.1155/2010/918062.

Van Gelder, Timothy, and Robert F. Port. 1995. It’s about time: An overview of the dynamical approach to cognition. In Mind as motion: Explorations in the dynamics of cognition, ed. Robert F. Port and Timothy van Gelder. Bradford Books. Cambridge, MA: MIT Press.

Veness, Joel, Kee Siong Ng, Marcus Hutter, William Uther, and David Silver. 2011. A Monte-Carlo AIXI approximation. Journal of Artificial Intelligence Research 40:95–142. doi:10.1613/jair.3125.

Vinge, Vernor. 1993. The coming technological singularity: How to survive in the post-human era. In Vision-21: Interdisciplinary science and engineering in the era of cyberspace, 11–22. NASA Conference Publication 10129. NASA Lewis Research Center. http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940022855_1994022855.pdf.

Von Neumann, John. 1966. Theory of self-replicating automata. ed. Arthur Walter Burks. Urbana: University of Illinois Press.

Walter, Chip. 2005. Kryder’s law. Scientific American, July 25. http://www.scientificamerican.com/article.cfm?id=kryders-law.

Wang, Pei, Ben Goertzel, and Stan Franklin, eds. 2008. Artificial General Intelligence 2008: Proceedings of the First AGI Conference. Frontiers in Artificial Intelligence and Applications 171. Amsterdam: IOS Press.

Williams, Leighton Vaughan, ed. 2011. Prediction markets: Theory and applications. Routledge International Studies in Money and Banking 66. New York: Routledge.

Wootters, W. K., and W. H. Zurek. 1982. A single quantum cannot be cloned. Nature 299 (5886): 802–803. doi:10.1038/299802a0.

Woudenberg, Fred. 1991. An evaluation of Delphi. Technological Forecasting and Social Change 40 (2): 131–150. doi:10.1016/0040-1625(91)90002-W.

Yampolskiy, Roman V. 2012. Leakproofing the singularity: artificial intelligence confinement problem. Journal of Consciousness Studies 2012 (1–2): 194–214. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/F0020001/art00014.

Yates, J. Frank, Ju-Whei Lee, Winston R. Sieck, Incheol Choi, and Paul C. Price. 2002. Probability judgment across cultures. In Heuristics and biases: The psychology of intuitive judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman, 271–291. New York: Cambridge University Press. doi:10.2277/0521796792.

Yudkowsky, Eliezer. 2001. Creating Friendly IA 1.0: The analysis and design of benevolent goal architectures. The Singularity Institute, San Francisco, CA, June 15. http://singinst.org/upload/CFAI.html.

———. 2008a. Artificial intelligence as a positive and negative factor in global risk. In Bostrom and Ćirković 2008, 308–345.

———. 2008b. Efficient cross-domain optimization. LessWrong. Oct. 28. http://lesswrong.com/lw/vb/efficient_crossdomain_optimization/ (accessed Mar. 19, 2012).

———. 2011. Complex value systems in Friendly AI. In Schmidhuber, Thórisson, and Looks 2011, 388–393.