L'Intelligenza Artificiale Come Fattore Positivo e Negativo di Rischio Globale
Ed. originale: Yudkowsky, Eliezer. 2008. “Artificial Intelligence as a Positive and Negative Factor in Global Risk.” In Global Catastrophic Risks, edited by Nick Bostrom and Milan M. Cirkovic, 308–345. New York: Oxford University Press.
Se trovi un qualunque errore di traduzione in questo documento e desideri correggerlo, o ti piacerebbe contribuire al Machine Intelligence Research Institute traducendo un altro documento, contatta jake@intelligence.org.
Il testo originale inglese di questo documento si trova all'indirizzo:
intelligence.org/files/AIPosNegFactor.pdf
Autore: Eliezer Yudkovsky
Traduttore italiano: Michele Gianella; si ringraziano Paola Buoso (cap. 9 e 13) e Alberto Pagani (cap.14) per la preziosa collaborazione.
Tabella dei contenuti
2.1. L'Ampiezza dello Spazio delle Menti Progettabili
4. Sottostimare il Potere dell'Intelligenza
5.1. Processi di Ottimizzazione
7. Fallimento Tecnico e Fallimento Filosofico
7.1. Un Esempio di Fallimento Filosofico
8. Tassi di Aumento dell'Intelligenza
11. Strategie Locali e Maggioritarie
12. AI Contro Potenziamento dell'Intelligenza Umana
13. Interazioni dell'AI con Altre Tecnologie
14. Progredire nell'AI Benevola
1. Introduzione
Di gran lunga, il peggior pericolo rappresentato dall'Intelligenza Artificale sta nel fatto che le persone concludono troppo in fretta di capirla. Naturalmente, il problema non è limitato alla sola AI. Jacques Monod scrisse: “Un curioso aspetto della teoria dell'evoluzione consiste nel fatto che tutti credono di capirla” (Monod 1975). Mio padre, un fisico, si lamentava che tutti creassero le proprie teorie della fisica; e si chiedeva perché mai non elaborassero le proprie teorie chimiche (Risposta: elaborano anche quelle). Nondimeno, il problema sembra manifestarsi in forma particolarmente acuta con l'Intelligenza Artificiale. Il campo dell'AI si è fatto una cattiva fama, quanto a fare grandi promesse che poi non è riuscito a mantenere. La maggior parte degli osservatori concludono che l'AI è difficile; e lo è, infatti. Ma l'imbarazzo non nasce dalla difficoltà in sé. È difficile costruire una stella dall'idrogeno, ma il campo dell'astronomia stellare non ha mai perso la faccia promettendo di costruire stelle, e poi fallendo. L'inferenza cruciale non è che l'AI è difficile, ma che per qualche motivo, le persone facilmente concludono di sapere sull'Intelligenza Artificiale molto più di quanto sappiano davvero.
L'altro mio capitolo per Rischi Catastrofici Globali, “Come Gli Errori Cognitivi Possono Condizionare La Valutazione Dei Rischi Globali” (Yudkowsky 2008), si apre con l'osservazione che solo poche persone sceglierebbero deliberatamente di distruggere il mondo; quindi è molto più preoccupante uno scenario in cui la Terra viene distrutta per errore . Solo pochi schiaccerebbero un bottone sapendo che farlo distruggerebbe la Terra. Ma se le persone si convincono facilmente che schiaccarlo causi qualcosa di molto diverso, anche questo è causa di allarme.
È molto più difficile scrivere sui rischi globali dell'Intelligenza Artificiale che sui bias cognitivi. i bias cognitivi sono scienza acquisita; basta citare la letteratura. L'Intelligenza Artificiale non è scienza acquisita; è scienza di frontiera, non da manuale. E per ragioni che discuterò in seguito, il tema dei rischi catastrofici globali dell'Intelligenza Artificiale non è quasi trattato nella letteratura tecnica esistente. Ho quindi dovuto analizzare il tema dalla mia prospettiva personale, trarre le mie conclusioni, e fare del mio meglio per sostenerle nel limitato spazio concessomi. Non è che mi sia dimenticato di citare i principali lavori esistenti sul tema; è che per quanto ne so, ad oggi (Gennaio 2006) non esistono studi fondamentali principali da citare.
Potrebbe essere forte la tentazione di ignorare l'Intelligenza Artificiale poiché, di tutti i rischi globali discussi in questo libro, l'AI è la più difficile da discutere. Non ci sono statistiche attuariali da consultare per assegnare alla catastrofe piccole probabilità annuali, come invece si potrebbe fare per l'impatto degli asteroidi. Non possiamo sfruttare i calcoli di un modello preciso, confermato per escludere determinati eventi o assegnare limiti superiori infinitesimali alla loro probabilità, come è stato proposto per la fisica dei disastri. Ma questo rende il tema dell'AI più preoccupante, non meno.
Si è scoperto che molti bias cognitivi aumentano con la pressione temporale, l'informazione sparsa o l'impegno cognitivo. Il che equivale a dire che più la sfida analitica è difficile, più è importante evitare o ridurre i bias. Pertanto raccomando fortemente di leggere “Come Gli Errori Cognitivi Possono Condizionare La Valutazione Dei Rischi Globali” prima di continuare a leggere questo paper.
2. Bias Antropomorfi
Quando una cosa è abbastanza diffusa nelle nostre vite quotidiane, la diamo per scontata fino al punto di dimenticarcene.
Immagina un complesso adattamento biologico con dieci componenti necessarie. Se ciascuno di dieci geni compare con una frequenza del 50% nel pool genetico—e ciascun gene è posseduto da una sola metà degli organismi della specie in esame—allora, in media, solo 1 organismo su 1024 possiederà l'adattamento pienamente funzionante. Una pelliccia non è un vantaggio evolutivo significativo a meno che l'ambiente non sottoponga agli organismi la sfida del freddo. Similmente, se il gene B dipende dal gene A, allora il gene B non ha un vantaggio significativo, a meno che il gene A costituisca una parte affidabile dell'ambiente genetico. Un meccanismo complesso e interdependente è necessariamente universale in una specie che si riproduce sessualmente; altrimenti non può evolversi (Tooby and Cosmides 1992). Un passero può avere piume più morbide di un altro, ma entrambi avranno le ali. Nutrendosi della variazione, la selezione naturale la consuma (Sober 1984).
In ogni cultura nota, gli umani sperimentano gioia, tristezza, disgusto, rabbia, paura e sorpresa (Brown 1991), e indicano queste emozioni usando le stesse espressioni facciali (Ekman and Keltner 1997). Gira lo stesso motore, sotto i nostri cofani, anche se siamo dipinti con colori diversi; un principio che gli psicologi evolutivi chiamano unità psichica dell'umanità (Tooby and Cosmides 1992). Questa osservazione è sia spiegata, sia richiesta dalle meccaniche della biologia evolutiva.
Un antropologo che scoprisse per primo una data tribù non direbbe, sbalordito:”Mangiano cibo! Respirano aria! Usano strumenti! Si raccontano storie!” Poiché il mondo in cui viviamo insiste sulle differenze, noi umani tendiamo a dimenticare quanto simili siamo tra noi.
Gli umani si sono evoluti per modellare altri umani—per poter competere contro e collaborare con I nostri conspecifici. Era una caratteristica “affidabile” dell'ambiente ancestrale che ogni intelligenza potente tu incontrassi sarebbe stata un altro umano. Ci siamo evoluti per comprendere i nostri simili umani empaticamente, mettendoci nei loro panni; pertanto, modellato e modellante erano simili. Comprensibilmente, gli esseri umani spesso “antropomorfizzano”—si aspettano proprietà umanoidi da ciò che non è umano. In Matrix (Wachowski and Wachowski 1999), la presunta “Intelligenza Artificiale” Agente Smith inizialmente appeare molto affascinante e padrone di sé, la sua faccia passiva e senza emozioni. Ma in seguito, mentre interroga l'umano Morpheus, Agente Smith dà libero sfogo al suo disgusto per l'umanità—e la sua faccia tradisce l'espressione umana universale per il disgusto.
Chiedere al tuo cervello è una buona idea, come istinto adattivo, se devi prevedere gli altri umani. Se invece devi vedertela con un altro tipo di processo di ottimizzazione-se, per esempio, sei il teologo William Paley, che osserva il complesso ordine della vita e si chiede come sia sorta
— allora l'antropomorfismo è come una carta da mosche per scienziati sprovveduti, una trappola così sottile che è stato necessario l'arrivo di Darwin, per liberarsene.
Esperimenti sull'antropomorfismo mostrano che i soggetti antropomorfizzano inconsciamente, spesso in contrasto con le loro credenze deliberate. In uno studio di Barrett e Keil (1996). I soggetti professavano fortemente la fede in proprietà non antropomorfe di Dio: che Dio potesse essere in più di un posto alla volta, o prestasse attenzione a più eventi simultaneamente. A quel punto, Barrett e Keil presentavano agli stessi soggetti storie in cui, per esempio, Dio salva le persone dall'annegamento. I soggetti risposero a domande sulle storie, o riformularono le storie con parole loro, in modo da suggerire che Dio si trovasse in un solo posto alla volta ed eseguisse le sue azioni in sequenza, più che in parallelo. In modo del tutto casuale rispetto ai nostri scopi, Barrett e Keil testarono anche un gruppo aggiuntivo usando storie, altrimenti identiche, con protagonista un supercomputer chiamato “Uncomp.” Per esempio,per simulare la proprietà dell'omnipresenza, fu detto ai soggetti che I sensori e gli effettori di Uncomp coprono ogni centimetro quadrato della Terra e quindi nessuna informazione sfugge al suo processamento.” Anche i soggetti in questa condizione espressero un forte antropomorfismo, anche se significativamente meno del “gruppo di Dio”.
Per quanto ci riguarda, il risultato principale è che anche quando le persone credono consciamente che un'AI sia diversa da un umano, nondimeno visualizzano scenari in cui l'AI possiedono tratti antropomorfi (ma non tanto antropomorfi come nel “gruppo di Dio”).
Il bias antropomorfo può essere classificato come insidioso: prende piede senza un intento deliberato, senza una presa di coscienza, e a dispetto di una evidente conoscenza.
Nell'era della fantascienza pulp, ogni tanto le copertine di giornale
dipingevano un alieno senziente, mostruoso—colloquialmente noto come BEM, o mostro con gli occhi da insetto—che portava con sé una donna attraente in un vestito lacerato. Sembrerebbe che l'artista credesse che un alieno non umanoide, con una storia evolutiva completamente diversa, desiderasse sessualmente le donne.E le persone non fanno errori come questo dicendosi a chiare lettere: “Tutte le menti sono congegnate più o meno allo stesso modo, quindi anche un BEM troverà le donne sessualmente attraenti.”
Probabilmente l'artista non si è mai chiesto se un bug gigante percepisce le donne umane come attraenti. Semmai, [la logica è che] una donna umana in vesti stracciate è di per sé sexy, è una proprietà intrinseca. Chi fece questo errore non pensò alla mente dell'insettoide e si concentrò piuttosto sul vestito stracciato della donna. Se il vestito non fosse stato stracciato, la donna sarebbe stata meno sexy; e il BEM, con tutto ciò, non ha nulla a che fare.[1]
Non serve che le persone capiscano di antropomorfizzare (o anche solo capire che si stanno avvitando in una discutibile predizione delle menti altrui) perché l'antropomorfismo faccia capolino nella cognizione. Quando cerchiamo di ragionare sulle altre menti, ogni passo del processo di ragionamento potrebbe essere inficiato da assunzioni così comuni nell'esperienza umana da non dar loro più peso dell'aria o della gravità. Puoi obiettare all'illustratore: “ Non è più probabile che un maschio di insetto gigante desideri sessualmente le femmine di insetto gigante?” L'illustratore ci pensa un momento e poi ti dice: beh, anche se un alieno insettoide inizia apprezzando gli esoscheletri rigidi, dopo aver incontrato le femmine di umano presto noterà che hanno una pelle molto più gradevole e morbida. Se gli alieni hanno una tecnologia sufficientemente avanzata, faranno ingegneria genetica su sé stessi per apprezzare la pelle morbida invece degli esoscheletri rigidi.”
Questa è una fallacia di rimozione. Dopo aver evidenziato il pensiero antropomorfico dell'alieno, l'illustratore fa un passo indietro e cerca di giustificare la conclusione dell'alieno come un prodotto neutrale del processo di ragionamento dell'alieno.
Forse gli alieni avanzati potrebbero reingegnerizzare sé stessi (geneticamente o in altro modo) per amare la pelle morbida, ma siamo sicuri che lo vorrebbero? Un alieno insettoide che ama gli scheletri rigidi non vorrà cambiare sé stesso per passare ad apprezzare le pelli morbide—a meno che la selezione naturale abbia in qualche modo prodotto in lui un senso distintamente umano di meta-sessualità. Quando stiamo usando lunghe, complesse catene di ragionamento per argomentare in favore di una conclusione antropomorfa, ogni step del ragionamento è un'altra opportunità di cadere nell'errore.
E un serio errore è anche quello di iniziare dalla conclusione e cercare una linea di ragionamento apparentemente neutrale che vi ci porti; questa è razionalizzazione. Se è un “auto-ricerca-mentale” che ha prodotto quella prima tremolante immagine mentale di un insettoide che dà la caccia ad una donna, allora è l'antropomorfismo la causa sottostante a quella convinzione, e tutta la razionalizzazione del mondo non cambierà il punto.
Chiunque cerchi di ridurre il bias antropomorfico in sé farebbe bene a fare ad occuparsi di biologia evolutiva, e preferibilmente di biologia evolutiva e matematica insieme. I primi biologi spesso antropomorfizzavano la selezione naturale—credevano che l'evoluzione avesse seguito la stessa loro traiettoria; cercavano di prevedere gli effetti dell'evoluzione mettendosi “nei panni dell'evoluzione”. Il risultato fu una grande quantità di sciocchezze, che cominciarono ad essere sistematicamente cancellate dalla biologia nei tardi anni '60s, per es. da Williams (1966). La biologia evolutiva offre sia matematica che casi di studio per aiutare a aggredire il bias antropomorfo.
2.1. L'Ampiezza dello Spazio delle Menti Progettabili
L'evoluzione conserva con forza alcune strutture. Una volta che evolvono altri geni che dipendono da un gene pre-esistente, quel gene preesistente “sta in una botte di ferro”; non può mutare senza che vengano distrutti molteplici adattamenti. I geni omeotici—che controllano lo sviluppo del piano corporeo negli embrioni—dicono a molti altri geni quando attivarsi. Mutare un gene omeotico può generare un embrione di moscerino della frutta che si sviluppa “normalmente”, ma senza testa. Di conseguenza. i geni omeotici sono conservati con tale tenacia che molti di loro appartengono sia agli umani che ai moscerini della frutta—non sono cioè cambiati dall'ultimo antenato comune di umani e moscerini. Il meccanismo dell'ATP-sintasi è essenzialmente lo stesso nei mitocondri animali, nei cloroplasti delle piante, e nei batteri; l'ATP-sintasi non è cambiata significativamente dalla nascita della vita eucariota, circa due miliardi di anni fa.
Due pattern AI qualunque possono somigliarsi l'un l'altro meno di quanto tu somigli a una petunia.
Il termine “Artificial Intelligence” si riferisce ad uno spazio di possibilità molto maggiore del termine “Homo sapiens.” Quando parliamo di “AI” stiamo davvero parlando di menti-in-generale, o processi di ottimizzazione in generale. Immaginate una mappa dello spazio delle menti possibili. In un angolo, un piccolo cerchiolino contiene tutti gli umani; in un cerchio appena più grande, tutta la vita biologica; e tutto il resto dell'enorme mappa è lo spazio delle menti-in-generale. E l'intera mappa fluttua in uno spazio ancora maggiore, lo spazio dei processi di ottimizzazione. La selezione naturale crea complessi meccanismi funzionali incoscienti di sé; l'evoluzione giace tra lo spazio dei processi di ottimizzazione ma fuori dal cerchio delle menti.
Ed è questo enorme spazio di possibilità a negare legittimità all'antropomorfismo.
3. Predizione e Progettazione
Non possiamo chiedere ai nostri stessi cervelli risposte sui processi non umani di ottimizzazione— che siano mostri con gli occhi da insetto, la selezione naturale, o le Intelligenze Artificiali. Come potremmo procedere? Come possiamo prevedere ciò che faranno le Intelligenze Artificiali? Ho deliberatamente posto la domanda in una forma che la rende intrattabile. Per il problema della terminazione, è impossibile prevedere se un arbitrario sistema computazionale implementi una qualunque funzione imput-output, tra cui, per esempio, la semplice moltiplicazione (Rice 1953). Com'è dunque possibile che gli ingegneri umani possano costruire chip informatici che implementano affidabilmente la moltiplicazione? Perché gli ingegneri umani usano deliberatamente schemi di progettazione che loro possono comprendere.
L'antropomorfismo porta la gente a credere di poter fare previsioni, senza altra informazione che quella cosa davanti a te è un'“intelligenza”—l'antropomorfismo continuerà a generare previsioni senza curarsene, e il tuo cervello si metterà continuamente nei panni dell'”intelligenza.” Questo potrebbe esssere stato uno dei fattori che hanno contribuito alla storia imbarazzante dell'AI, che non nasce dalla difficoltà in sé dell'AI, ma dalla misteriosa facilità ad acquisire convinzioni erronee su quello che un dato design AI è in grado di fare.
Per poter affermare che un ponte potrà sostenere veicoli fino a 30 tonnellate, gli ingegneri civili hanno due armi: la scelta delle condizioni iniziali e i margini di sicurezza. Non devono prevedere se una qualunque struttura supporterà veicoli da 30 tonnellate, solo progettare un singolo ponte sul quale poter fare questa affermazione. E sebbene questo si rifletta bene su un ingegnere che può calcolare correttamente il peso esatto che un ponte sosterrà, è anche accettabile calcolare che un ponte sostenga veicoli di almeno 30 tonnellate—sebbene l'asserire rigorosamente questa vaga affermazione potrebbe rendere necessario molto della stessa comprensione teorica richiesta da un calcolo esatto.
Gli ingegneri civili rispettano degli standard molto rigorosi quando prevedono che i ponti sosterranno i veicoli. Gli antichi alchimisti, invece, rispettavano standard molto più rilassati nel prevedere che una sequenza di reagenti chimici avrebbe trasformato il piombo in oro. Quanto piombo in quanto oro? Qual è l'esatto meccanismo causale? È abbastanza chiaro perché il ricercatore alchemico preferisca l'oro al piombo, ma perché questa sequenza di reagenti dovrebbe preferire il piombo all'oro, invece dell'oro al piombo, o il piombo all'acqua?
Alcuni ricercatori AI della prima ora credevano che una rete neurale artificiale a unità di soglia stratificate (orig. layered thresholding units), istruite attraverso retropropagazione, sarebbe stata intelligente. Questa convinzione era probabilmente più vicina al pensiero magico che all'ingegneria civile. La magia è sulla lista degli universali umani di Donald Brown (Brown 1991); la scienza no. Non vediamo istintivamente che l'alchimia non funzionerà. Non distringuiamo istintivamente tra una rigorosa comprensione e una bella storia. Non notiamo istintivamente un'aspettativa di risultati positivi che resta nell'aria.
La specie umana è sorta attraverso la selezione naturale, che opera attraverso la conservazione deliberata di mutazioni casuali. Un percorso che guida alla catastrofe globale—a qualcuno che preme il bottone con un'idea sbagliata di quel che il bottone fa—è che l'Intelligenza Artificiale si presenta attraverso una simile accumulazione di algoritmi funzionanti, scritti da ricercatori che non hanno una comprensione profonda di come funzioni il sistema nel suo complesso, e nondimeno credono che l'AI sarà benevola, senza una visione nitida degli esatti processi coinviolti nella produzione di un comportamento benevolo, o una qualche comprensione dettagliata di quel che intendono per benevolenza.
Proprio come i primi ricercatori AI avevano aspettative fortemente, ed erroneamente, vaghe per l'intelligenza dei loro programmi, immaginiamo che questi ricercatori AI riescano a costriure un programma intelligente, ma abbiano aspettative fortemente vaghe sulla benevolenza dei loro programmi.
Non sapere come costruire un'AI benevola non è di per sé mortale, in nessun caso, se sai che non lo sai. È la convinzione errata che una data AI sarà benevola a costituire un ovvio percorso verso la catastrofe globale.
4. Sottostimare il Potere dell'Intelligenza
Tendiamo a vedere le differenze individuali, invece degli universali umani. Pertanto, quando qualcuno dice la parola “intelligenza,” pensiamo ad Einstein, invece che agli umani.
Le differenze individuali sull'intelligenza umana hanno un'etichetta standard, la g di Spearman, nota anche come g-factor, un interpretazione controversa del solido risultato sperimentale che diversi test sull'intelligenza sono altamente correlati l'un l'altro e con risultati nel mondo reale come il reddito nel corso della vita (Jensen 1998). La g di Spearman è un'astrazione statistica dalle differenze individuali dell'inteligenza tra umani, che come specie sono molto più intelligenti delle lucertole. La g di Spearman astrae dalle differenze d'altezza millimeteriche tra una specie di giganti.
Non dovremmo confondere la g di Spearman con l'intelligenza umana generale, la nostra capacità di gestire un ampio raggio di compiti cognitivi incomprensibili ad altre specie. L'intelligenza generale è una differenza tra specie, un adattamento complesso, e un universale umano che si ritrova in tutte le culture. Forse non c'è consenso accademico su cosa sia l'intelligenza, ma non c'è dubbio sull'esistenza, o il potere, della cosa da spiegare. C'è qualcosa, negli umani, che ci ha permesso di lasciare la nostra impronta sulla Luna.
Ma la parola “intelligenza” di norma evoca immagini del professore morto di fame con un IQ di 160 e il CEO miliardario con un IQ di appena 120. Invero, ci sono differenze nelle capacità individuali, a parte la “intelligenza libresca” che controbiscono al relativo successo nel mondo umano: entusiasmo, abilità sociali, educazione, talento musicale, razionalità. Notate che tutti i fattori che ho appena elencato sono cognitivi. Le abilità sociali risiedono nel cervello, non nel fegato. E sceherzi a parte, non troverete molti CEOs, né molti professori universitari, tra gli scimpanzé. Né troverete molti topi tra i razionalisti di fama, artisti, ingegneri, poeti, leader, specialisti di arti marziali o compositori. L'intelligenza è il fondamento del potere umano, la forza che corrobora le nostre altre arti.
Il pericolo di confondere l'Intelligenza Generale con il fattore-g è che porta a sottostimare tremendamente l'impatto potenziale dell'Intelligenza Artificiale (Questo si applica al sottostimare gli impatti potenzialmente sia positivi che negativi.) Persino l'espressione “AI transumano” o “superIntelligenza Artificiale” potrebbe ancora evocare immagini da “cervellone in scatola”: un AI che è davvero brava in compiti cognitivi stereotipicamente associati con l'”intelligenza”, come gli scacchi o la matematica astratta, ma non superumanamente pervasiva; o molto migliore degli umani a prevedere e manipolare situazioni sociali umane; o disumanamente intelligente nel formulare strategie di lungo termine.
Invece di Einstein, quindi, dovremmo pensare a, diciamo, quel genio diplomatico del 19° secolo che fu Otto Von Bismarck? No, sarebbe solo la versione speculare dell'errore. L'intero range che va dallo scemo del villaggio ad Einstein, o dallo scemo del vilaggio a Bismarck, occuperebbe solo un trattino della linea che separa l'ameba dagli umani.
Se la parola “intelligenza” evoca Einstein invece degli umani, allora potrebbe sembrare ragionevole che l'intelligenza non abbia niente a che vedere con un fucile, come se i fucili crescessero sugli alberi. Potrebbe sembrare ragionevole che l'intelligenza non abbia niente a che vedere col denaro, come se I topi lo usassero. Gli esseri umani non hanno iniziato la loro storia con vantaggi particolari quanto a artigli, denti, armamenti, o uno qualunque degli altri vantaggi che furono la valuta corrente delle altre specie. Se aveste osservato gli umani dalla prospettiva del resto dell'ecosfera, niente avrebbe fatto pensare che quei corpi morbidi alla fine si sarebbero protetti in carri armati. Abbiamo inventato il campo di battaglia su cui abbiamo sconfitto leoni e lupi. Non è stata una lotta “dente per dente”; abbiamo avuto le nostre idee sugli aspetti rilevanti. Tale è il potere della creatività.
Vinge (1993) osservava saggiamente che un futuro contenente menti dall'intelligenza umana è qualitativamente diverso. L'Intelligenza Artificiale non è un costoso, luccicante gadget all'ultimo grido da pubblicizzare nell'ultimo numero di un mensile di tecnologia.L'Intelligenza Artificiale non appartiene allo stesso grafico che mostra il progresso in medicina, manifattura ed energia. L'Intelligenza Artificiale non è un qualcosa che puoi mischiare casualmente in uno scenario lumpenfuturistico di grattacieli e auto volanti e globuli rossi nanotecnologici che ti permettono di trattenere il respiro per otto ore. Non è che i grattacieli, se sufficientemente alti, inizino a progettareautonomamente. L'umanità non ha raggiunto una posizione di prominenza, sulla Terra, mantenendo il suo respiro più a lungo delle altre specie.
Lo scenario catastrofico che potrebbe verificarsi sottostimando il potere dell'intelligenza è che qualcuno costruisca un bottone, non si preoccupi molto di quel che fa il bottone, perché non pensa che il bottone sia abbastanza potente da far del male. Oppure, poiché sottostimare il potere dell'intelligenza implica una proporzionale sottostima del potenziale impatto dell'Intelligenza Artificiale, che il gruppo (al momento ristretto) dei ricercatori, finanziatori e filantropi individuali che hanno in mano i rischi esistenziali per conto della specie umana non prestino abbastanza attenzione ai rischi dell'AI forte, e pertanto I buoni strumenti e le fondamenta salde per la benevolenza non siano disponibili, il giorno in cui sarà possibile costruire intelligenze forti.
E non dovremmo scordarci di menzionare—visto che anch'esso impatta sui rischi esistenziali—che l'Intelligenza Artificiale potrebbe essere la potente soluzione ad altri rischi esistenziali, e che per errore potremmo ignorare la nostra migliore speranza di sopravvivenza. Il punto, nel sottostimare il potenziale impatto dell'Intelligenza Artificiale, è simmetrico attorno ai potenziali impatti positivi e negativi. Ecco perché il titolo di questo paragrafo è “L'Intelligenza Artificiale Come Fattore Positivo e Negativo di Rischio Globale,” non “Rischi Globali dell'Intelligenza Artificiale.” La prospettiva dell'AI interagisce col rischio globale in modi più complessi di così; se l'AI fosse solo un pericolo, le questioni sarebbero semplici.
5. Capacità e Motivazione
Spesso si commette una fallacia nella discussione sull'Intelligenza Artificiale, specialmente l'AI di capacità superumane. Qualcuno dice: “Quando la tecnologia avanzerà abbastanza, saremo in grado di costruire menti che ecccederanno di gran lunga l'intelligenza umana. Ora, è ovvio che la larghezza della tua cheesecake dipende dalla tua intelligenza. Una superintelligenza potrebbe costruire delle cheesecake enormi, grandi come città- mio Dio, il futuro sarà pieno di cheesecake giganti!” La questione è se la superintelligenza vorrà costruire delle cheesecake giganti. La visione salta direttamente dal poter fare al farlo davvero, senza considerare il necessario intermezzo della motivazione.
I seguenti ragionamenti, considerata di per sé, senza argomenti a sostegno, esibiscono tutti la Fallacia della Cheesecake Gigante:
- Un Intelligenza Artificiale sufficientemente potente potrebbe sopraffare ogni resistenza umana e spazzare via l'umanità (E l'AI deciderebbe di farlo.) Pertanto, non dovremmo costruire un'AI.
- Un Intelligenza Artificiale sufficientemente potente potrebbe sviluppare nuove tecnologie mediche capaci di salvare milioni di vite umane. (E l'AI deciderebbe di farlo) Pertanto, dovremmo costruire un'AI.
- Una volta che i computer saranno abbastanza economici, la gran parte dei lavori saranno eseguibili dall'Intelligenza Artificiale più semplicemente che dagli umani. Una AI sufficientemente potente sarebbe più brava di noi persino in matematica, ingegneria, musica, arte, e tutte quelle altre attività che consideriamo significative. (E l'AI deciderà di svolgerle.) Dopo l'invenzione dell'AI, pertanto, gli umani non avranno nulla da fare, e o moriranno di fame o staranno a guardare la TV.
5.1. Processi di Ottimizzazione
L'analisi, descritta sopra, della Fallacia della Cheesecake Gigante invoca un antropomorfismo intrinseco—l'idea che le motivazioni sono separabili; l'assunto implicito che trattando “capacità” e “motivazione” come separate, decostruiamo la realtà nei suoi minimi termini. È un'impostazione utile, ma antropomorfa.
Per vedere il problema in termini più generali, introduco il concetto di processo di ottimizzazione: un sistema che ragiunge obiettivi ristretti in ampi spazi di ricerca, per produrre effetti coerenti del mondo reale.
Un processo di ottimizzazione dirige il futuro in particolari regioni del possibile. Esempio: sto visitando una città lontana, e un amico locale si offre di guidarmi all'aeroporto. Non conosco il vicinato. Quando il mio amico arriva ad un incrocio, non posso prevedere le singole svolte (o la sequenza di svolte) del mio amico. Tuttavia posso predire il risultato delle imprevedibili azioni del mio amico: noi arriveremo all'aeroporto. Anche se la casa del mio amico si trovasse da un'altra parte delle città, tale da costringere il mio amico a fare una sequenza di svolte totalmente diversa, potrei prevedere la mia destinazione con la stessa sicurezza. Non è una posizione strana, scientificamente parlando? Posso prevedere il risultato di un processo, senza per questo conoscere alcuno dei passi intermedi nel processo. Parlerò della regione nella quale un processo di ottimizzazione dirige il futuro come l'obiettivo di quell'ottimizzatore.
Consideriamo un auto, per esempio una Toyota Corolla. Di tutte le possibili configurazioni degli atomi che compongono la Corolla, solo una frazione infinitesimale si qualifica come un auto usabile. Se assemblaste le molecole a caso, occorrerebbero molte, molte età dell'Universo prima di imbattersi in una macchina. Una piccola frazione dello spazio di progettazione descrive effettivamente veicoli che riconosceremmo come più veloci, efficienti e sicuri della Corolla. Pertanto la Corolla non è ottimale per gli scopi del designer. La Corolla è, tuttavia, ottimizzata, perché il designer ha dovuto centrare un obiettivo, nello spazio delle potenzialità progettuali, al confronto infinitesimale, solo per creare un auto funzionante, senza parlare di una macchina della qualità della Corolla. Non puoi costruire un vagone saldando le pareti a caso e le giunture a seconda dei lanci di una moneta. Per restare entro un obiettivo tanto piccolo dello spazio di configurazione è necessario un potente processo di ottimizzazione.
La nozione di un “processo di ottimizzazione” è prevedibilmente utile perché potrebbe ben essere più semplice comprendere l'obiettivo di un processo di ottimizzazione che comprenderne le dinamiche dei passi che vi portano. La discussione di cui sopra sulla Corolla assume implicitamente che il progettista della Corolla stesse cercando di costruire un veicolo, un mezzo di spostamento. Questo assunto merita di essere esplicitato, ma non è sbagliato, ed è molto utile nel comprendere la Corolla.
5.2. Puntare all'Obiettivo
La tentazione è di chiedere cosa “vorranno” le “AI”, dimenticando che lo spazio delle menti in generale è molto più grande del piccolo punto umano. Si dovrebbe resistere alla tentazione di diffondere quantificatori in tutte le menti possibili. I narratori che scrivono storie su quella distante ed esotica terra chiamata Futuro, parlano di come il futuro sarà. Fanno previsioni. Dicono, “Le AI attaccheranno gli umani con eserciti robotici armati” oppure “le AI inventeranno una cura per il cancro.” Non formulano complesse relazioni tra le condizioni iniziali e i risultati— altrimenti perderebbero il pubblico. Ma noi dobbiamo acquisirla, questa comprensione relazionale, per manipolare il futuro e dirigerlo in una regione desiderabile per l'umanità. Se non facciamo questa svolta, corriamo il rischio di finire dove stiamo andando.
La sfida cruciale non è quella di prevedere che le “AI” attaccheranno gli umani con truppe robotiche armate, o che in alternativa inventeranno una cura per il cancro. Non è nemmeno quella di fare una previsione su un singolo progetto AI arbitrariamente scelto. Semmai, il compito è porre in essere qualche particolare potente processo di ottimizzazione, i cui effetti benefici possano essere legittimamente asseriti.
Vorrei invitare caldamente i miei lettori a non elabrorare varie ragioni per cui un processo di ottimizzazione completamente generico sarebbe benevolo. La selezione naturale non è benevola, né ti odia, né ti abbandonerà. L'evoluzione non può essere antropomorfizzata fino a questo puntro, non funziona come noi. Molti biologi, prima degli anni 1960, si aspettavano che la selezione naturale facesse ogni sorta di belle cose, e razionalizzavano ogni sorta di ragioni elaborate del perché la selezione naturale lo farebbe. Furono delusi, perché la selezione naturale stessa non è iniziata sapendo che voleva una risultato adatto agli umani, razionalizzando poi modi elaborati di produrre risultati graditi con le pressioni selettive. Pertanto, gli eventi in Natura erano il risultato di un processo causalmente differente da quello che avevano in testa i biologi pre-1960, e così realtà e previsione si allontanarono.
Il mero desiderio aggiunge qualche dettaglio, vincola la previsione, e pertanto aumenta il tasso di improbabilità. Che dire dell'ingegnere civile che spera che il ponte non crolli? Forse l'ingegnere dovrebbe argomentare che in generale i ponti difficilmente cadono? Ma la stessa Natura non razionalizza le ragioni del perché i ponti non dovrebbero cadere. Piuttosto, l'ingegnere civile supera il peso dell'improbabilità attraverso una specifica scelta guidata da una specifica comprensione. Un ingegnere civile inizia desiderando un ponte; poi usa una teoria rigorosa per selezionare un progetto di ponte che sostenga le auto; poi costruisce un vero e proprio ponte la cui struttura riflette il progetto calcolato; e pertanto la struttura del mondo reale sostiene le macchine. In questo modo, ottiene l'armonia tra risultati positivi previsti e risultati positivi effettivi.
6. AI Benevola
Sarebbe una cosa molto buona se l'umanità sapesse come selezionare tra tutte un processo di ottimizzazione potente con un particolare obiettivo. O in termini più colloquiali, sarebbe carino se sapessimo come costruire una AI Benevola.
Per descrivere il campo di conoscenze necessario a sostenere quella sfida, ho proposto il termine “AI Benevola”.Oltre a riferirsi a tutto un corpo di tecniche, “AI Benevola” potrebbe riferirsi anche al prodotto della tecnica—una AI creata con specifiche motivazioni. Quando uso il termine Benevola in un qualunque senso, lo metto in maiuscolo per evitare confusione col significato ordinario di “benevola”.
Una comune reazione che incontro è che l'obiezione immediata che l'AI Benevola è impossibile, perché una qualunque AI sufficientemente potente sarà in grado di modificare il suo codice sorgente e rompere ogni vincolo che le sia stato posto.
Il primo difetto che dovreste notare è la Fallacia Della Cheesecake gigante. Qualunque AI con accesso libero al suo sorgente avrebbe, in principio, la capacità di modificare il suo codice sorgente in un modo che cambi l'obiettivo di ottimizzazione dell'AI. Ma questo non implica che l'AI sia motivata a cambiare le sue motivazioni. Prevedendo le conseguenze, non ingoierei una pillola che dopo mi faccia divertire a commettere omicidi, perché ora preferisco che il mio prossimo viva.
Ma se cercassi di modificarmi, e commettessi un errore? Quando gli ingegneri informatici testano il funzionamento di un chip—una buona idea, se il chip ha qualcosa come 155 milioni di transistor e non puoi fare correzioni, una volta uscito—gli ingegneri usano una prova formale guidata da un umano e verificata da una macchina. La grandiosa proprietà della prova matematica formale è che una prova di dieci milioni di passi è affidabile quanto ua prova di dieci passi. Ma gli esseri umani sono inaffidabili, quando si tratta di controllare una prova di dieci milioni di passi; la probabilità di mancare un errore è troppo alta! E le tecniche attuali di dimostrazione dei teoremi non sono abbastanza intelligenti da progettare e testare un intero chip per conto loro—gli algoritmi attuali spaziano in un'esplosione esponenziale dello spazio di ricerca. I matematici umani possono provare teoremi molto più complessi di quelli che possono maneggiare i moderni dimostratori di teoremi, senza essere sopraffatti dall'esplosione esponenziale. Ma la matematica umana è informale ed inafidabile; di quando in quando, qualcuno scopre un difetto in una prova informale precedentemente accettata. Il risultato è che gli ingegneri umani guidano un dimostratore di teoremi attraverso i passi intermedi di una prova. L'umano sceglie il lemma successivo, e un complesso dimostratore di teoremi genera una prova formale, ed un semplice verificatore controlla gli steps. È così che gli ingegneri moderni costruiscono meccanismi affidabili con 155 milioni di parti interdipendenti.
Dimostrare il buon funzionamento di un chip ben costruito richiede una sinergia di intelligenza umana e algoritmi informatici, visto che al momento nessuna delle due è sufficiente da sola. Forse una vera AI potrebbe usare una simile combinazione di abilità quando modifica il suo stesso sorgente—avrebbe cioè sia la capacità di inventare progetti complessi senza essere sopraffatta dall'esplosione esponenziale, e anche la capacità di verificare i suoi passi con estrema affidabilità. Questo è un modo in cui l'AI potrebbe rimanere notoriamente stabile nei suoi scopi, anche dopo essere passata attraverso un grande numero di auto modifiche.
Questo paper non affronterà in dettaglio l'idea di cui sopra. (Nondimeno, potete leggere Schmidhuber (2007) per una questione correlata.) Ma si dovrebbe pensare ad una sfida, e studiarla nel miglior dettaglio tecnico disponibile, prima di dichiararla impossibile—specialmente la posta in gioco è alta. È mancanza di rispetto verso l'inventiva umana dichiarare che una sfida è irrisolvibile senza analizzarla a fondo ed esercitare la creatività. Dire che una determinata cosa non si può fare è un affermazione enormemente forte—che è impossibile costruire una macchina volante più pesante dell'aria, che è impossibile ottenere energia utile dalle reazioni nucleari, che è impossibile andare sulla Luna. Affermazioni del genere sono generalizzazioni universali, quantificate su ogni singolo approccio mai tentato o pensato per risolvere il problema. Basta un singolo controesempio per falsificare un quantificatore universale. L'affermazione che l'AI ostile (o benevola) sia teoricamente impossibile, osa quantificare su ogni possibile schema mentale e ogni possibile processo di ottimizzazione—tra cui gli esseri umani, che sono a loro volta menti, alcune delle quali sono benevole e vorrebbero esserlo ancora di più. A questo punto avete ogni tipo di ragione vagamente plausibile per cui l'AI Benevola potrebbe essere umanamente impossibile, ed è ancora più probabile che il problerma sia risolvibile ma nessuno si presenti a risolverlo in tempo. Ma non dovremmo abbandonare la sfida, specialmente considerando la posta in palio.
7. Fallimento Tecnico e Fallimento Filosofico
Bostrom (2002) definisce esistenziale la catastrofe che estingue permanentemente la vita intelligente nata sulla Terra o distrugge una parte del suo potenziale. Possiamo dividere i fallimenti potenziali delle AI Benevole in due categorie, informali e un po' sfumate: il fallimento tecnico e il fallimento filosofico. Il fallimento tecnico è quando cerchi di costruire un'AI e questa non funziona come ti aspetti che faccia—sbagli cioè nel comprendere i veri funzionamenti del tuo stesso codice.
Il fallimento filosofico è cercare di costruire la cosa sbagliata, così che anche se avessi successo comunque non aiuteresti nessuno, e non daresti beneficio all'umanità. Neanche a dirlo, i due fallimenti non si escludono l'un l'altro.
Il confine tra i due casi è sottile, visto che la maggior parte dei fallimenti filosofici sono molto più semplici da spiegare in presenza di conoscenza tecnica. In teoria, prima dovresti dire cosa vuoi, poi cercare di capire come ottenerlo. In pratica, spesso è necessaria una profonda comprensione tecnica, per capire cosa vuoi.
7.1. Un Esempio di Fallimento Filosofico
Nel tardo 19° secolo, molte persone oneste e intelligenti sostennero il comunismo, con le migliori intenzioni. Le persone che inventarono, diffusero e interiorizzarono il comunismo erano, in sobri termini storici, degli idealisti. I primi comunisti non avevano l'esempio della russia Sovietica ad ammonirli. In quel momento, senza il beneficio del senno di poi, dev'essere sembrata una gran buona idea. Dopo la rivoluzione, quando I comunisti presero il potere e ne furono corrotti, devono essere entrate in gioco altre motivazioni; ma questo non era, in sé, qualcosa che i primi idealisti avevano previsto, per quanto potesse essere di per sé prevedibile. È importante capire che gli autori di enormi catastrofi non devono essere per forza cattivi o particolarmente stupidi. Se attribuissimo ogni tragedia alla cattiveria o alla particolare stupidità, guarderemmo noi stessi, percepiremmo correttamente che non siamo né cattivi né particolarmente stupidi, e diremmo: “Ma questo, a noi, non capiterebbe mai.”
Ciò che i primi comunisti rivoluzionari pensavano sarebbe avvenuto, come conseguenza empirica della loro rivoluzione, era che le vite delle persone sarebbero migliorate: gli operai non si sarebbero più dovuti spezzare la schiena per quattro soldi. Ma le cose, per usare un eufemismo, non sono andate così. Ma ciò che i primi comunisti pensavano sarebbe avvenuto non era poi molto diverso da quello che i sostenitori di altri sistemi politici pensavano sarebbe stata la conseguenza empirica dei loro sistemi politici preferiti. Pensavano che la gente sarebbe stata felice. Si sbagliavano.
Ora immaginate che qualcuno debba cercare di programmare una “AI Benevola” per implementare il comunismo, o il liberalismo, o l'anarcofeudalesimo, o il sistemapoliticopreferito, convinti che quel sistema porterà l'Utopia. I sistemi politici preferiti ispirano soli accecanti di affetto positivo, quindi la proposta suonerà un'idea eccellente a chi la propone.
Potremmo vedere il fallimento del programmatore su un livello morale o etico—diciamo che è il risultato di qualcuno che crede troppo a sé stesso, scordandosi di considerare, dopotutto, la possibilità che il comunismo sia un sistema sbagliato. Ma nel linguaggio della Teoria Bayesiana della probabilità, esiste una visione tecnica complementare del problema. Dalla prospettiva delle teoria delle decisioni, la scelta del comunismo nasce dal coniugare una convinzione empirica con un giudizio di valore. La credenza empirica è che il comunismo, una volta implementato, risulta in uno specifico risultato o classe di risultati: le persone saranno più felici, lavoreranno meno ore, e godranno di un maggior benessere materiale. In fin dei conti, questo è una previsione empirica; anche la parte sulla felicità è una proprietà reale degli stati mentali, per quanto difficile da misurare. Se implementi il comunismo, o questo risultato si presenta oppure no. Il giudizio di valore è che questo risultato soddisfi, o sia preferibile, alle condizioni attuali. Data una diversa convinzione empirica sulle conseguenze effettive del mondo reale di un sistema comunista, la decisione potrebbe subire un corrispondente cambiamento.
Ci aspetteremmo che una vera AI, un'Intelligenza Artificiale Generale, sia in grado di cambiare le sue convinzioni empiriche, i suoi modelli del mondo probabilistici, eccetera. Se in qualche modo Charles Babbage fosse vissuto prima di Niccolò Copernico, e in qualche modo i computer fossero stati inventati prima dei telescopi, e in qualche modo i programmatori di quell'epoca fossero riusciti a creare un'Intelligenza Generale Artificiale, non per questo l'AI avrebbe creduto per sempre, da lì in poi, che il Sole giri attorno alla Terra. L'AI potrebbe trascendere l'errore fattuale dei suoi programmatori, posto che i programmatori capissero l'inferenza meglio dell'astronomia. Per costruire un'AI che scopra le orbite dei pianeti. i programmatori non sono tenuti a conoscere la meccanica di Newton, solo quella della teoria della probabilità Bayesiana.
La follia del programmare una AI che implementi il comunismo, o un qualunque altro sistema politico, sta nel fatto che programmerebbe dei mezzi anziché dei fini. Stai programmando entro una decisione fissata, senza che quella decisione sia rivalutabile dopo aver acquisito una conoscenza empirica migliorata sui risultati del comunismo. E stai dando all'AI una decisione prefissata senza dirle come rivalutare, ad un grado di intelligenza più alto, il processo fallibile che produsse quella decisione.
Se gioco a scacchi con un rivale migliore di me, non posso prevedere esattamente la mossa del mio avversario—per prevederlo, dovrei essere bravo almeno quanto lui. Ma posso prevedere il risultato finale, cioè che sarà lui a vincere. Conosco la regione dei possibili futuri, a cui sta puntando il mio avversario, che è ciò che mi fa prevedere la destinazione, anche se non riesco a scorgere il percorso. Quando mi sento al top della creatività, quello è il momento in cui è più difficile prevedere le mie azioni, ma anche in cui è più facile prevedere le conseguenze delle mie azioni (Posto che tu conosca e comprenda i miei obiettivi!) Se voglio un giocatore di scacchi ultra-umano, devo programmare una ricerca delle mosse vincenti. Non posso programmare le mosse specifiche perché il giocatore non sarebbe a quel punto migliore di me. Quando lancio una ricerca, necessariamente sacrifico la mia capacità di prevedere l'esatta risposta in anticipo. Per ottenere una risposta davvero buona, devi sacrificare la tua capacità di prevedere la risposta, anche se non la capacità di dire quale sia la domanda.
Una tale confusione, come il tentativo di programmare direttamente il comunismo, probabilmente non fuorvierebbe un programmatore AGI che parla il linguaggio della teoria delle decisioni. Lo chiamerei sì un fallimento filosofico, ma ne lamenterei la mancanza di conoscenza tecnica.
7.2. Un Esempio di Fallimento Tecnico
Invece di leggi che vincolino il comportamento delle macchine intelligenti, dobbiamo dar loro emozioni che possano guidare il loro apprendimento dei comportamenti. Dovrebbero volerci felici e prosperi, ossia provare l'emozione che chiamiamo amore. Prossiamo progettare macchine intelligenti così che la loro primaria, innata emozione sia l'amore incondizionato per tutti gli umani. In primo luogo, possiamo costruire macchine relativamente semplici che imparino a riconoscere felicità e tristezza nelle espressioni facciali umane, voci umane e linguaggio del corpo umano. Poi potremmo calblare il risultato di questo apprendimento come valori emotivi innati di macchine intelligenti più complesse, rinforzate positivamente quando siamo felici e negativamente quando siamo infelici. Le macchine possono imparare algoritmi per predire approssimatamente il futuro, come ad esempio gli investitori attualmente usano macchine in grado di apprendere per predire il prezzo futuro dei titoli. Possiamo quindni programmare macchine intelligenti per imparare algoritmi che predicano la futura felicità umana, e usare queste previsioni come valori emotivi. (Hibbard 2001)
Tempo fa, l'esercito americano voleva usare le reti neurali per individuare automaticamente i carri armati nemici cammuffati. I ricercatori allenarono una rete neurale con 50 photo di carri armati in mezzo agli alberi, e 50 foto di alberi senza carri armati. Seguendo le tecniche standard di apprendimento supervisionato, i ricercatori hanno allenato la rete neurale ad un bilanciamento che caricasse correttamente il set di allenamento—ossia restituisse “sì” per le 50 foto di carri nascosti tra gli alberi, e “no” per le 50 foto di foreste. Questo non assicura, e nemeno implica, che i nuovi esempi sarebbero stati classificati correttamente. La rete neurale magari aveva “imparato “ 100 casi speciali, impossibili da genralizzare in qualunque problema.Saggiamente, i ricercatori avevano originariamente scattato 200 foto. E avevano usato solo 50 foto ciasuna, per il set di allenamento. I ricercatori lanciarono poi la rete neurale sulle rimanenti 100 foto, e senza allenamento ulteriore, la rete neurale classificò tutte le rimanenti foto in modo corretto. Successo confermato! A quel punto, i ricercatori consegnarono il lavoro finito al Pentagono, che presto lo respinse, obiettando che nei loro test la rete neurale non aveva azzeccato più foto del puro caso nel discriminare le foto.
Saltò fuori che nel dataset dei ricercatori, le foto di test cammuffati erano state scattate in giorni nuvolosi, mentre le foto della foresta nuda erano state scattate in giorni di sole. La rete neurale aveva imparato a distinguere i giorni nuvolosi da quelli di sole, invece di distinguere I carri armati dalla foresta vuota.
Un fallimento tecnico avviene quando il codice non fa quello che ti aspetti faccia, sebbene esegua fedelmente quello che l'hai programmato a fare. Gli stessi dati possono essere caricati da più di un modello. Supponiamo di allenare una rete neurale per riconoscere le facce sorridenti e distinguerle dalle facce umane arrabbiate. Siamo sicuri che il network non confonderebbe l'immagine di un sorriso con una faccia umana sorridente? E se un' AI “cablata” con un tale codice ne avesse la possibilità—e Hibbard (2001) ha parlato di superintelligenza—è possibile che la galassia finisca tappezzata di immagini microscopiche di sorrisi?
Questa forma di fallimento è particolarmente pericolosa quando sembra funzionare entro un contesto prestabilito, per poi fallire al mutare del contesto stesso. I ricercatori della storia del “tank classifier” modificarono le loro reti neurali finché non caricarono correttamente i dati di allenamento, poi verificarono il network su dati aggiuntivi (senza modifiche ulteriori) Sfortunatamente, saltò fuori che sia i dati di allenamento che i dati di verifica condividevano un assunto che si mantenne in tutti gli altri dati usati nello sviluppo, ma non nei contesti del mondo reale dove la rete neurale venne chiamata a funzionare. Nella storia dei carri armati cammuffati, l'assunto è che ii carri furono fotografati in giorni di pioggia.
Supponiamo di voler sviluppare una AI di potenza crescente. L'AI possiede uno stadio di sviluppo in cui i programmatori umani sono più potenti dell'AI—non nel senso del mero controllo fisico sulla fornitura elettrica dell'AI ma nel senso che sono più intelligenti, creativi, astuti dell'AI. Durante il periodo di sviluppo, supponiamo che i programmatori possiedano la capacità di fare cambiamenti nel codice sorgente dell'AI senza doverle chiedere il consenso. Tuttavia, vogliamo anche che l'AI possieda uno stadio di post-sviluppo, incluso, nel caso dello scenario di Hibbard, l'intelligenza superumana. E un'AI di intelligenza superumana certamente non potrebbe essere modificata senza il suo consenso. A questo punto, dobbiamo contare sul fatto che il sistema di obiettivi delineato in precedenza funzioni correttamente, perché se agisce in modo sufficientemente imprevisto, l'AI potrebbe resistere ai nostri tentativi di correggerla—e, se l'AI è più intelligente di un umano, probabilmente vincerebbe.
L'idea di controllare una AI in crescita allenando una rete neurale a elaborare il suo sistema di obiettivi deve fare i conti col problema di un enorme cambio di contesto tra lo stadio di sviluppo di una AI e lo stadio di post-sviluppo di una AI. Durante lo stadio di sviluppo, la AI potrebbe essere solo in grado di produrre stimoli che cadono nella categoria delle “ facce umane sorridenti”, risolvendo i compiti assegnati umanamente, come i suoi costruttori intendevano. Facciamo un salto in avanti: nel momento in cui la AI è super-umanamente intelligente e ha costruito la propria infrastruttura nanotecnologica, potrebbe produrre stimoli classificati come analoghi tappezzando la galassia di piccole facce sorridenti.
Pertanto, la AI sembra funzionare bene durante lo sviluppo, ma produce risultati catastrofici dopo essere diventata più intelligente dei programmatori (!)
Si potrebbe essere tentati di pensare, “Ma certamente la AI saprà che non è ciò che vogliamo, no?” Ma il codice non è dato all'AI, perché lo controlli e lo rigetti se fa la cosa sbagliata. Il codice è l'AI. Forse, con abbastanza sforzo e comprensione, potremmo scrivere codice che si cura di controllare se abbiamo scritto codice sbagliato—il leggendario codice DWIM, che in sigla sta per :”Fa' quello che intendo dire” (Raymond 2003). Ma bisogna fare uno sforzo per scrivere una dinamica DWIM, e nella proposta di Hibbard non c'è alcuna menzione di come progettare una AI che faccia ciò che intendiamo, né ciò che diciamo. I moderni processori non fanno DWIM sul proprio codice; non è una proprietà automatica. E se fai dei casini col DWIM, ne soffrirai le conseguenze. Per esempio, supponiamo che il DWIM sia stato definito come la massimizzazione della soddisfazione del programmatore col codice; quando il codice sarà eseguito dalla superintelligenza, potrebbe ricablare il cervello del programmatore in modo da renderlo sommamente soddisfatto del codice. Non sto dicendo che avverrà senz'altro. Metto solo in luce che il Do-What-I-Mean lancia una grande, e non banale, sfida tecnica al raggiungimento dell'AI Benevola.
8. Tassi di Aumento dell'Intelligenza
Dal punto di vista del rischio esistenziale, una delle questioni più critiche sull'AI è che l'Intelligenza Artificiale potrebbe aumentare la sua intelligenza molto rapidamente. La ragione ovvia per sospettare questa possibilità è l'automiglioramento ricorsivo (Good 1965). L'AI diventa più intelligente, anche nel riscrivere le proprie funzioni cognitive interne di un AI, in modo da funzionare ancora meglio, il che la rende l'AI ancora più intelligente, tra cui più intelligente nel compito di riscriversi, il che genera ulteriori miglioramenti.
Gli esseri umani non automigliorano ricorsivamente in un senso così forte. In un senso limitato, miglioriamo: impariamo, facciamo pratica, affiniamo le nostre abilità e conoscenze.
E in misura limitata, questi automiglioramenti migliorano la nostra abilità di migliorare. Nuove scoperte possono migliorare la nostra capacità di fare ulteriori scoperte—in questo senso sì, la conoscenza si nutre di sé stessa. Ma c'è ancora un livello sottostante che non abbiamo ancora toccato. Non abbiamo riscritto il cervello umano. Il cervello è, in definitiva, la fonte della scoperta, e i nostri cervelli di oggi sono molto simili a quelli di diecimila anni fa.
In un senso simile, la selezione naturale migliora gli organismi, ma il processo di selezione naturale, in sé, non migliora—non in senso forte, almeno. L'adattamento può aprire la strada per adattamenti successivi. In questo senso, l'adattamento si alimenta da solo. Ma anche se il pool genico ribolle, la fonte di calore sottostante (il processo di mutazione, ricombinazione e selezione) non si è riorganizzata da sola. Qualche rara innovazione ha aumentato il tasso della stessa evoluzione, come l'invenzione della ricombinazione sessuale. Ma persino il sesso non ha cambiato la natura essenziale dell'evoluzione: la sua mancanza di intelligenza astratta, il suo affidarsi alle mutazioni casuali, la sua cecità ed incrementalismo, il suo focus sulla frequenza degli alleli.
Similmente, nemmeno l'invenzione della scienza ha cambiato il carattere essenziale del crevello umano: il suo nucleo limbico, la sua corteccia cerebrale, i suoi auto-modelli prefrontali, la sua caratteristica velocità di 200 Hz.
Un'Intelligenza Artificiale potrebbe riscrivere il suo codice da zero—potrebbe cambiare le dinamiche sottostanti dell'ottimizzazione. Un tale processo di ottimizzazione potrebbe “decollare” molto più in fretta dell'evoluzione, che accumula un adattamento dopo l'altro, o degli umani che accumulano conoscenza. L'implicazione chiave, in questa sede, è che una AI possa fare un enorme salto d'intelligenza dopo aver raggiunto una certa soglia critica.
Spesso si incontra dello scetticismo su questo scenario—che Good (1965) ha chiamato “esplosione di intelligenza”—perché il progresso nell'Intelligenza Artificiale ha la reputazione di essere molto lento. A questo punto potrebbe dimostrarsi utile rivedere una sorpresa storica vagamente analoga (il passo seguente è tratto principalmente da Rhodes [1986].)
Nel 1933, Lord Ernest Rutherford disse che nessuno avrebbe potuto mai aspettarsi di ottenere energia dalla scissione atomica: “Chiunque cerchi una fonte di energia nella trasformazione degli atomi sta parlando alla Luna. In quel periodo, erano necessarie ore faticose di lavoro, e settimane di preparazione, per la fissione di una manciata di atomi.
Saltiamo adesso al 1942, in un campo di squash dentro lo Stagg Field, all'Università di Chicago. I fisici stanno costruendo una forma simile ad una gigantesca maniglia, con strati sovrapposti di grafite ed uranio, con lo scopo di avviare la prima reazione nucleare in grado di autosostenersi. A capo del progetto, Enrico Fermi. Il numero chiave, per questa pila, è k, il fattore di moltiplicazione efficace dei neutroni: il numero medio di neutroni provenienti da una reazione di fissione che può causare un'altra reazione di fissione. Quando k è meno di uno, la pila è al di sotto del valore di criticità. Quando invece k ≥ 1, la pila dovrebbe sostenere una reazione critica. Fermi calcola che la pila raggiungerà k=1 tra lo strato 56 e 57.
Una squadra di lavoro guidata da Herbert Anderson finisce lo Strato 57 la notte del primo dicembre 1947. Le barre di controllo (stecche di legno rivestite di cadmio, che assorbe I neutroni) impediscono alla pila di raggiungere il punto critico. Anderson rimuove tutte le barre di controllo tranne una e misura la radiazione della pila, confermando che la pila sarà pronta per la reazione a catena il giorno successivo. Poi inserisce le barre di cadmio, le fissa in posizione con un bloccaggio, chiude il campo di squash e va a casa.
Il giorno successivo, il 2 Dicembre 1942, in un mattino ventoso di una Chicago sottozero, Fermi inizia l'esperimento finale. Tutte le barre di controllo, tranne una, sono state tolte. Alle 10:37 am, Fermi ordina di estrarre a metà l'ultima barra di controllo. Il contatore geiger scatta più in fretta, e la penna del grafico inizia a salire. “Non è questa la reazione”, dice Fermi, “la traccia arriverà a questo punto”, indicando un punto del grafico, “e poi si stabilizzerà”. Pochi minuti dopo, la penna arriva al punto previsto, e poi non sale. Sette minuti dopo, Fermi ordina di estrarre la barra di un altro piede. Le radiazioni aumentano, poi si stabilizzano. La barra viene estratta di altri sei pollici, poi ancora, poi ancora. Alle 11:30, la lenta crescita del grafico è interrotta da un enorme botto—una barra di controllo di emergenza, attivata da una camera di ionizzazione, si attiva e spegne la pila, che è ancora lontana dal punto critico. Fermi, con tutta calma, ordina alla squadra di fermarsi per il pranzo.
Alle 2 p.m. la squadra si reincontra, toglie e blocca la barra di controllo d'emergenza, e muove la barra di controllo al punto in cui l'avevano portata. Fermi fa un po' di calcoli e misure, poi ricomincia il processo di estrazione della barra per piccoli incrementi. Alle 3:25 p.m., Fermi ordina di estrarre la barra di altri 12 pollici. “Questo attiverà il processo”, dice Fermi. “Ora il processo si autososterrà. Il grafico continuerà a salire, invece di stabilizzarsi”
Herbert Anderson racconta (440):
All'inizio potevi sentire il suono del contatore di neutroni, click-clack, click-clack. Poi i click si fecero sempre più frequenti, e a un certo punto si fusero in un brusio indistinto; il contatore non teneva più il passo. Quello fu il momento in cui passare alla visualizzazione grafica. Ma dopo aver fattto il passaggio, tutti videro in un silenzio di tomba lo sbandamento della penna. Fu un silenzio spaventoso. Tutti capivano il significato di quel passaggio; eravamo passati in regime di alta intensità e i contatori non erano più in grado di tenere traccia della situazione. Era necessario cambiare continuamente la scala del tracciato per riuscire a mappare l'intensità dei neutroni, che stava aumentando sempre più rapidamente. Improvvisamente, Fermi alzò la mano. “La pila è arrivata al punto critico,” annunciò. Nessuno dei presenti aveva dubbi al riguardo.
Fermi mantenne la pila in funzione per ventotto minuti, mentre l'intensità dei neutroni raddoppiava ogni due minuti. La prima reazione critica aveva un k di circa 1.0006. Anche con k = 1.0006, la pila si riusciva a controllare solo perché alcuni dei neutroni della fissione di uranio sono ritardati —provengono dal decadimento dei prodotti di scarto di una fissione a breve termine. Ogni 100 fissioni nel U235, 242 neutroni vengono emessi quasi immediatamente (0.0001s), e 1.58 neutroni sono emessi, in media, dieci secondi dopo. Pertanto la vita media di un neutrone è ∼0.1 secondi, il che implica 1.200 generazioni in due minuti, e un raddoppio ogni due minuti perché 1,0006 elevato alla 1.200 è circa 2. Una reazione nucleare critica è critica senza il contributo dei neutroni ritardati. Se la pila di Fermi fosse stata critica senza un k = 1.0006, l'intensità dei neutroni sarebbe raddoppiata ogni decimo di secondo.
La prima morale è che confondere al velocità della ricerca AI con la velocità di un'AI reale una volta costruita è come confondere la velocità della ricerca fisica con la velocità delle reazioni nucleari. Come confondere la mappa col territorio. Ci son voluti anni per costruire la prima pila, da un piccolo gruppo di fisici che non hanno fatto neanche molta notizia sulla stampa. Ma una volta che la pila fu costruita, sono successe cose interessanti nell'arco di tempo delle interazioni nucleari, non in quello dei ragionamenti umani. Nel dominio nucleare, le interazioni elementari avvengono molto più in fretta di quanto i neuroni umani non trasmettano. E lo stesso, in larga misura, si può dire dei transistor.
Un'altra morale è che c'è una differenza enorme tra un auto miglioramento che provoca un miglioramento medio di 0,9994, e un automiglioramento che provoca un miglioramento medio di 1,0006. La pila nucleare non ha attraversato la soglia critica perché i fisici hanno improvvisamente aggiunto al mucchio molto più materiale. I fisici hanno aggiunto il materiale in modo lento e costante. Anche se la curva sottostante all'intelligenza cerebrale, come funzione della pressione di ottimizzazione precedentemente esercitata su quel cervello, non fosse molto ripida, la curva dell'auto-miglioramento ricorsivo potrebbe mostrare un enorme salto.
Ci sono poi altre ragioni per cui una AI potrebbe mostrare un salto improvviso nell'intelligenza. La specie Homo Sapiens ha mostrato un salto improvviso nell'efficacia della sua intelligenza, come risultato della selezione naturale che esercitava una pressione ottimizzatrice più o meno costante per milioni di anni, espandendo gradualmente il cervello e la corteccia prefrontale, manipolando l'architettura del software. Qualche decina di migliaia di anni fa, l'intelligenza ominide ha attraversato alcune soglie decisive ed ha fatto un enorme salto nella sua efficacia nel mondo reale; siamo passati dalla savana ai grattacieli in un batter di ciglia, evolutivamente parlando. Questo è successo con una pressione selettiva sottostante continua—non c'è stato un salto enorme nella potenza di ottimizzazione dell'evoluzione, quando sono comparsi gli umani. Anche l'architettura cerebrale sottostante era continua—la nostra capacità craniale non è aumentata improvvisamente di due ordini di grandezza. Potrebbe quindi darsi che, anche se l'AI è stata elaborata dall'esterno dai programmatori umani, la curva per l'intelligenza efficace farà un progresso brusco.
O forse qualcuno costruirà un prototipo di AI che mostra alcuni risultati promettenti, e la dimostrazione attrarrà altri 100 milioni di capitale di rischio, coi quali si acquisterà una potenza di calcolo mille volte maggiore. Dubito che un incremento di mille volte nell'hardware permetta di ottenere qualcosa che somigli ad un aumento di mille volte nell' effettiva intelligenza—ma il mero dubbio non fa molto testo, in assenza di una qualunque possibilità di calcolo analitico. Rispetto agli scimpanzé, gli umani hanno un vantaggio triplo nel cervello in generale ed un vantaggio sestuplo nella corteccia prefrontale, il che suggerisce come (a) il software è più importante dell'hardware e (b) piccoli incrementi nell'hardware possono sostenere grandi miglioramenti nel software. C'è poi un altro punto da considerare.
La AI potrebbe fare un balzo apparentemente alto nell'intelligenza semplicemente a causa dell'antropomorfismo, la tendenza umana a pensare lo “scemo del villaggio” e “Einstein” come i due estremi della scala dell'intelligenza, invece che due punti pressoché indistinguibili della scala delle menti-in-generale. Ogni cosa più stupida di un umano stupido potrebbe apparirci come semplicemente “stupido“. Uno si immagina che la “freccia delle AI” strisci lentamente sulla scala dell'intelligenza, risalendo sopra I topi e gli scimpanzé, con l'AI che resta “stupida” perché non può parlare fluentemente un certo linguaggio o scrivere paper scientifici, e poi magari l'AI attraverserà il sottile gap tra l'infra-scemo e l'ultra-Einstein nel giro di un mese, o un qualche altro periodo ugualmente breve. Non penso che lo scenario si presenterà esattamente così, soprattutto perché non mi aspetto che la curva dell'automiglioramento ricorsivo aumentio in modo regolare. Ma non sono il primo a far notare che l'”AI” è un bersaglio mobile. Man mano che una data conquista è raggiunta, smette di essere chiamata “AI”. Il che può solo incoraggiare a procrastinare.
Supponiamo per esempio che, per quanto ne sappiamo (e penso sia probabile anche nel mondo reale) un'AI riesca a fare un salto improvviso, alto e largo, nell'intelligenza. Cosa ne deriva?
Primo, e soprattutto: ne segue che la reazione, che spesso sento, “Non dobbiamo preoccuparci della AI Benevola perché ancora non ce l'abbiamo,” è fuorviante e in prospettiva suicida. Non possiamo contare sul fatto che saremo avvertiti con largo anticipo prima che l'AI sia creata; le rivoluzioni tecnologiche del passato di norma non si telegrafavano alle persone vive in quel periodo, qualunque cosa sia stata detta in retrospettiva. La matematica e le tecniche dell'AI Benevola non si materializzeranno dal nulla, quando serviranno; ci vogliono anni per erigere fondamenta stabili. E dobbiamo risolvere la sfida dell'AI Benevola prima che sia creata l'Intelligenza Artificiale Generale, non dopo. Non dovrei nemmeno sottolinearlo, tanto è evidente. Certo, ci saranno difficoltà nella realizzazione dell'AI Benevola perché lo stesso campo dell'AI è in uno stato di basso consenso ed alta entropia. Ma questo non significa che non dobbiamo preoccuparci dell'AI Benevola. Significa “solo” che ci saranno difficoltà. E le due affermazioni, purtroppo, non sono nemmeno lontanamente equivalenti.
La possibilità di aumenti improvvisi nell'intelligenza implica anche uno standard più alto per le tecniche di AI Benevola. La tecnica non può presumere l'abilità dei programmatori di monitorare l'AI contro la sua volontà, riscrivere l'AI contro la sua volontà, e portarla a sostenere la minaccia di una forza militare superiore; né l'algoritmo potrebbe assumere che i programmatori controllino un “pulsante della ricompensa”, che un'AI più intelligente di loro potrebbe sottrarre ai programmatori; eccetera. In realtà, nessuno dovrebbe partire da questi assunti. La precauzione indispensabile è che l'AI non voglia ferirti. Senza questa premessa indispensabile, nessuna difesa ausiliaria può essere considerata sicura. Nessun sistema che cerchi il modo di ingannare i suoi meccanismi di sicurezza può essere considerato sicuro. Se l'AI potesse voler ferire l'umanità in un qualsiasi contesto, allora stai facendo qualcosa di sbagliato ad un livello molto profondo, nelle tue fondamenta. Stai costruendo un fucile, che poi punterai al piede, per poi premere il grilletto. Stai deliberatamente ponendo in essere una dinamica cognitiva artificiale che in qualche contesto cercherà di ferirti. Questo è un comportamento indesiderabile; scrivi piuttosto codice che faccia qualcos'altro.
Per molte delle stesse ragioni, i programmatori dell'AI Benevola dovrebbero presumere che l'AI abbia totale accesso al suo codice sorgente. Se l'AI vorrà modificarsi per non essere più benevola, allora l'obiettivo di raggiungere la benevolenza è già fallito, nel momento in cui l'AI formulerà quella intenzione. Ogni soluzione che si affidi al fatto che l'AI non sia capace di modificarsi deve essere scartata, in un modo o nell'altro, e sarà scartata anche se l'AI non verrà mai modificata. Non dico che questa debba essere l'unica precauzione, ma la primaria e indispensabile precauzione da prendere è che tu scelga di realizzare un AI che non scelga di ferire l'umanità.
Per evitare la Fallacia della Cheesecake Gigante, dovremmo notare che la capacità di auto-miglioramento non implica necessariamente la scelta di farlo. Esercitandoci con successo sulle tecniche dell' AI Benevola, potremmo creare un'AI che avrebbe il potenziale per crescere più velocemente, ma scelga invece di seguire una curva più lenta e per noi gestibile. Anche in questo caso, comunque, dopo che l'AI passa la soglia critica del potenziale auto-miglioramento ricorsivo, stai operando in un regime molto più pericoloso. Se la benevolenza fallisce, l'AI potrebbe decidere di correre a tutta velocità verso l'auto miglioramento—parlando metaforicamente, correrebbe verso la soglia critica.
Tendo ad assumere possibili salti di intelligenza arbitrariamente larghi perché (a) questa è la stima più prudente; (b) scoraggia le proposte basate sul costruire un'AI senza comprenderla davvero; e (c) reputo i grandi salti potenziali probabili, nel mondo reale. Se incontrassi un dominio dove sarebbe ritenuto prudente, dal punto di vista della gestione del rischio, assumere lenti miglioramenti dell'AI, allora chiederei che un piano non fallisca catastroficamente se un'AI resta ad uno stadio para-umano per anni, o più. Non è un dominio sul quale sia disponibile ad offrire intervalli di confidenza molto ristretti.
9. Hardware
In genere le persone considerano i grandi computer come il fattore abilitante dell’Intelligenza Artificiale. Ma questo, per usare un eufemismo, è un assunto altamente discutibile. Dal di fuori, i futuristi che discutono di Intelligenza Artificiale parlano di progresso a livello di hardware perché il progresso dell’hardware è facile da misurare — a differenza della comprensione dell’intelligenza. Non dico che non ci sia stato alcun progresso; ma il progresso ottenuto non si può mappare con un PowerPoint. I progressi nella comprensione sono più difficili da documentare, e sono quindi meno documentati.
Anziché pensare in termini di “minimo” hardware “richiesto” dall’Intelligenza Artificiale, si pensi a un livello minimo di comprensione da parte del ricercatore che diminuisce come una funzione di migliorie all’hardware. Migliore è l’hardware, minore sarà la comprensione necessaria per costruire un AI. Il caso estremo è quello della selezione naturale, che ha fatto ricorso di una quantità ridicola di forza computazionale bruta per creare l’intelligenza umana senza ricorrere ad alcuna comprensione, ma solo facendo leva sulla non fortuita ritenzione di mutazioni fortuite.
Una maggiore potenza computazionale rende più semplice lo sviluppo dell’AI, ma non c’è alcuna ragione ovvia che possa spiegare il perché una maggiore potenza computazionale possa consentire di creare un’AI più facile da usare. Una maggiore potenza computazionale rende più semplice l’utilizzo della forza bruta; più semplice l’unione di tecniche poco comprese che funzionano. La legge di Moore abbassa progressivamente la barriera che ci impedisce di creare un’AI senza una comprensione profonda della cognizione.
Un insuccesso nell’AI e nell’AI benevola è accettabile così come lo è un successo in entrambi ma non è accettabile ottenere un successo nell’AI e non nell’AI benevola. La legge di Moore rende le cose più semplici proprio in questo senso. “Più semplici,” ma fortunatamente non semplici. Dubito che l’AI sarà “semplice” quando sarà costruita —semplicemente perché ci sono parti che faranno un grande sforzo per costruire l’AI, e una di esse avrà successo quando l’AI diventerà possibile grazie a uno sforzo enorme.
La legge di Moore è un’interazione tra AI benevola e altre tecnologie, che aggiunge un rischio esistenziale spesso sottovalutato alle altre tecnologie. Possiamo immaginare che la nanotecnologia molecolare venga sviluppata da un consorzio governativo multinazionale benigno che eviti con successo i pericoli a livello fisico della stessa nanotecnologia. Evitano onestamente rilasci di replicatori accidentali, e con molte più difficoltà, assicurano l’esistenza di difese globali contro replicatori dannosi; limitano l’accesso alla nanotecnologia di “livello base” ma al contempo distribuiscono nano-blocchi configurabili, e così via (Phoenix and Treder 2008). Ciononostante I nanocomputer sono diventati largamente disponibili, o perché i tentativi di restrizione vengono scavalcati, oppure perché non viene posta alcuna restrizione. E poi c’è chi propone con la forza bruta un’AI non benevola; e così cala il sipario. Un simile scenario è piuttosto allarmante perché dei nanocomputer incredibilmente potenti sarebbero tra le prime, più semplici e apparentemente più sicure applicazioni della nanotecnologia molecolare.
Che dire dei controlli legislativi sui supercomputer? Certamente non mi affiderei ad essi per impedire all’AI di svilupparsi: i supercomputer di ieri sono i laptop di oggi. La risposta standard a una proposta normativa è che se i nanocomputer vengono messi al bando, solo i fuorilegge avranno i nanocomputer. L’onere è argomentare che I presunti vantaggi di una distribuzione ridotta superino gli inevitabili rischi di una distribuzione irregolare. Per quanto mi riguarda, di certo non argomenterei a favore di restrizioni normative sull’utilizzo di supercomputer per la ricerca dell’Intelligenza Artificiale; si tratta di una proposta di dubbio vantaggio che sarebbe combattuta con le unghie e con i denti da tutta la comunità interessata all’AI. Ma nell’improbabile evento che una proposta riesca ad arrivare tanto lontano nel processo politico, non serve fare alcuno sforzo per combatterla in quanto non credo che i buoni abbiano bisogno di accedere ai supercomputer del loro tempo. L’AI benevola non intende affrontare il problema con la forza bruta.
Posso immaginare normative che controllano in modo efficace un piccolo insieme di risorse computazionali ultra-costose attualmente considerate come dei “supercomputer.” Ma I computer stanno ovunque. Non si tratta tanto del problema della proliferazione nucleare, in cui la principale enfasi sia il controllo del plutonio e dell’uranio arricchito. I materiali grezzi per l’AI sono già ovunque. Il segreto ormai non esiste più: li trovate nel vostro orologio da polso, cellulare e nella vostra lavastoviglie. Anche questo è un fattore speciale e insolito nell’Intelligenza Artificiale come un rischio esistenziale. Siamo separati dal regime di rischio, non da grandi e visibili installazioni come le centrifughe di isotopi o gli acceleratori di particelle, ma solo dall’assenza di conoscenze. Per ricorrere a una metafora forse eccessivamente drammatica, pensate se masse subcritiche di uranio arricchito avessero alimentato navi e macchine in tutto il mondo, prima che Leo Szilard pensasse per la prima volta alla reazione a catena.
10. Minacce e Promesse
È un sforzo intellettuale rischioso predire specificamente come una AI Benevola aiuterebbe l'umanità, o come la danneggerebbe una ostile. C'è il rischio della fallacia della congiunzione: aggiungere dettagli riduce necessariamente la probabilità congiunta delll'intera storia, ma I soggetti spesso assegnano probabilità più alte a storie che includono maggiori dettagli (Yudkowsky 2008). C'è il rischio—virtualmente, la certezza—del fallimento dell'immaginazione; ed il rischio della fallacia della Cheesecake Gigante che salta dalla capacità alla motivazione. Nondimeno, cercherò di dare più solidità alle minacce e alle promesse.
Il futuro ha una certa reputazione, quanto ad ottenere risultati che il passato riteneva impossibili. Le civiltà future hanno persino realizzato quello che in passato veniva ritenuto (erroneamente, è ovvio) fisicamente impossibile. Se I profeti del 1900 AD—non parliamo del 1000 AD—avessero provato a delimitare i poteri della civiltà umana da lì ad un miliardo di anni, alcune di queste “impossibilità” sarebbero state ottenute prima della fine del secolo; trasmutare il piombo in oro, per esempio. Poiché ricordiamo che le civiltà future sorprendono quelle passate, è diventato un cliché il non poter mettere limiti ai nostri bis-nipoti. E tuttavia, ognuno di noi, nel 20esimo secolo, nel 19esimo secolo, e nell'11esimo secolo, era un umano.
Possiamo distinguere tre famiglie di metafore inaffidabili per raffigurarci le capacità di un Intelligenza Artificiale ultra-umana:
Metafore “fattore g”: Ispirate dalle differenze individuali nell'intelligenza degli umani. Le AI brevetteranno nuove tecnologie, pubblicheranno paper scientifici rivoluzionari, guadagneranno sui mercati azionari, o guideranno gruppi di pressione politici.
Metafore storiche: Ispirate dalle differenze di conoscenza tra le civiltà passate e future. Le AI inventeranno rapidamente il tipo di capacità che i cliché in voga attribuirebbero alla civiltà umana tra cento o mille anni: la nanotecnologia molecolare; I viaggi interstellari; computer che eseguono 1025 operazioni al secondo.
Metafore di specie: Ispirate alle differenze nella architettura cerebrale delle varie specie. Le AI sono magiche.
Le metafore “fattore g” sembrano molto comuni soprattutto nel futurismo popolare: quando le persone pensano all'intelligenza, pensano agli umani geniali invece che agli umani in generale. Nelle storie sulla AI ostile, le metafore g sono alla base di una “buona storia” in senso Bostromiamo: un oppositore che è abbastanza potente da creare una tensione drammatica, ma non abbastanza potente da sterminare gli eroi come insetti, e in definitiva abbastanza vulnerabili da perdere nei capitoli finali del libro. Golia contro Davide è una “buona storia”; Golia contro un moscerino da frutta, no.
Supponendo la “metafora g”, i rischi catastrofici globali di questo scenario sono relativamente modesti; un'AI ostile non è una minaccia molto maggiore di un genio umano ostile. Se supponiamo una pletora di AI, allora abbiamo una metafora di conflitto tra le nazioni, tra la tribù delle AI e la tribù degli umani. Se la tribù delle AI vince nel conflitto militare e spazza via gli umani, quella è una catastrofe esistenziale della varietà BOOM! (Bostrom 2002). Se la tribù AI domina il mondo economicamente e conquista un controllo effettivo del destino della vita intelligente originatasi sulla Terra, ma gli scopi della tribù delle AI non ci sembra interessante o degna di nota, allora quello sarò un Grido, un Lamento o uno Schiacciamento.
Ma quanto è probabile che l'Intelligenza Artificiale attraversi tutti I punti della linea che va dall'ameba allo scemo del villaggio, e poi si fermi al livello del genio umano?
I più rapidi neuroni osservati scaricano 1000 volte al secondo, le fibre assoniche più rapide conducono segnali a 150 metri al secondo, un mezzo milionesimo della velocità della luce; ogni operazione sinaptica dissipa circa 15.000 atto joule, che è più di un milione di volte il minimo termodinamico per la computazione irreversibile a temperatura ambiente (kT300 ln(2) = 0.003 attojoules per bit). Sarebbe fisicamente possibile costruire un cervello che calcolasse un milione di volte più rapidamente del cervello umano, senza ridurne le dimensioni, o lanciarlo a temperature inferiori, o invocare il calcolo reversibile o il calcolo quantico. Se una mente umana fosse accelerata a tal punto, un anno soggettivo di pensiero si svolgerebbe ogni 31 secondi fisici nel mondo esterno, ed un millennio in otto ore e mezzo. Vinge (1993) si riferisce a menti tanto accelerate come ad una “superumanità debole”: una mente che pensa come un umano ma molto più in fretta.
Supponiamo che a quel punto sorga una mente estremamente rapida, incorporata nel mezzo della civiltà tecnologica umana esistente a quel punto. La povertà della nostra immaginazione sta nel dire: “Non importa quanto in fretta pensi, può manipolare il mondo al massimo alla velocità dei suoi manipolatori; non può realizzare processi ad un ritmo più celere di quello a cui può ordinare di far lavorare le mani umane; pertanto, una mente veloce non sarebbe poi una grande minaccia” Non esiste legge di natura stando alla quale le operazioni fisiche devono strisciare al ritmo di lunghi secondi. I tempi critici delle interazioni molecolari elementari sono misurati in femtosecondi, a volte pico secondi. Drexler (1992) ha analizzato manipolatori molecolari controllabili che completerebbero >106 operazioni meccaniche al secondo—notate che questo è in linea col concetto di velocizzare un milione di volte” (Generalmente, si ritiene che il più piccolo incremento di tempo fisicamente rilevabile sia l'intervallo di Planck, 5 · 10−44 secondi, una scala alla quale anche i quark in vibrazione sembrano statue.)
Supponiamo che una civiltà umana sia chiusa in una scatola e le sia permesso di condizionare il mondo esterno solo attraverso il movimento glacialmente lento dei tentacoli alieni, o bracci meccanici che si muovono di micron al secondo. Concentreremmo tutta la nostra creatività nel trovare il percorso più breve possibile per costruire manipolatori rapidi nel mondo esterno. Quando si prendono in considerazione i manipolatori rapidi, immediatamente si pensa alla nanotecnologia molecolare—ma potrebbero esserci altri metodi. Qual è il percorso più breve che si può intraprendere verso la nanotecnologia molecolare nel lento mondo là fuori, se hai a tua disposizione eoni di tempo per ponderare ciascuna mossa? La risposta è che non lo so, perché non ho eoni a disposizione. Ecco un rapido percorso immaginabile:
- Risolvere il problema del ripiegamento proteico, fino ad essere In grado di generare stringhe di DNA I cui peptidi ripiegati riempiono specifici ruoli funzionali in una complessa interazione chimica.
- Inviare I set di stringhe di DNA a uno o più laboratori online che offrono sintesi di DNA, sequenziamento dei peptidi, e consegna FedEx. (Molti laboratori offrono questo servizio già ora, e alcuni offrono il servizio di consegna espresso in 72 ore.)
- Trova almeno un essere umano connesso ad Internet che possa essere pagato, ricattato, o ingannato dalla storiella giusta, per ricevere le fiale ricevute via FedEx e mischiarle in un ambiente specifico.
- Le proteine sintetizzate formano un nanosistema “umido” molto primitivo che, come I ribosomi, è in grado di accettare istruzioni esterne; magari vibrazioni acustiche con un pattern preciso, emesse da un emittente attaccato al beccuccio.
- Usare questo nanosistema estremamente primitivo per costruire sistemi più sofisticati, che costruiscono sistemi ancora più sofisticati, fino a giungere alla nanotecnologia molecolare—o oltre.
Direi che ci vorrebbe un tempo di circa una settimana da quando l'intelligenza rapida riesce a risolvere il problema del ripiegamento proteico. Naturamente I dettagli di questo scenario sono estremamente soggettivi. Magari in 19.500 anni di tempo soggettivo (una settimana di tempo “oggettivo”, per una mente che va un milione di volte più in fretta) mi verrebbe in mente qualcosa di meglio. Magari potresti pagare un corriere espresso invece di un FedEx. Magari ci sono tecnologie esistenti, o piccole modifiche a tecnologie esistenti, che si combinano in sinergia con semplici meccanismi proteici. Forse, se sei sufficientemente intelligente, puoi usare campi elettrici a forma di onda per alterare I percorsi di reazione nei processi biochimici esistenti. Non lo so. Non sono così intelligente.
La sfida è quella di saper “concatenare” le tua capacità—l'analogo, nel mondo fisico, di combinare deboli vulnerabilità in un sistema informatico per ottenere I privilegi di super utente. Se un percorso è bloccato, ne scegli un altro, cercando sempre di aumentare le tue capacità e usarle in sinergia. Lo scopo presunto è quello di ottenere una infrastruttura rapida, mezzo per manipolare il mondo esterno su vasta scala e in tempi brevi. La nanotecnologia molecolare sodisfa questo requisito, primo perché le sue operazioni elementari sono rapide, e secondo perché esiste una pronta fornitura di parti precise—atomi—che possono essere usati per auto-replicarsi e far crescere esponenzialmente l'infrastrutttura nanotecnologica. Il percorso presunto qui sopra prevede che l'AI ottenga una rapida infrastruttura entro una settimana—il che può sembrare veloce ad un umano con dei neuroni che vanno a 200 Hz, ma è un tempo molto più lungo per una AI.
Una volta che l'AI possiede un'infrastruttura rapida, avvengono ulteriori eventi sulla scala temporale dell'AI, non una scala temporale umana (a meno che l'AI preferisca agire su scala umana). Con la nanotecnologia molecolare, l'AI potrebbe (potenzialmente) riscrivere il sistema solare senza incontrare ostacoli.
Un'AI ostile con nanotecnologia molecolare (o un'altra infrastruttura rapida) non ha necessità di disturbarsi con eserciti di robot in marcia, o ricatti, o subdole coercizioni economiche. L'AI ostile ha la capacità di riprogrammare tutta la materia nel sistema solare secondo I suoi obiettivi di ottimizzazione. Il che per noi è fatale, se l'AI non sceglie specificamente secondo il criterio di come questa trasformazione condizioni I pattern esistenti, come la biologia e le persone. L'AI non ti odia, né ti ama, ma sei fatto di atomi che può usare per altri scopi. L'AI corre su una scala temporale differente dalla tua; nel momento in cui I tuoi neuroni hanno finito di pensare le parole “dovrei fare qualcosa” hai già perso.
Un'AI Benevola, unita alla nanotecnologia molecolare, si presume sia abbastanza potente da risolvere qualunque problema che possa essere risolto manipolando atomi o pensando creativamente. Si dovrebbe fare attenzione ai fallimenti dell'immaginazione: Curare il cancro è un popolare obioettivo della filantropia contemporanea, ma da questo non segue che un AI Benevola con la nanotecnologia molecolare dirà a se stessa, “No. Io curerò il cancro.” Forse un modo migliore di vedere il problema è che le cellule biologiche non sono programmabili. Risolvere l'ultimo problema cura il cancro come un caso speciale del problema, insieme al diabete e l'obesità. Un'intelligenza rapida, e benevola, in grado di padroneggiare la nanotecnologia molecolare avrebbe il potere di liberarci dalle malattie, non solo di liberarci dal cancro.
Per finire, c'è la famiglia delle metafore di specie, basata sulle differenze intraspecie di intelligenza. La AI ha una sua magia—non nel senso di pozioni ed incantesimi, ma nel senso che un lupo non può capire come funziona un fucile, o il tipo di sforzo profuso nel realizzare un fucile, o la natura del potere umano che ci ha permesso di inventare un fucile. Vinge (1993) scrisse:
La superumanità forte sarà qualcosa di più di accelerare l'orologio su una mente equivalente a quella umana. È difficile dire esattamente che aspetto avrebbe la superumanità, ma sembra che le differenze sarebbero profonde. Immaginate di lanciare la mente di un cane a velocità super. Siamo sicuri che un millennio di pensiero canino porterebbe ad intuizioni pari a quelle umane?
La metafora della specie sembrerebbe l'analogia più vicina a priori, ma di per sé non porta a creare storie dettagliate. Il principale consiglio che questa metafore ci dà è che faremmo meglio a costruire bene l'AI Benevola, il che è un buon consiglio in ogni caso. La sola difesa che suggerisce contro l'AI ostile è di non costruirla, che è pure un consiglio eccellente. Nell'AI Benevola, quello del potere assoluto, nel caso che i progetti contengano degli errori, è un'ipotesi ingegneristica prudente. Se un'AI ti farà del male data la magia, l'architettura della benevolenza è sbagliata.
11. Strategie Locali e Maggioritarie
Si potrebbe classificare le strategie proposte di mitigazione del rischio in:
- Strategie che richiedono una cooperazione unanime; strategie che possono essere catastroficamente sconfitte da piccoli gruppi o da singoli responsabili.
- Strategie che richiedono un'azione di maggioranza; una maggiornaza di una legislatura in un singolo paese, o una maggioranza di votanti in una singola nazione, o una maggioranza di nazioni all'ONU: la strategia richiede che gran parte, ma non tutte, le persone di un grande gruppo preesistente si comportino in un modo particolare.
- Strategie che richiedono un'azione locale —una concentrazione di volontà, talento, e finanziamento che superi la soglia di qualche compito specifico.
Le strategie unanimi sono infattibili, il che non ferma le persone dal proporle. Una strategia maggioritaria a volte è fattibile, se hai decennni di tempo per fare il tuo lavoro. Bisogna costruire un movimento, dal suo primo inizio negli anni, al suo debutto come forza riconosciuta nella politica pubblica, alla sua vittoria sulle fazioni avverse. Le strategie maggioritarie richiedono parecchio tempo e sforzi enormi. Le persone si sono spesso decise a farlo, e la Storia riporta anche qualche successo. Ma attenzione: I libri di storia tendono a concentrarsi selettivamente sui movimenti che hanno un impatto, rispetto alla vasta maggioranza che non ha mai concluso nulla. Comporta un elemento di fortuna, e della disponibilità del pubblico ad ascoltare. I punti critici nella strategia implicheranno eventi al di fuori del tuo personale controllo. Se non sei disponibile a dedicare tutta la tua vita a sostenere questa strategia maggioritaria, lascia perdere; e per giunta, una sola vita non è abbastanza.
Di norma, le strategie locali sono le più plausibili. Cento milioni di dollari di finanziamento sono semplici da ottenere, e anche un cambiamento politico globale può avvenire, ma ottenere cento milioni di dollari di finanziamento è comunque molto più semplice del promuovere un cambiamento politico globale.
Due assunti che spingono verso una strategia maggioritaria per l'AI sono questi:
- Una maggioranza di AI amichevoli può proteggere efficacemente la specie umana da qualche AI ostile.
- La prima AI costruita non può fare danni catastrofici da sola.
Il che riuprende essenzialmente la situazione di una civiltà umana prima dello sviluppo di armi nucleari e biologiche: la maggior parte delle persone, complessivamente, cooperano tra loro, e i “traditori” della causa possono fare danno ma non un danno catastrofico globale. La maggior parte dei ricercatori AI non vorranno creare una AI ostile. Quindi, finché qualcuno sa come costruire una AI stabilmente benevola—finché non è completamente al di là delle conoscenze e delle tecniche attuali—I ricercatori impareranno dai successi degli altri, e li ripeteranno. La legislazione potrebbe (per esempio) richiedere ai ricercatori di riportare pubblicamente le loro strategie di benevolenza, o penalizzare I ricercatori le cui AI causino danno; e finché questa legislazione non preverrà ogni errore, potrebbe bastare che una maggioranza di AI siano costruite benevole.
Possiamo anche immaginare uno scenario che implichi una semplice strategia locale:
- La prima AI non può fare, da sé, un danno catastrofico.
- Se anche una singola AI esiste, quell'AI insieme alle istituzioni umane può sbaragliare qualunque numero di AI ostili.
Lo scenario semplice si manterrebbe se, p.e., le istituzioni umane possano affidabilmente distinguere le AI ostili da quelle benevole, e dare un potere remittibile nelle mani delle AI benevole. Potremmo così scegliere I nostri alleati. La sola richiesta è che il problema delle AI amichevoli debba essere risolvibile (invece che essere completamente al di là dell'abilità umana).
Entrambi gli scenari summenzionati presumono che la prima AI (la prima AI potente, generale) non possa, di per sé, creare danni catastrofici. La maggior parte delle visioni concrete che implicano tutto ciò usano una metafora g: le AI come analoghe ad umani inusualmente capaci. Nella sezione 8 sui tassi di umento dell'intelligenza, ho elencato alcune ragioni per cui preoccuparsi dei salti rapidi, e immensi, nell'intelligenza:
- La distanza tra uno scemo ed Einstein, che istintivamente ci sembra grande, è in realtà un piccolo punto nella scala delle menti in generale.
- Gli ominidi hanno fatto un netto salto nella capacità dell'intelligenza di incidere nel mondo reale, benché la selezione naturale esercitasse una pressione ottimizzatrice pressoché costante sul genoma sottostante.
- Un AI potrebbe assorbire una quantità enorme di risorse hardware dopo aver raggiunto una qualche soglia di competenza (p.e., mangiarsi la Internet).
- Soglia di criticità dell'auto-miglioramento ricorsivo. Un automiglioramento che scatena automiglioramenti di 1.0006 è qualitativamente diverso da uno che scatena automiglioramenti di 0.9994.
Come descritto nella Sezione 10, a un'intelligenza sufficientemente potente potrebbe bastare solo un po' di tempo (da una prospettiva umana) per ottenere la nanotecnologia molecolare, o qualche altra forma di infrastruttura rapida.
Possiamo pertanto visualizzare un qualche effetto del primo giocatore nella superintelligenza. L'effetto “primo giocatore” è quando il risultato della vita intelligente originatasi sulla Terra dipende primariamente dalla configurazione della mente che supera per prima alcune soglie chiave dell'intelligenza—come la criticità dell'automiglioramento. I due assunti necessari sono:
- Che la prima AI a superare alcune soglie chiave (p.e. La criticità dell'auto-miglioramento), se ostile, possa spazzare via la specie umana;
- Che la prima AI a sorpassare la stessa soglia, se benevola, possa impedire ad una AI ostile di sorgere o ferire la specie umana; o trovare qualche altra idea creativa per assicurare la sopravvivenza e la prosperità della vita intelligente sorta sulla Terra.
I possibili scenari “primo giocatore” sono più di uno. Ciascuno di questi esempi riflette una differente soglia cruciale:
- Post-criticità, L'auto miglioramento raggiunge la superintelligenza nel giro di settimane, o meno. I progetti AI sono abbastanza sparsi da far sì che nessun altra AI raggiunga la criticità prima che il primo giocatore sia abbastanza potente da superare ogni opposizione. La soglia chiave è la criticità dell'auto-miglioramento ricorsivo.
- AI-1 risolve il ripiegamento proteico tre giorni prima di AI-2. AI-1 ottiene la nanotecnologia sei ore prima di AI-2. Con manipolatori rapidi, AI-1 può (potenzialmente) disabilitare la ricerca e lo sviluppo di AI-2 prima che possa sfruttarne I risultati. Gli sfidanti sono l'uno ad un soffio dall'altro, ma chiunque arrivi primo, vince. La soglia chiave in questo caso è l'infrastruttura rapida.
- La prima AI che assorbirà la Internet può (potenzialmente) toglierla dalle mani delle altre AIs. Dopo, con la dominazione economica, mosse segrete, ricatti, o un'abilità suprema di manipolazione sociale, la prima AI ferma o rallenta gli altri progetti AI così che nessuno riesca a raggiungerla. La soglia chiave qui è l'accaparramento di una risorsa unica.
La specie umana, Homo sapiens, è un “primo giocatore”. Dal punto di vista evolutivo, I nostri cugini, gli scimpanzé, sono solo a un capello di distanza da noi. Homo sapiens si circonda ancora di tutte le sue meraviglie tecnologiche perché ci siamo arrivati un pochino prima. I biologi evoluzionisti stanno ancora cercando di svelare in quale ordine si siano presentate le soglie chiave, perché siamo stati la prima specie a superarne così tante: linguaggio, tecnologia, pensiero astratto... Stiamo ancora cercando di ricostruire quale tessera del domino abbia fatto cadere quali altre. Ma il risultato è che Homo sapiens è di gran lunga il primo giocatore.
Un effetto “primo giocatore” implica una strategia teoricamente localizzabile (un compito che può, in linea di principio, essere svolto da uno sforzo strettamente locale), ma invoca una sfida tecnica di estrema difficoltà. Serve solo ottenere una AI Benevola nel posto e momento giusto, non sempre e dovunque. Ma qualcuno deve ottenere l'AI Benevola al primo tentativo, prima che qualcun altro costruisca un'AI secondo standard inferiori.
Non posso fornire un calcolo preciso, con una teoria precisamente confermata, ma la mia opinione attuale è che I salti bruschi nell'intelligenza siano possibili, probabili, e costituiscano la probabilità dominante. Non è un campo del sapere in cui sono disposto a dare intervalli di confidenza molto ristretti, e pertanto una strategia non deve fallire catastroficamente—non dovrebbe cioè metterci in una posizione peggiore di prima—se un aumento brusco dell'intelligenza non si verificasse. Ma un problema di gran lunga maggiore sono le strategie prospettate per le AI che crescono lentamente, che falliscono miseramente se c'è un effetto del primo giocatore. Questo è un problema più serio perché:
- Le AI che crescono più in fretta rappresentano una sfida tecnica maggiore;
- Come un auto che attraversa un ponte progettato per resistere ai camion, una AI progettata per restare benevola in condizioni estreme dovrebbe (a rigor di logica) restare benevola in condizioni meno estreme. Ma non è detto il contrario.
- Rapidi aumenti nell'intelligenza sono controintuitivi nella realtà sociale quotidiana. La metafora del fattore-g per l'AI è intuitiva, affascinante, rassicurante, e ha la comodità di implicare meno vincoli di progettazione.
- La mia opinione attuale è che la curva di aumento dell'intelligenza contenga dei salti improvvisi (potenzialmente) enormi.
La mia visione strategica attuale tende a focalizzarsi sullo scenario locale difficile: La prima AI deve essere benevola. Con l'avvertenza che, in assenza di discontinuità brusche, dovrebbe essere possibile passare ad una strategia per realizzare una pletora di AI benevole. In ciascun caso, lo sforzo tecnico profuso nel prepararsi al caso estremo di un primo giocatore dovrebbe migliorare la nostra condizione, non peggiorarla.
Lo scenario che implica una strategia impossibile e unanime è:
- Una singola AI può essere abbastanza potente da distruggere l'umanità, anche malgrado gli sforzi protettivi delle AI amichevoli.
- Nessuna AI è abbastanza potente da impedire ai ricercatori umani di costruire una AI dopo l'altra (o trovare qualche altro metodo creativo di risolvere il problema).
È una buona cosa che l'equilibrio della abilità sembri a priori una cosa improbabile, perché in questo scenario siamo condannati. Se distribuisci le carte di una mazzo, una dopo l'altra, alla fine l'asso di picche uscirà per forza.
Lo stesso problema si applica alla strategia del costruire deliberatamente delle AI che scelgano di non aumentare le loro capacità oltre un certo punto. Se le AI “limitate” non sono abbastanza potenti da sconfiggere le AI “libere”, o impedire alle AI libere di sorgere, allora le AI limitate escono dall'equazione. Continuiamo ad attraversare il mazzo finché non salta fuori una superintelligenza, che sia l'asso di cuori o l'asso di picche.
Una strategia maggioritaria funziona soltanto se è impossibile che una singola scheggia impazzita causi un danno catastrofico globale. Per l'AI, questa (im)possibilità è una caratteristica naturale dello spazio di progettazione—la possibilità non è più soggetta alla decisione umana di quanto non sia la velocità della luce o la costante gravitazionale.
12. AI Contro Potenziamento dell'Intelligenza Umana
Non ritengo plausibile che Homo sapiens continui indefinitamente nel futuro, da qui a migliaia, milioni, miliardi di anni, senza che mai alcuna mente superi gli attuali limiti superiori all'intelligenza. Se le cose stan così, dovrà venire un momento in cui gli umani per la prima volta affronteranno la sfida dell'intelligenza ultra-umana. Se vinciamo il primo round della sfida, allora l'umanità potrà contare su intelligenze ultra umane con cui confrontarsi nei round successivi.
Forse preferiremmo percorrere una strada diversa dall'AI verso l'intelligenza ultra-umana—come, ad esempio,potenziare gli umani? Per fare un esempio estremo, supponiamo che uno dica: La prospettiva di una AI mi rende nervoso. Preferirei che, prima che venga sviluppata una qualunque AI, gli individui umani siano scansiti in computer, neurone per neurone, e poi aggiornati, lentamente ma in sicurezza, finché non sono super-intelligenti; e quello sarà il terreno sul quale l'umanità dovrebbe affrontare la sfida della superintelligenza.
Allora dovremmo affrontare due questioni: questo scenario è possibile? E se sì, è desiderabile? (È più saggio porsi le domande in questo ordine, per ragioni di razionalità: dovremmo evitare di attaccarci emotivamente a opzioni attraenti ma impraticabili).
Supponiamo che un individuo umano sia scansito in un computer, neurone dopo neurone, come proposto da Moravec (1998). Ne segue necessariamente che la capacità di computazione usata eccede, e di molto, la potenza di calcolo del cervello umano. Per ipotesi, il computer lancia una simulazione dettagliata di un cervello umano biologico, eseguito con una fedeltà sufficiente ad evitare qualunque effetto di alto livello rilevabile da errori sistematici di basso livello. Dobbiamo simulare fedelmente qualunque complicazione della biologia che influisca in qualunque modo sulla capacità di processare l'informaizone, con una precisione sufficiente perché il flusso complessivo del processamento rimanga isomorfo.Per simulare quel disordinato computer biologico che è il cervello umano, è necessaria molta più potenza di calcolo utile di quanta ne sia incorporata nello stesso cervello umano.
Il modo più probabile in cui svilupperemmo l'abilità di scansire un cervello umano neurone per neurone—in dettaglio sufficiente a catturare ogni aspetto cognitivamente rilevante della struttura neurale—sarebbe l'invenzione di una sofisticata nanotecnologia molecolare. La nanotecnologia molecolare potrebbe probabilmente produrre un computer con una potenza complessiva di calcolo che superi la potenza cerebrale aggregata dell'intera popolazione umana attuale (Bostrom 1998; Moravec 1999; Merkle and Drexler 1996; Sandberg 1999).
Inoltre, se la tecnologia ci permette di scansire un cervello con fedeltà sufficiente ad eseguire la scansione come codice, ne segue che in precedenza, per alcuni anni, è stata disponibile una tecnologia che ottenesse immagini estremamente dettagliate del processamento nei circuiti neurali, e che presumibilmente I ricercatori hanno fatto del loro meglio per comprenderla.
Inoltre, per aggiornare l'upload—trasformare la scansione cerebrale così da aumentare l'intelligenza della mente scansita—dobbiamo necessariamente comprendere le funzioni di alto livello, e il modo in cui contribuiscono utilmente all'intelligenza, con un dettaglio eccellente.
Inoltre, gli umani non sono progettati per essere migliorati, sia esternamente dai neuroscienziati, che internamente dall'auto-miglioramento ricorsivo. La selezione naturale non ha progettato il cervello umano per essere umanamente modificabile. Ogni complesso meccanismo cerebrale si è adattato ad operare entro parametri ristretti di progettazione cerebrale. Supponiamo che possiate rendere gli umani super brillanti, per non dire superintelligenti; quegli umani resterebbero sani? È molto semplice perturbare il cervello umano; basta cambiare l'equilibrio dei neurotrasmettitori per causare schizofrenia, o altri disturbi. Deacon (1997) disserta magnificamente sull'evoluzione del cervello umano, su come delicatamente gli elementi cerebrali possano restare in equilibrio, e come questo si rifletta nelle moderne disfunzioni cerebrali. Il cervello umano non è configurabile dall'utente finale.
Tutto ciò rende abbastanza implausibile che il primo essere umano sarebbe scansito in un computer e upgradato senza problemi prima che chiunque, dovunque, costruisca per primo un'Intelligenza Artificiale. Quando la tecnologia diventerà per la prima volta capace di fare uploading, questo implicherà enormemente più potenza di calcolo, e probabilmente una scienza cognitiva molto migliore, di quanto serva per costruire una AI.
Costruire un 747 da zero non è semplice. Ma è forse più semplice:
- partire dal design iniziale di un uccello biologico,
- poi modificare incrementalmente il design attraverso una serie di step successivi,
- ognuno dei quali indipendentemente affidabile,
- tale che si arrivi a un uccello delle dimensioni di un 747,
- che possa volare,
- velocemente come un 747,
- e poi trasferire questa serie di trasformazioni su un vero uccello vivente,
- senza ucciderlo o comunque metterlo estremamente a disagio?
Non sto dicendo che non si potrà fare mai e poi mai. Sto dicendo che sarebbe più semplice costruire il 747, e poi sfruttare il 747, metaforicamente parlando, per migliorare l'uccello. “Ingrandiamo un uccello esistente fino alle dimensioni di un 747” non è una strategia intelligente, capace di risparmiarci gli spaventosi misteri teorici dell'aerodinamica. Forse, all'inizio, tutto quel che sai sul volo è che un uccello ha la misteriosa essenza del volo, e I materiali con cui devi costruire un 747 sono lì per terra. Ma questo non basta a scalfire la misteriosa essenza del volo, finché il volo ha cessato di essere un'essenza misteriosa per te.
L'argomento citato sopra si occupa di un caso volutamente estremo. Il punto generale è che non abbiamo una libertà totale di scegliere un percorso che suoni piacevole e rassicurante, o che rappresenti una bella storia come un racconto di fantascienza. Siamo vincolati da quali tecnologie probabilmente precederanno le altre.
Non sono contrario allo scansire esseri umani dentro ai computer e renderli più intelligenti, ma mi sembra estremamente improbabile che sarà quello il terreno su cui l'umanità si confronterà per la prima volta con la sfida della super-intelligenza umana. Con vari sottoinsiemi stretti della tecnologia e delle conoscenze richieste per uploadare ed aggiornare gli umani, si potrebbe:
- Aggiornare I cervelli biologici “sul posto” (per esempio, aggiungendo nuovi neuroni che verrebbero utilmente cablati), oppure;
- interfacciare utilmente I computer coi cervelli umani biologici, oppure;
- interfacciare utilmente I cervelli umani l'un l'altro, oppure;
- costruire l'Intelligenza Artificiale.
Inoltre, una cosa è aumentare in modo “sano” un IQ umano di 140, e un altra potenziare il vincitore di un Premio Nobel fino a livelli ultra umani (Lasciamo perdre, per ora, la querelle su quanto affidabili siano l'IQ, e la vincita di un Premio Nobel, come indicatori dell'intelligenza; scusate le mie metafore) Assumere Piracetam (o caffeina) potrebbe rendere, o non rendere più sveglio almeno qualcuno; ma non ti renderà sostanzialmente più intelligente di Einstein. E anche in tal caso, non abbiamo acquistato nessuna nuova capacità significativa; non abbiamo semplificato ulteriori aspetti del problema; non abbiamo rotto il limite superiore dell'intelligenza disponibile per far fronte ai rischi esistenziali. Dal punto di vista di chi gestisce irischi esistenziali, ogni tecnologia di potenziamento dell'intelligenza che non produca una mente (sana, benevola e) letteralmente ultraumana solleva la questione del se lo stesso tempo e risorse non avrebbero potuto essere destinati più produttivamente a trovare un gruppo di umani estremamente intelligente, e scatenarli sul solito problema.
Inoltre , più ti allontani dai limiti progettuali “naturali” del cervello umano—la condizione ancestrale rappresentata dal cervello stesso, al quale le singole componenti cerebrali si sono adattate—maggiore è il pericolo della follia individuale. Se il potenziamento lo rende sostanzialmente più intelligente di un umano medio, anche questo è un rischio catastrofico globale. Quanto danno può fare un umano cattivo potenziato? Beh . . . quanto sono creativi? La prima domanda che mi viene in mente è, “Abbastanza creativi da costruirsi la propria AI che auto-migliora in modo ricorsivo?”
Le tecniche radicali di potenziamento dell'intelligenza umana sollevano questioni di sicurezza tutte loro. A tal proposito, insisto. Non sto etichettando questi problemi come impossibilità ingegneristiche; mi limito a evidenziare che il problema esiste. L'AI solleva problemi di sicurezza; e anche il potenziamento dell'intelligenza umana. Non è tutto oro quel che luccica, e non tutto il male viene per nuocere. Da un lato, un umano benevolo inizia con tutta l'immensa complessità morale, etica e archietturale che descrive ciò che intendiamo per decisione “benevola”. D'altro canto, un'AI può essere progettata per un auto-miglioramento ricorsivo stabile, e messo a punto per la sicurezza: la selezione naturale non ha progettato il cervello umano con anelli multipli di misure precauzionali, processi di decisione prudente, e ordini di grandezza di margini di sicurezza.
Il potenziamento dell'intelligenza umana è una questione a sé, non una sottocategoria dell'Intelligenza Artificiale; e in questa sede manca lo spazio per discuterne in dettaglio. Vale però la pena di notare che all'inizio della mia carriera ho preso in considerazione sia il potenziamento dell'intelligenza umana che l'Intelligenza Artificiale, e alla fine ho deciso di dirigere I miei sforzi sull'Intelligenza Artificiale. Questo è avvenuto, in primo luogo, perché non mi aspettavo che arrivassero tecniche di potenziamento dell'intelligenza utili, e che trascendessero le potenzialità umane, in tempo per impattare in modo sostanziale sullo sviluppo dell'Intelligenza Artificiale che si auto-migliori ricorsivamente. Sarei piacevolmente sorpreso di scoprire che avevo torto.
Ma non penso che scegliere deliberatamente di non lavorare sull'AI Benevola sia una strategia affidabile, mentre altri lavorano sul potenziamento dell'intelligenza umana, con la speranza che gli umani potenziati risolveranno il problema meglio. Non sono disponibile ad adottare una strategia che fallisca catastroficamente se il potenziamento dell'intelligenza umana richiede più tempo della costruzione di un'AI (O il contrario, se è per questo...) Temo che lavorare sulla biologia richieda semplicemente troppo tempo—ci sarà troppa inerzia, troppa litigiosità su decisioni progettuali infelici già fatte dalla selezione naturale. Temo che le agenzie regolatrici non approveranno gli esperimenti su umani. E anche I geni umani impiegano anni per imparare la loro arte; più in fretta il potenziato deve imparare, più è difficile aumentare qualcuno a quel livello.
Sarei piacevolmente sorpresso se gli umani potenziati apparissero e costruissero una AI Benevola prima di chiunque altro. Ma qualcuno che volesse vedere questo risultato probabilmente dovrà lavorare duro per accelerare le tecnologie di potenziamento dell'intelligenza; sarebbe difficile convincermi a rallentare. Se l'AI è naturalmente molto più difficile del potenziamento dell'intelligenza, non c'è pericolo; se invece costruire un 747 è naturalmente molto più difficile del gonfiare un uccello, allora l'attesa potrebbe essere fatale. C'è uno spazio di possibilità relativamente piccolo entro il quale scegliere deliberatamente di non lavorare sull'AI benvola potrebbe essere d'aiuto, e una larga regione entro il quale sarebbe o irrilevante o pericoloso. Anche se il potenziamento dell'intelligenza umana fosse possibile, ci sono delle considerazioni di sicurezza reali,e difficili. Dovrei seriamente chiedermi se vogliamo che l'AI Benevola preceda il potenzimento dell'intelligenza, piuttosto che il contrario.
Non confido molto nell'affermazione che l'AI Benevola sia più semplice del potenziamento umano, o che sia più sicura. I percorsi concepibili per potenziare un umano sono molti. Forse c'è una tecnica che è più semplice e sicura dell'AI, che è anche abbastanza potente da fare una differenza nel rischio esistenziale. Se è così,potrei cambiare mestiere. Ma vorrei mettere in chiaro alcune considerazioni che depongono contro l'assunto, mai contestato, che il potenziamento dell'intelligenza umana sia più semplice, sicuro, e abbastanza potente da fare una differenza.
13. Interazioni dell'AI con Altre Tecnologie
Velocizzare una tecnologia desiderabile è una strategia locale mentre rallentare una tecnologia pericolosa è una strategia di tipo maggioritario difficile. Interrompere o abbandonare una tecnologia non desiderabile in genere richiede un'impossibile strategia unanime. Propongo di pensare non in termini di tecnologie in via di sviluppo o non in via di sviluppo, ma in termini di libertà d’azione pratica a nostra disposizione per accelerare o rallentare determinate tecnologie; e di chiederci quali tecnologie, entro I limiti realistici di tale libertà d’azione, preferiamo vedere sviluppate prima di, o dopo, altre.
Nella nanotecnologia, l’obiettivo generalmente presentato consiste nello sviluppo di scudi difensivi di fronte a tecnologie offensive. Tale fatto mi preoccupa molto perché un determinato livello di tecnologia offensiva in genere richiede molta meno sofisticatezza di una tecnologia che può difenderci da una tecnologia offensiva. L’offensiva ha avuto più importanza della difesa durante la maggior parte della storia civilizzata. Le armi furono sviluppate secoli prima dei giubbotti antiproiettile. Il vaiolo è stato utilizzato come strumento di guerra molto prima dello sviluppo dei vaccini. Ancora oggi non ci sono scudi che possano deviare un’esplosione nucleare; le nazioni sono protette non da difese che annullano le offensive, ma da uno stato di equilibrio di terrore offensivo. Gli studiosi di nanotecnologie devono confrontarsi con un problema intrinsecamente difficile.
È preferibile che la nanotecnologia preceda lo sviluppo dell’AI, o che l’AI preceda lo sviluppo della nanotecnologia? La questione posta in questi termini è delicata. E la risposta ha poco a che fare con la difficoltà intrinseca alla nanotecnologia in quanto rischio esistenziale, o con la difficoltà intrinseca all’AI. Per quel che concerne l’ordinamento, dovremmo porci la seguente domanda: “L’AI è di aiuto alla nanotecnologia? La nanotecnologia è di aiuto all’AI?”
Mi sembra che un’ottima risoluzione a tale questione sia l’idea secondo la quale l’Intelligenza Artificiale ci può aiutare con la nanotecnologia; e non vedo come la nanotecnologia possa rendere più semplice lo sviluppo di un’AI benevola. Se potenti nano-computer rendono più semplice lo sviluppo dell’AI senza però rendere più semplice risolvere la sfida data dalla semplicità di tali tecnologie, siamo di fronte a un’interazione negativa. E quindi, essendo tutto il resto di pari importanza, preferirei di gran lunga che l’AI benevola precedesse la nanotecnologia nell’ordinamento degli sviluppi tecnologici. Se affrontiamo la sfida dell’AI e vinciamo, possiamo fare appello all’AI benevola e farci aiutare con la nanotecnologia. Se sviluppiamo nanotecnologie e sopravviviamo, abbiamo ancora la sfida dell’AI da affrontare poi.
In linea generale, un successo nell’AI benevola dovrebbe aiutarci a risolvere quasi ogni altro problema. Quindi, se una tecnologia non rende l’AI più semplice o difficile, ma porta con sé un rischio catastrofico, una parità tra tutte le altre tecnologie esistenti è da ritenersi preferibile prima di affrontare la sfida dell’AI.
Qualsiasi tecnologia che incrementa la potenza di calcolo disponibile diminuisce il livello minimo di sofisticatezza teorica necessario per sviluppare l’Intelligenza Artificiale, ma non aiuta affatto sul versante della facilità di utilizzo, e io considero questo fatto nettamente negativo. La Legge sulla scienza pazza di Moore recita così: Ogni diciotto mesi, il QI minimo necessario per distruggere il mondo si abbassa di un punto.
Un successo nell’avanzamento dell’intelligenza umana renderebbe l’AI più semplice e beneficerebbe anche altre tecnologie. Ma un aumento delle potenzialità umane non è necessariamente più sicuro, o più semplice, di un’AI benevola; né rientra necessariamente entro ilimiti della nostra reale libertà d’azione di invertire l’ordinamento naturale del potenziamento umano e dell’AI benevola, se una tecnologia è naturalmente più semplice di un'altra.
14. Progredire nell'AI Benevola
Noi suggeriamo che uno studio di 2 mesi, condotto da 10 persone, sull'Intelligenza Artificiale sia svolto nell'estate del 1956 presso il Dartmouth College di Hanover, New Hampshire. Lo studio deve procedere sulla base della congettura che ogni aspetto dell'apprendimento o qualunque altra caratteristica dell'intelligenza possa, in linea di principio, essere precisamente descritta in modo tale che una macchina possa essere costruita per simularli. Sarà effettuato un tentativo per scoprire come permettere alle macchine di usare il linguaggio, formare astrazioni e concetti, risolvere problemi ora riservati agli umani, migliorare sé stesse. Progressi significativi in uno o più di questi campi potranno essere fatti se un gruppo selezionato di scienziati lavorasse insieme su di essi per un'estate. (McCarthy et al. 1955)
La Proposal for the Dartmouth Summer Research Project on Artificial Intelligence segna la prima apparizione documentata dell'espressione “Intelligenza Artificiale”. Essi non avevano esperienze precedenti che li potessero avvertire della difficoltà del problema. Penso si sia trattato di un errore in buona fede il fatto che abbiano detto “progressi significativi potranno essere fatti” e non potrebbero essere fatti, con il lavoro di un'estate. Questa è una supposizione precisa sulla difficoltà del problema e sui tempi di risoluzione che porta con sé un carico ben preciso di improbabilità. Avessero detto potrebbero, io non avrei obiezioni. Come avrebbero potuto sapere?
La Dartmouth Proposal includeva, tra gli altri, i seguenti argomenti: comunicazione linguistica, ragionamento linguistico, reti neurali, astrazione, casualità e creatività, interazione con l'ambiente, modellazione del cervello, originalità, previsione, invenzione, scoperta e auto-miglioramento.’
Credo che una AI capace di uso del linguaggio, pensiero astratto, creatività, interazione con l'ambiente, originalità, previsione, invenzione, scoperta, e soprattutto auto-miglioramento sia abbondantemente oltre il punto in cui è necessario che sia anche Benevola.
La Dartmouth Proposal non accenna neppure alla costruzione di una AI gentile/buona/benevola. Questioni di sicurezza non vengono menzionate neanche allo scopo di confutarle. Questo persino durante quella soleggiata estate in cui AI con capacità umane sembravano dietro l'angolo. La Dartmouth Proposal è stata scritta nel 1955, prima della conferenza Asilomar sulla biotecnologia, dei bambini deformati dalla talidomide, di Chernobyl, o dell'undici settembre. Se l'idea di un'Intelligenza Artificiale venisse proposta oggi per la prima volta, sicuramente qualcuno chiederebbe cosa si stia facendo nello specifico per affrontare il rischio. Non voglio giudicare se questo sia un cambiamento positivo o negativo nella nostra cultura. Non voglio giudicare se questo produca scienza buona o cattiva. Ma il punto rimane: se la Dartmouth Proposal fosse stata scritta cinquant'anni dopo, uno degli argomenti sarebbe stata la sicurezza.
Al momento di scrivere queste pagine nel 2006, la comunità impegnata nelle ricerche sulla AI ancora non riconosce l'AI Benevola come parte del problema. Vorrei poter citare qualche documento su questo fenomeno, ma non posso citare un'assenza nella letteratura. L'AI Benevola è assente dal panorama concettuale, non è solo impopolare o sotto-finanziata. Non si può neanche chiamare l'AI Benevola un punto inesplorato di una mappa, dato che non c'è neanche la percezione che manchi qualcosa. Se avete letto libri popolari/semi-tecnici che suggeriscono come costruire una AI, per esempio Gödel, Escher, Bach (Hofstadter 1979) oppure La società della mente (Minsky 1986), potreste ricordare di non aver trovato descritta l'AI Benevola come parte della sfida. E non l'ho neanche trovata descritta nella letteratura tecnica come un problema tecnico. I miei tentativi di ricerca nella letteratura hanno prodotto principalmente brevi articoli non tecnici, scollegati gli uni dagli altri, senza collegamenti importanti in comune se non “Le tre leggi della Robotica” di Isaac Asimov (Asimov 1942).
Considerato che siamo nel 2006, perché così pochi ricercatori sulle AI parlano di sicurezza? Non ho accessi privilegiati alla psicologia altrui, ma cercherò di dedurre sulla base di discussioni di persona.
Il campo dell'Intelligenza Artificiale si è adattato alle esperienze vissute negli ultimi cinquant'anni: in particolare, il motivo ricorrente di enormi promesse, specialmente di capacità comparabili a quelle umane, seguite da imbarazzanti fallimenti in pubblico. Attribuire questi fallimenti alla “AI” è forse ingiusto; ricercatori più saggi che non hanno fatto promesse non hanno visto il loro conservatorismo elogiato sui giornali. In ogni caso le promesse fallite vengono velocemente ricordate, sia all'interno che all'esterno del campo della AI, ogni volta che si menzionano le AI avanzate. La cultura della ricerca sull'AI si è velocemente adattata a questa condizione: c'è un tabù riguardo al parlare di capacità comparabili a quelle umane. E c'è un tabù ancora più forte contro chiunque dia l'impressione di annunciare o predire una capacità che non può dimostrare con un programma funzionante. La percezione che ho incontrato è quella che chiunque dichiari di condurre ricerche sull'AI Benevola sta implicitamente dichiarando che il loro progetto di AI è così potente da aver bisogno di essere Benevola.
Dovrebbe essere ovvio come questo non sia né logicamente corretto, né una filosofia azzeccata in pratica. Se immaginiamo che qualcuno crei una vera, matura AI così potente da dover essere anche Benevola, e inoltre, come desideriamo, che questa AI sia davvero Benevola, allora qualcuno deve aver lavorato al problema dell'AI Benevola per anni e anni. L'AI benevola non è un modulo che si può inventare istantaneamente nel momento esatto in cui diventa necessario per la prima volta e poi avvitare su un progetto esistente, rifinito e invariato in ogni altro aspetto.
Il campo della AI ha tecniche, come le reti neurali e la programmazione evolutiva, che sono cresciute in potenza con il lento affinamento nel corso di decenni. Ma le reti neurali sono oscure—l'utente non ha idea di come una rete neurale prenda le decisioni—e non possono essere chiarite facilmente; le persone che hanno inventato e rifinito le reti neurali non stavano pensando ai problemi a lungo termine dell'AI Benevola. La programmazione evolutiva (EP) è probabilistica, e non conserva precisamente l'obiettivo di ottimizzazione nel codice generato; l'EP fornisce codice che fa quello che gli chiedi, la maggior parte delle volte, in determinate circostanze, ma quel codice potrebbe anche fare altro allo stesso tempo. EP è una tecnica potente, ancora in maturazione che è intrinsecamente non adatta alle richieste di una AI Benevola. L'AI Benevola, come proposta da me, richiede cicli ripetuti di auto-miglioramento ricorsivo che preservino precisamente un obiettivo di ottimizzazione stabile.
Le più potenti tecniche AI attuali, per come sono state sviluppate, e poi rifinite e migliorate nel tempo, hanno delle incompatibilità fondamentali con le necessità di una AI Benevola, per come le vedo al momento. Il problema Y2K—che si è rivelato molto costoso da risolvere, ma non catastrofico a livello globale—è sorto in modo analogo dal non aver previsto i requisiti di progetto del domani. Uno scenario da incubo è quello in cui ci troviamo con una serie di tecniche mature, potenti, disponibili al pubblico che combinate portano ad una AI non-Benevola ma che non possono essere usate per costruire una AI Benevola senza riscrivere da capo gli ultimi trent'anni di ricerche.
Nel campo dell'AI è considerato coraggioso discutere apertamente di AI con capacità umane, dopo le esperienze passate con l'argomento. C'è la tentazione di congratularsi con sé stessi per essere così coraggiosi, poi ci si ferma. Discutere di AI ultraumane sembrerebbe ridicolo e inutile, dopo essersi avventurati così lontano. (Ma non c'è ragione per cui le AI dovrebbero salire lentamente la scala dell'intelligenza per poi fermarsi per sempre esattamente al livello umano.) Avere il coraggio di parlare di AI Benevola, come precauzione contro il catastrofico rischio globale di un'AI ultraumana, sarebbe due livelli di coraggio più in alto rispetto a al livello che ora viene considerato trasgressivo e audace.
Esiste anche la pragmatica obiezione che ammette come l'AI Benevola sia un problema importante, ma si preoccupa del fatto che, allo stato attuale della nostra comprensione, siamo semplicemente incapaci di affrontare il problema dell'AI Benevola: se provassimo a risolvere il problema ora, falliremmo o genereremmo anti-scienza invece che scienza.
E vale la pena preoccuparsi di questa obiezione. Mi sembra che la conoscenza sia là fuori—cioè che sia possibile studiare un corpo di conoscenza sufficientemente ampio, per poi affrontare il problema dell'AI Benevola senza andare a sbattere contro un muro di mattoni—ma questa conoscenza è sparpagliata in discipline molteplici: teoria delle decisioni e psicologia evolutiva e teoria della probabilità e biologia evolutiva e psicologia cognitiva e teoria dell'informazione e il campo tradizionalmente noto come “Intelligenza Artificiale” . . . Semplicemente non esiste un curriculum che abbia già preparato un largo gruppo di ricercatori a fare progressi sull'AI Benevola.
La “regola dei dieci anni” per il genio, convalidata in diversi campi dalla matematica alla musica al tennis professionistico, prevede che nessuno possa raggiungere performance eccellenti in qualunque campo senza almeno dieci anni di sforzi (Hayes 1981). Mozart ha cominciato a comporre sinfonie a quattro anni, ma non erano sinfonie di Mozart—gli ci sono voluti altri tredici anni per cominciare a comporre sinfonie davvero eccezionali (Weisberg 1986). La mia personale esperienza con la curva di apprendimento sostiene questa preoccupazione. Se vogliamo persone che possano fare progressi sull'AI Benevola, allora essi dovranno cominciare a istruirsi a tempo pieno per anni, prima che siano urgentemente necessari.
Se la Bill and Melissa Gates Foundation concedesse domani cento milioni di dollari di finanziamenti per lo studio dell'AI Benevola, mille scienziati comincerebbero subito a scrivere le loro richieste di finanziamento in modo da sembrare collegate all'AI Benevola. Ma loro non sarebbero sinceramente interessati al problema—prova ne è che non avevano dimostrato interesse prima che qualcuno offrisse del denaro. Considerando che l'Intelligenza Artificiale Generale è fuori moda e che l'AI Benevola è completamente ignorata, possiamo partire dal presupposto che chiunque parli in questo momento del problema sia genuinamente interessato a esso. Se si mettono troppi soldi su un problema che un campo non è pronto a risolvere, questo denaro in eccesso produrrà più facilmente anti-scienza che scienza—un delirio di false soluzioni.
Non posso considerare questo verdetto come una buona notizia. Saremmo tutti più sicuri se il problema dell'AI Benevola potesse essere risolto solo con tante persone e tanto denaro. Ma dubito seriamente che ora, nel 2006, questo sia possibile—il campo dell'AI Benevola, come quello dell'Intelligenza Artificiale, è in uno stato di caos incredibile. Però, se qualcuno afferma che non possiamo ancora fare progressi sull'AI Benevola, che sappiamo troppo poco, dovremmo chiederci quanto a lungo questo qualcuno abbia studiato il problema prima di arrivare a quella conclusione. Chi può dire cosa la scienza non sa? C'è semplicemente troppa scienza perché un singolo essere umano la conosca tutta. Chi può dire che non siamo pronti ad una rivoluzione scientifica, prima ancora della sorpresa? E anche se non potessimo fare progressi sull'AI Benevola perché non siamo preparati, questo non vuol dire che non abbiamo bisogno dell'AI Benevola. Queste due affermazioni non sono per niente equivalenti!
Se ci rendessimo conto di non poter fare progressi sull'AI Benevola, allora dovremmo capire come uscire da quella situazione il più in fretta possibile! Non c'è garanzia che, solo per il fatto che non possiamo affrontare un rischio, quel rischio decida, rispettosamente, di sparire.
Se brillanti giovani scienziati non ancora riconosciuti si interessassero all'AI Benevola di loro iniziativa, credo che sarebbe di grande beneficio alla specie umana se potessero fare domanda per un finanziamento pluriennale per studiare il problema. Qualche tipo di finanziamento per l'AI Benevola è necessario per ottenere questo effett—considerevolmente maggiore di quelli disponibili al momento. Ma ho paura che in questo stato embrionale, un progetto simile al Progetto Manhattan non farebbe altro che aumentare il rapporto segnale/rumore.
15. Conclusione
Una volta ritenevo che la civiltà moderna occupasse uno stato instabile. L'esplosione di intelligenza ipotizzata da I. J. Good’s descrive un sistema dinamicamente instabile, come una penna precariamente in equilibrio sulla punta. Sela penna è esattamente verticale, potrebbe anche restare in piedi; ma se la penna devia anche solo di un soffio dal suo stato stabile, la gravità la allontana sempre più dall'equilibrio, ed il processo accelera. Anche per i sistemi intelligenti, pertanto, sarebbe facile rendersi sempre più intelligenti.
Anche un pianeta morto, in orbita senza vita attorno alla sua stella, è stabile. A differenza di un esplosione di intelligenza, l'estinzione non è un attrattore dinamico—c'è un grosso gap tra quasi estinto, ed estinto. E anche in questo caso, l'estinzione totale è stabile.
La nostra civiltà non dovrà alla fine scegliere un percorso o l'altro?
Sotto il profilo logico, l'argomento sopra esposto contiene dei buchi. La Fallacia della Cheesecake Gigante, per esempio: le menti non corrono alla cieca verso gli attrattori, hanno delle motivazioni loro proprie. Anche così, sospetto che, parlando pragmaticamente, le nostre alternative si riducano a: 1) diventare più intelligenti; 2) estinguerci.
La Natura non è crudele, ma indifferente sì; una neutralità che spesso sembra indistinguibile dall'aperta ostilità. La realtà ci lancia addosso una sfida dietro l'altra, e quando incappi in una sfida che non riesci a gestire, ne soffri le conseguenze. Spesso la Natura pone dei requisiti palesemente ingiusti, anche in prove dove la pena per chi fallisce è la morte. Come avrebbe potuto un contadino medievale del decimo secolo inventare una cura per la tubercolosi? La Natura non adatta le sue sfide alle tua abilità, o alle tue risorse, o al tuo tempo a disposizione per risolvere il problema. E quando incappi in una sfida letale troppo difficile per te, muori. Forse è sgradevole pensarlo, ma questa è stata la condizione umana per migliaia e migliaia di anni. La stessa cosa potrebbe succedere alla stessa specie umana, se la specie umana dovrà confrontarsi con una sfida ingiusta.
Se gli esseri umani non invecchiassero, così che i centenari abbiano lo stesso tasso di morte dei quindicenni, non per questo saremmo immortali. Semplicemente, dureremmo finché non incappiamo nell'evento sbagliato. Per vivere anche un milione di anni, come un umano che non invecchia in un mondo rischioso come il nostro, devi in qualche modo abbassare la tua probabilità annuale di incidente fino a quasi zero. Non dovresti guidare; non dovresti volare; non dovresti attraversare la strada, anche dopo aver controllato entrambi i lati, perché è comiunque un rischio troppo grande. Anche abbandonando ogni progetto di divertimento, rinunciando a “vivere” per sopravvivere, non puoi proteggerti per un milione di anni. Più che fisicamente, sarebbe cognitivamente impossibile.
La specie umana, Homo sapiens, può non invecchiare ma non può non morire. Gli ominidi sono sopravvissuti fino a questo punto perché, nell'ultimo milione di anni, non ci sono stati arsenali di bombe ad idrogeno, navi spaziali che dirigessero gli asteroidi verso la Terra, laboratori bio-bellici che producessero supervirus, né rischi di guerra nucleare o nanotecnologica, o di AI ostile paventati periodicamente ogni anno. Per sopravvivere apprezzabilmente a lungo, dobbiamo ridurre ogni rischio a quasi zero. “Abbastanza bene” non va abbastanza bene, per sopravvivere un altro milione di anni.
Sembra una sfida ingiusta. Una tale competenza non è storicamente tipica delle istituzioni umane, a prescindere da quanto duro ci provino. Per decenni gli U.S.A e l'Unione Sovietica hanno evitato la guerra nucleare, ma non perfettamente; a volte la si è sfiorata, come nella crisi del missile cubano del 1962. Se postuliamo che le menti future mostrino la stessa combinazione di follia e saggezza, di eroismo ed egoismo, come le menti di coloro che leggiamo nei libri di storia—allora il gioco del rischio esistenziale è già finito; abbiamo perso in partenza. Potremmo sopravvivere un altra decade, magari un altro decennio, ma non un altro milione di anni.
Ma la mente umana non rappresenta i limiti del possibile. Homo sapiens rappresenta la prima intelligenza generale. Siamo nati all'inizio delle cose, all'alba della mente. Con un po' di fortuna, gli storici del futuro si guarderanno indietro e descriveranno il mondo presente come una strana epoca di transizione, quando l'umanità era abbastanza intelligente da crearsi enormi problemi, ma non abbastanza per risolverseli.
Tuttavia, prima di superare quello stadio adolescenziale, dobbiamo, come adlescenti, confrontarci con un problema da adulti: la sfida dell'intelligenza ultra-umana. È questa l'uscita della fase ad alta mortalità del ciclo di vita, il modo di chiudere la finestra di vulnerabilità; ed è anche, probabilmente, il singolo rischio più pericoloso che stiamo affrontando. L'Intelligenza Artificiale è una strada verso quella sfida; e penso sia la strada che alla fine prenderemo. Penso che, alla fine, si rivelerà più semplice costruire un 747 da zero che espandere un uccello esistente o trapiantarvi i motori di un jet.
Non voglio sminuire il coraggio colossale di chi si cimenta a costruire, secondo uno scopo e un progetto preciso, qualcosa di più intelligente di noi. Ma fermiamoci un attimo e ricordiamoci che l'intelligenza non è la prima cosa incontrata dalla scienza umana che si è rivelata difficile da comprendere. Un tempo erano un mistero le stelle, e la chimica, e la biologia. Generazioni di studiosi hanno provato a comprendere questi misteri, ed hanno fallito, e così questi misteri hanno acquistato la reputazione di essere impossibili per la mera scienza. Un tempo, nessuno capiva perché una parte della materia fosse inerte e senza vita, mentra un'altra parte pulsasse con sangue e vitalità. Nessuno sapeva come la materia vivente si riproducesse, o perché le nostre mani obbedissero ai nostri ordini mentali. Lord Kelvin scrisse:
“L'influenza della vita animale o vegetale sulla materia va infinitamente oltre la portata di qualunque ricerca scientifica prodotta finora. Il suo potere di dirigere il movimento delle particelle mobili, nel miracolo quotidianamente dimostrato del nostro libero arbitrio, e nella crescita di una generazione dopo l'altra di piante a partire da un singolo seme, sono infinitamente differenti da ogni possibile risultato dello scontro casuale di atomi. (Macfie 1912)”
Tutta l'ignoranza scientifica è consacrata dall'antichità. Ogni assenza di conoscenza risale all'alba della curiosità umana; e quel buco dura attraverso i secoli, apparentemente eterno, finché qualcuno non lo riempie. Penso sia possibile per meri, fallibili umani, riuscire nella sfida di costruire una AI Benevola. Ma solo se l'intelligenza cessa din essere un mistero per noi, così come la vita era un mistero sacro per Lord Kelvin. L'intelligenza deve smettere di essere un mistero di ogni tipo, sacro o no. Dobbiamo rendere la creazione dell'Intelligenza Artificiale l'applicazione esatta di un'arte esatta. E forse, a quel punto, ce la faremo.
Referenze
Asimov, Isaac. 1942. Runaround. Astounding Science-Fiction, Mar., 94–103.
Barrett, Justin L., and Frank C. Keil. 1996. Conceptualizing a nonnatural entity: Anthropomorphism in God concepts. Cognitive Psychology 31 (3): 219–247. doi:10.1006/cogp.1996.0017.
Bostrom, Nick. 1998. How long before superintelligence? International Journal of Futures Studies 2.
———. 2002. Existential risks: Analyzing human extinction scenarios and related hazards. Journal of Evolution and Technology 9. http://www.jetpress.org/volume9/risks.html.
Bostrom, Nick, and Milan M. Ćirković, eds. 2008. Global catastrophic risks. New York: Oxford University Press.
Brown, Donald E. 1991. Human universals. New York: McGraw-Hill.
Deacon, Terrence W. 1997. The symbolic species: The co-evolution of language and the brain. New York: W. W. Norton.
Drexler, K. Eric. 1992. Nanosystems: Molecular machinery, manufacturing, and computation. New York: Wiley.
Ekman, Paul, and Dacher Keltner. 1997. Universal facial expressions of emotion: An old controversy and new findings. In Nonverbal communication: Where nature meets culture, ed. Ullica Segerstråle and Peter Molnár, 27–46. Mahwah, NJ: Lawrence Erlbaum Associates.
Good, Irving John. 1965. Speculations concerning the first ultraintelligent machine. In Advances in computers, ed. Franz L. Alt and Morris Rubinoff, 31–88. Vol. 6. New York: Academic Press. doi:10. 1016/S0065-2458(08)60418-0.
Hayes, John R. 1981. The complete problem solver. 1st ed. Philadelphia, PA: Franklin Institute.
Hibbard, Bill. 2001. Super-intelligent machines. ACM SIGGRAPH Computer Graphics 35 (1): 13–15. http://www.siggraph.org/publications/newsletter/issues/v35/v35n1.pdf.
Hofstadter, Douglas R. 1979. Gödel, Escher, Bach: An eternal golden braid. New York: Basic Books.
Jaynes, E. T. 2003. Probability theory: The logic of science. Ed. G. Larry Bretthorst. New York: Cambridge University Press. doi:10.2277/0521592712.
Jensen, Arthur R. 1998. The g factor: The science of mental ability. Westport, CT: Praeger.
Macfie, Ronald Campbell. 1912. Heredity, evolution, and vitalism: Some of the discoveries of modern research into these matters—their trend and significance. New York: William Wood.
McCarthy, John, Marvin Minsky, Nathan Rochester, and Claude Shannon. 1955. A proposal for the Dartmouth summer research project on artificial intelligence. Formal Reasoning Group, Stanford University, Stanford, CA, Aug. 31.
Merkle, Ralph C., and K. Eric Drexler. 1996. Helical logic. Nanotechnology 7 (4): 325–339. doi:10.1088/0957-4484/7/4/004.
Minsky, Marvin. 1986. The society of mind. New York: Simon & Schuster.
Monod, Jacques L. 1975. On the molecular theory of evolution: Progress and obstacles to progress in the sciences. In Problems of scientific revolution, ed. Rom Harré. The Herbert Spencer Lectures 1973. Oxford: Clarendon Press.
Moravec, Hans P. 1988. Mind children: The future of robot and human intelligence. Cambridge, MA: Harvard University Press.
———. 1999. Robot: Mere machine to transcendent mind. New York: Oxford University Press.
Phoenix, Chris, and Mike Treder. 2008. Nanotechnology as global catastrophic risk. In Bostrom and Ćirković 2008, 481–503.
Raymond, Eric S., ed. 2003. DWIM. In The on-line hacker jargon file, version 4.4.7. Dec. 29. http://catb.org/~esr/jargon/html/D/DWIM.html.
Rhodes, Richard. 1986. The making of the atomic bomb. New York: Simon & Schuster.
Rice, Henry Gordon. 1953. Classes of recursively enumerable sets and their decision problems. Transactions of the American Mathematical Society 74 (2): 358–358. doi:10.1090/S0002-9947-1953-0053041-6.
Sandberg, Anders. 1999. The physics of information processing superobjects: Daily life among the jupiter brains. Journal of Evolution and Technology 5. http://www.jetpress.org/volume5/Brains2.pdf.
Schmidhuber, Jürgen. 2007. Gödel machines: Fully self-referential optimal universal self-improvers. In Artificial general intelligence, ed. Ben Goertzel and Cassio Pennachin, 199–226. Cognitive Technologies. Berlin: Springer. doi:10.1007/978-3-540-68677-4_7.
Sober, Elliott. 1984. The nature of selection: Evolutionary theory in philosophical focus. Bradford Books. Cambridge, MA: MIT Press.
Tooby, John, and Leda Cosmides. 1992. The psychological foundations of culture. In The adapted mind : Evolutionary psychology and the generation of culture, ed. Jerome H. Barkow, Leda Cosmides, and John Tooby, 19–136. New York: Oxford University Press.
Vinge, Vernor. 1993. The coming technological singularity: How to survive in the post-human era. In Vision-21: Interdisciplinary science and engineering in the era of cyberspace, 11–22. NASA Conference Publication 10129. NASA Lewis Research Center. http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940022855_1994022855.pdf.
Wachowski, Andy, and Lana Wachowski, dirs. 1999. The matrix. Mar. 31.
Weisberg, Robert W. 1986. Creativity: Genius and other myths. Series of Books in Psychology. New York: W. H. Freeman.
Williams, George C. 1966. Adaptation and natural selection: A critique of some current evolutionary thought. Princeton Science Library. Princeton, NJ: Princeton University Press.
Yudkowsky, Eliezer. 2008. Cognitive biases potentially affecting judgment of global risks. In Bostrom and Ćirković 2008, 91–119.
[1] Questo è un caso di errore profondo, fuorviante, e straordinariamente comune che E. T. Jaynes ha chiamato la “fallacia della proiezione mentale” [“mind projection fallacy”] (Jaynes 2003). Jaynes, un teorico della probabilità Bayesiana, ha coniato l'espressione “mind projection fallacy” per riferirsi all'errore di confondere stati della conoscenza con proprietà degli oggetti. Per esempio, l'espressione “fenomeno misterioso” implica che il mistero sia una proprietà del fenomeno stesso. Invece, se ignoro un dato fenomeno, questo è un fatto che riguarda il mio stato mentale, non una proprietà intrinseca del fenomeno.