Carmageddon, Christine eccetera

Pare che siamo in dirittura d’arrivo: stiamo per produrre in serie automobili che si guidano da sole. Con la nuova capacità, nascono anche “nuovi” problemi etici. Per esempio: come si comporterà il software nel caso in cui dovesse evitare un gruppo di persone in mezzo alla strada, viste all’ultimo, e potesse solo gettare l’auto sul marciapiede, finendo così per investire una persona che è lì ferma?

Articolo su MIT Technology Review - clicca per aprirlo
Articolo su MIT Technology Review – clicca per aprirlo

Non è un problema nuovo, in realtà, ma il vecchio trolley problem di Philippa Foot. Ripetiamolo per chi ancora non lo conosce: tu (tu, lettore) sei testimone di un possibile incidente mortale: c’è un vagone del tram che corre senza freni, e poco più avanti sul binario c’è un gruppo di defic persone che camminano sul percorso del tram. Tu, lettore, sei vicino allo scambio, puoi azionarlo e mandare il tram su un altro binario, salvando così la vita al gruppo di persone. Ma sull’altro binario (non è la città del buonsenso) c’è un’altra persona che cammina. Certo, aveva almeno avuto la cautela di percorrere il binario “morto”, dove in teoria non passano i tram. A meno che, appunto, non ci sia tu, lettore, a deviarlo. Se azioni lo scambio, il tram non investe il gruppo, ma arrota il singolo. Cosa fai? Salvi la vita al gruppo, intervenendo? Oppure non intervieni?

Le conseguenze che consideri sono:

  • se intervengo salvo tot vite (più di una)
  • se intervengo sacrifico una vita (è il mio intervento a essere la causa dell’investimento del tizio che cammina solo sull’altro binario)
  • se non intervengo non ho colpe
  • se non intervengo ho una colpa d’omissione (per chi ha una coscienza e un’educazione in quel senso)

Secondo altre teorie etiche non consideri le conseguenze, ma ti attieni a un principio morale a priori. Oppure ancora ti limiti a “fare come ti senti”, in base alle sensazioni.

Ci sono versioni più esplicite: invece che essere vicino allo scambio, sei su un passaggio sopraelevato. C’è un uomo molto grasso lì vicino. Per fermare il tram puoi gettare quell’uomo sui binari. In questo modo è più chiaro il tuo intervento diretto nella morte di uno per salvare un gruppo. Cosa fai?

In genere le statistiche dicono che azionare lo scambio ottiene la maggioranza delle opzioni, mentre ribaltare direttamente l’uomo no. Pare che abbiamo un “senso innato” che ci impedisce di causare direttamente la morte di una persona, anche nel caso in cui ne salveremmo di più. Alcune discussioni a riguardo ritornano alla dottrina del doppio effetto di Tommaso d’Aquino: azionare lo scambio si fa perché così l’intenzione è salvare il gruppo. La morte del singolo sull’altro binario è solo un effetto non ricercato. Nel caso invece in cui si getti l’uomo dal passaggio sopraelevato, c’è proprio l’intenzione di usarlo come ostacolo per il tram, quindi si è più direttamente colpevoli. La differenza è tra lasciar morire e uccidere, e il nostro senso morale ci dice che nel primo caso non abbiamo colpe.

Questo in sintesi. Immaginiamo quindi cosa potrebbe accadere se un software che guida un’automobile si trova in una situazione che crea problemi già a noi. Cosa farà? Per evitare il gruppo, si getterà sul singolo incolpevole sul marciapiede?

Qualunque sia la soluzione che adotteremo, ci sono spazi di riflessione filosofica, ci sono spazi per chiederci come pensiamo, cosa pensiamo, cosa è giusto o no. Possiamo usare questo esperimento mentale per chiarirci le idee su di noi, prima che sul problema specifico che usiamo come esempio. Lasciando da parte la questione tecnica, che cito qui una volta per tutte: una macchina che si guida da sola sarà dotata di sensori che le impediranno (in teoria) di trovarsi nella situazione di incontrare ostacoli senza preavviso. Avrà il tempo di fermarsi, senza creare danni.

Partiamo dall’ipotesi di lavoro che qualcosa non funzioni, e la sorpresa di un gruppo di persone in mezzo alla strada spiazzi il software. Dovrà decidere cosa fare:

  • si getta sul marciapiede. Dobbiamo programmare la macchina per scegliere di uccidere, almeno una persona per salvarne molte (quante?)
  • non si getta sul marciapiede. Dobbiamo programmare la macchina per non fare calcoli utilitaristici, ma per rispettare il codice della strada in modo integrale (integralista?): se quel gruppo è in mezzo alla strada, è perché non ha rispettato il codice, quindi la macchina non ha colpa e tira dritta
  • la macchina deve proteggere a ogni costo il passeggero?

Possiamo immaginare, come nel caso del trolley complicato, che qualcuno possa approfittare della programmazione della macchina per compiere un omicidio in modo diretto: basta mettersi in gruppo in mezzo a una strada e la macchina sceglierà si schiantarsi, uccidendo un passante o il guidatore/passeggero (questo suggerimento mi è arrivato dall’Estinto in uno scambio di battute social). O, in un’altra versione, che qualcuno possa gettare un passante in mezzo alla strada, per far deviare l’automobile e farla schiantare. In verità queste versioni non rispecchiano più la distinzione del doppio effetto, perché qui si partirebbe già dall’intenzione chiara di uccidere qualcuno.

Quello che però mi sembra più difficile da afferrare non è tanto il fatto che dobbiamo capire quale soluzione possa avere il trolley problem, ma il fatto che poi dobbiamo programmare il software ad applicare quella soluzione. Senza nemmeno arrivare a discutere dei programmi adattivi, altrimenti si apre una voragine: se il software è capace di prendere scelte autonome, bisogna chiedersi su che basi le prende. Sulla sua conoscenza dei dati statistici? Sul suo senso morale? Sulla sua educazione?

Ecco qui: l’educazione. Qualora noi decidessimo di optare per la soluzione utilitarista, che è quella che intuitivamente è preferita dalla maggioranza (non lo dicono solo le statistiche, lo diceva già Sidgwick: la morale di senso comune è un utilitarismo ingenuo)(così fuori tema, ma complimenti a Sidgwick per aver dimostrato che la barba fa il filosofo), dovremmo di conseguenza (…) (consequenzialismo) insegnare al software che in quella situazione è giusto uccidere qualcuno per salvare qualcuno in numero maggiore. Ripeto: è giusto uccidere qualcuno.

Questo passaggio mi sembra delicato: se intuitivamente posso essere d’accordo sul fatto che la morte non intenzionale di uno è un male minore rispetto alla morte per omissione di molti, sono però dell’idea – sempre intuitiva – che la scelta morale che compiamo noi umani sia troppo sfumata e poco computabile. Cioè non la posso descrivere in termini completi a un software che ha l’unica capacità di fare una scansione delle linee delle regole e agire in base a una regola. Il software dovrebbe avere quelle capacità adattive di cui si parlava prima.

Tutto qui? No. Un paio di ciufoli. Non vi sembra un problema etico il fatto di insegnare a qualcuno che uccidere è giusto?

Lasciamo stare che il “qualcuno” è un software. Ci sono questioni di ricerca sulla nostra identità, questioni di studi sull’intelligenza e sull’intelligenza artificiale, domande sulla coscienza e insomma un sacco di cose che fanno pensare che la differenza tra noi (mente) e un software sia nella migliore delle ipotesi un fatto di gradi e non di sostanza. Insegnereste a qualcuno che uccidere è giusto? In genere i gut feelings dicono che non lo fareste. Nemmeno se siete di quelli che bragiano contro gli stranieri e comprano le pistole con il bonus. Le persone con gravi disturbi antisociali sono una minuscola percentuale (minuscola per modo di dire, Wikipedia dice 3% tra gli uomini e 1% tra le donne).

Inoltre c’è proprio una difficoltà teorica, la contraddizione pratica, il “se facessero tutti così?”. Se tutti insegnassero che uccidere è giusto? Finirebbero presto gli allievi. E i maestri. E i software. E i dementi che camminano sui binari del tram.

4 pensieri riguardo “Carmageddon, Christine eccetera

  1. salve,
    sono una persona con gravi disturbi antisociali (per fortuna di tutti voi, e in qualche modo anche mia, sono però debole e pigro).

    ciò premesso, mi cimenterei volentieri nel dilemma, ma vorrei che mi fosse precisato “in che senso” uccidere una persona “è meglio” che ucciderne dieci.
    devo prenderlo per assioma?
    grazie, m.v.

  2. le critiche alla dottrina utilitarista si concentrano parecchio sul “principio di Caifa” che sacrificherebbe il singolo se questo potesse produrre un bene maggiore per un numero maggiore. Se tu fossi un utilitarista fatto così – se fossi Caifa – uccidere una persona è chiaramente meglio che ucciderne (o non salvarne) 10.

  3. capisco.
    …sorvoliamo sul fatto che i dieci (e i sette miliardi di spettatori terzi) si sentiranno rassicurati sul fatto che restare nel branco dà e la forza e la ragione…?

    o, più semplice: insegnamo al solitario abitatore del marciapiede che se vede dieci persone in mezzo alla strada è chiaramente meglio che si unisca a loro?

Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...