"Cosa succede quando abbiamo messo la decisione [sulla vita o morte di un paziente, ndr] nelle mani di un'inesorabile macchina a cui dobbiamo porre le giuste domande in anticipo, senza comprendere appieno le operazioni o il processo attraverso cui esse troveranno risposta?”. Norbert Wiener, “God and Golem, Inc.”, 1963. Questa citazione ha aperto un recente congresso sull’uso dell’Intelligenza artificiale (Ai) in ambito sociosanitario durante il quale era intenzione di chi scrive provocare un dibattito per cercare di uscire dallo “spettro delle opinioni accettabili” (Noam Chomsky) e -al contempo- ampliare la comprensione del fenomeno, ripercorrendone la storia. Nello specifico, le “opinioni accettabili” nel dibattito sull’adozione dell’Ai sono quelle che vengono chiamati “i tre assiomi della transizione digitale” di cui l’adozione a rotta di collo dell’Ai è la logica conseguenza. Primo, la tecnologia è neutra, l’importante è usarla bene (eticamente?); secondo, digitale è meglio di analogico, perché la tecnologia di oggi è sempre meglio di quella di ieri; terzo, i problemi di oggi saranno risolti dalla tecnologia di domani, perché la tecnologia risolve qualsiasi problema. Il primo assioma è relativamente semplice da “smontare”. Se fosse vero che la tecnologia è neutrale allora dovrebbe esistere un modo per “usare bene” l’auto nelle strade di Roma, alle cinque del pomeriggio. Invece il problema dello spostamento in orario di punta si risolve solo cambiando tecnologia: bisogna abbandonare l’auto a favore della bici, del motorino o del trasporto pubblico. Saper “usare bene” l’auto non aiuta.  Nel caso specifico dell’uso dell’Ai in medicina siamo poi davanti a un rischio ancora più grave: l’effetto Vajont. Come racconta Marco Paolini nel suo spettacolo teatrale, dopo il disastro, lui non riesce a dare la colpa dei morti alla diga. La diga aveva fatto bene il suo lavoro: non era crollata. Anche Dino Buzzati scrive, all’indomani del disastro, “la diga del Vajont era ed è un capolavoro”. Fascinazione tutta maschile per l’artefatto. Eppure questa tecnologia perfetta è coinvolta nella morte di oltre duemila innocenti. Com’è possibile? La diga non andava costruita in quella valle: troppo stretta e troppo frequentemente soggetta a frane importanti, quello è il problema. Un problema politico.  Sulla scena del disastro, a denunciarlo, c’è una donna coraggiosa: Tina Merlin, inviata per l’Unità, che scrive un libro che inchioda politici e imprenditori senza scrupoli alle loro responsabilità: “Sulla pelle viva. Come si costruisce una catastrofe. Il caso del Vajont”. Oggi le donne che parlano fuori dal coro dell’entusiasmo “virile” per la tecnologia si chiamano Gebru, Bender, Whittaker, Tafani. L’ultima, da esperta di etica, non è affatto convinta che l’etica possa offrire risposte a questi problemi: “L’'etica dell’intelligenza artificiale' è assimilabile dunque a una merce, che i ricercatori e le università sono interessati a fornire, in quanto ‘olio che unge le ruote della collaborazione’ con le grandi aziende tecnologiche, e che le aziende commissionano e acquistano perché è loro utile come capitale reputazionale” (Daniela Tafani, L’"etica"come specchietto per le allodole, 2023). Infatti, per tornare all’esempio dell’auto, l’etica del pilota non diminuisce l’inquinamento causato dallo stare fermi al semaforo. Per diminuirlo bisogna entrare nella “stanza dei bottoni” e imporre una modifica che preveda lo spegnimento del mezzo quando si ferma. L’etica a posteriori diventa, appunto, uno specchietto per le allodole. La falsificazione del secondo assioma può passare nuovamente da un confronto della bicicletta con l’auto: la prima è certo una tecnologia precedente, ma è capace di risolvere un problema che la seconda non risolve. Di esempi come questo se ne possono trovare molti: i vecchi Nokia che mitigano il problema dell’e-waste grazie a una batteria facilmente rimovibile, per esempio. Il terzo assioma esprime il pensiero che il sociologo Evgeny Morozov ha definito soluzionismo tecnologico, ossia la convinzione che tutti i problemi umani contemplino una soluzione per via tecnologica. Questa posizione si fonda su un credo che Nick Barrowman chiama “culto del dato”: “Siamo tentati di presupporre che i dati siano autosufficienti e indipendenti dal contesto e che, con sufficienti dati, le preoccupazioni relative a causalità, bias (distorsione), selezione e incompletezza possano essere ignorate. È una visione seducente: i dati ‘crudi’, non corrotti dalla teoria o dall'ideologia, ci condurranno alla verità; non saranno necessari esperti; non saranno rilevanti le teorie, né sarà necessario vagliare alcuna ipotesi” (Nick Barrowman, Why data is never raw). Il credo di tale “setta”, che altro non è se non un culto minore dello scientismo, produce una distorsione paradossale: credere nella supremazia del dato sulla stessa scienza che dovrebbe produrlo, come l’ex caporedattore di Wired, Chris Anderson quando scrive che “oggi possiamo gettare i numeri nei più grandi cluster di calcolo che il mondo abbia mai visto e lasciare che gli algoritmi statistici trovino modelli dove la scienza non può arrivare”. Se Anderson avesse ragione l’avvento della tecnologia causerebbe la fine della scienza. La realtà è che i dati non sono mai "crudi": “I dati 'crudi' sono un ossimoro e una cattiva idea. Al contrario, i dati dovrebbero essere cucinati con cura. ‘Crudo’ ha un senso di naturale o incontaminato, mentre ‘cotto’ suggerisce il risultato di processi cognitivi. Ma i dati sono sempre il prodotto di processi cognitivi, culturali e istituzionali che determinano cosa raccogliere e come farlo” (ibidem). Esplicitare questi processi significa fare scienza, associando alle “sensate esperienze” le “dimostrazioni necessarie” (come affermava Galileo Galilei). Sorvolarli, per contro, significa rischiare conclusioni grossolanamente errate, o persino non rendersi conto di tali errori e sprofondare nella pseudoscienza. Sgombrato quindi il campo dalle mistificazioni che “limitano rigorosamente lo spettro delle opinioni accettabili” (Chomsky) siamo finalmente in condizione di sintetizzare i motivi per cui l’introduzione dell’Ai in medicina dovrebbe essere valutata caso per caso, e con grande attenzione. Questa tecnologia non è neutra: si fonda sul lavoro sottopagato del Sud globale; pone già oggi un enorme problema ecologico per via dei consumi pantagruelici di acqua, elettricità, suolo, terre rare (al punto che l'Ue ha lanciato una campagna per riaprire le miniere entro i territori dell’Unione per garantirsi i "materiali strategici" necessari a costruire i datacenter con tutti i rischi geopolitici che questo implica).  Le applicazioni delle Ai generative sono soggette al problema delle "allucinazioni" che, in situazioni di rischio per la vita, rappresentano un problema gravissimo e, anche quando potrebbero essere utili, generano pesanti cambiamenti nel modus operandi di una istituzione sanitaria, cambiamenti non sempre possibili o economici. Quindi non sono sempre meglio dei metodi precedenti: dipende.  C’è poi il fatto che le Ai pensate per la medicina non sono abbastanza testate per poter essere considerate sicure, soprattutto quando non si rispettano i protocolli tipici della ricerca scientifica, sull’onda della “immaterialità del digitale” o di slogan assurdi coniati in Silicon Valley, come “move fast, break things”. L’unica cosa da rompere sono certi piani di dominio del mondo, roba da scienziati pazzi. Infine, l'uso degli strumenti Ai in medicina può produrre pericolosi errori metodologici, che possono portare a storture distopiche come l'utilizzo dell'Ai per decidere automaticamente se staccare la spina a un paziente, o quale trattamento salvavita somministrargli. L’eventuale morte del paziente non potrà essere risolta dalla successiva tecnologia.  “Scatole oscure. Intelligenza artificiale e altre tecnologie del dominio” è una rubrica a cura di Stefano Borroni Barale. La tecnologia infatti è tutto meno che neutra. Non è un mero strumento che dipende unicamente da come lo si usa, i dispositivi tecnici racchiudono in sé le idee di chi li ha creati. Per questo le tecnologie “del dominio”, quelle che ci propongono poche multinazionali, sono quasi sempre costruite come scatole oscure impossibili da aprire, studiare, analizzare e, soprattutto, cambiare. Ma in una società in cui la tecnologia ha un ruolo via via più dispositivo (e può quindi essere usata per controllarci) aprire e modificare le scatole oscure diventa un esercizio vitale per la partecipazione, la libertà, la democrazia. In altre parole: rompere le scatole è un atto politico. Stefano Borroni Barale (1972) è laureato in Fisica teorica presso l’Università di Torino. Inizialmente ricercatore nel progetto EU-DataGrid (il prototipo del moderno cloud) all’interno del gruppo di ricerca dell’Istituto nazionale di fisica nucleare (Infn), ha lasciato la ricerca per lavorare nel programma di formazione sindacale Actrav del Centro internazionale di formazione dell’Ilo. Oggi insegna informatica in una scuola superiore del torinese e, come membro di Circe, conduce corsi di formazione sui temi della Pedagogia hacker per varie organizzazioni, tra cui il ministero dell’Istruzione. Sostenitore del software libero da fine anni Novanta, è autore per Altreconomia di “Come passare al software libero e vivere felici” (2003), una delle prime guide italiane su Linux e altri programmi basati su software libero e “L’intelligenza inesistente. Un approccio conviviale all’intelligenza artificiale” (2023). © riproduzione riservata L'articolo L’Ai in medicina? Non basta “usarla bene”, e l’etica non ci salverà dall’effetto Vajont proviene da Altreconomia.