Seguici su Telegram, ne vale la pena ❤️ ➡ @trovalost
Vai al contenuto

Allucinazioni e bias algoritmici. Perchè i software possono “avere le allucinazioni”

Un giorno qualcuno chiese all’intelligenza artificiale DALL E di disegnare “una mucca che viene rapita dagli UFO negli Stati Uniti medio occidentali, disegnata in stile anni 60“. Idea bislacca, creativa, visionaria, molto legata all’immaginario dell’ufologia anni 70, sempre in bilico tra scienza e narrazione pseudo-scientifica. Il risultato di questa originale richiesta è stata grottesca e sorprendente allo stesso tempo: l’UFO appariva letteralmente sopra la mucca, ignorando proporzioni e plausibilità di quanto rappresentato. E tutto questo era stato generato da un’allucinazione – termine tecnico per indicare casi del genere negli output delle Intelligenze artificiali di arte generativa.

1960s art of cow getting abducted by UFO in midwest
This file is in the public domain. Source: https://en.wikipedia.org/wiki/File:1960%27s_art_of_cow_getting_abducted_by_UFO_in_midwest.jpg#globalusage

Allucinazioni in AI: cosa sono?

Si tratta di allucinazioni in senso algoritmico: un neologismo, quello delle AI hallucination, specifico dell’ambito informatico, che da un lato ha a che fare con interpretazioni troppo “letterali” di ciò che si fornisce in input, dall’altro sembra voler esprimere un sottotesto inconscio in modo del tutto involontario. A volte con risultati spaventosi (sproporzioni degne di Lovecraft, ad esempio), altre con dettagli comici (il peso che trattiene la mucca qui sopra, per evitare che sia rapita dagli alieni).

Quali siano le cause di una AI halucination non è ancora totalmente noto, ma sembra essere dovuto a due motivi: da un lato, i dati usati per l’addestramento del software che sono in tutto o in parte scorretti (in termini di unità di misura, ad esempio, assunzioni errate in fase di data entry), dall’altro il processo stesso di decodifica soggetto a sua volta forme di bias in senso numerico (calcoli matematici con errori di approssimazione).

Il campo delle allucinazioni algoritmiche è ancora poco noto, è molto suggestivo (sarebbe utile saper riconoscere gli output allucinati da quelli plausibili, ad esempio) e si presta a ulteriori studi, esperimenti e potenziali speculazioni. Alcuni ricercatori, ad esempio, si sono chiesti se il fenomeno delle allucinazioni algoritmiche possa dipendere dai dati inesatti (training data) o, in misura maggiore, dal modo in cui vengono elaborati (model), e non sono ancora state rilevate risposte nette in tal senso.

Bias Algoritmici

In alcuni articoli accademici si parla di bias algoritmici (algorithmic bias), e penso valga la pena provare ad approfondirli. In genere gli algoritmi sono sequenze di istruzioni codificate per risolvere un problema o la gran parte delle sue istanze, che assumono ipotesi precise e che sono soggette a terminazione in tempo finito. Non sempre esiste un modo per garantire a priori la correttezza di un algoritmo, e nella pratica l’unico modo è quello di fare molti test, con un margine di errore non eliminabile (errori non deterministici o a run time).

Un bias algoritmico, a questo punto, fa riferimento a errori sistematici nelle ipotesi, ad esempio, che possano creare condizioni d’uso scorrette o sleali, privilegiando le risposte che si desidera evidenziare oppure, peggio ancora, favorendo certi tipi di output su altri. Un po’ come se un motore di ricerca evidenziasse notizie favorevoli ad un certo politico sopprimento quelle negative, senza badare all’aspetto fattuale ma soltanto sulla base delle convinzioni di chi ha scritto l’algoritmo di ranking. Un bias algoritmico è anche un’ ipotesi scorretta che facciamo in fase di test e/o costruzione del codice, anche in modo inconsapevole: un output potrebbe essere taroccato per soddisfare un cliente pignolo e poco propenso al confronto, oppure potrei limitare il tipo di input accettati per evitare di mostrare risultati scomodi o poco marketizzabili.

I motori di ricerca sono tra i primi indiziati di casi del genere (l’esistenza della SEO black hat lo dimostrerebbe, in qualche modo), così come quasi tutte le piattaforme social (che spesso finiscono per valorizzare il “rumore” degli utenti, a discapito della qualità dei contenuti, cosa di cui è stato accusato per molto tempo il Twitter voluto da Elon Musk). Bias algoritmici si possono riflettere direttamente o indirettamente attraverso fake news, discriminazioni, violazioni della privacy, sessismo, razzismo e discriminazioni di ogni genere.

In alcuni casi, poi, il bias algoritmico potrebbe essere stato inserito inconsapevolmente in fase di data entry, cioè inserendo un campione di input per l’addrestramento che sembra completo e non lo è: ad esempio, un’app di riconoscimento facciale che sia stata addestrata per errore o pregiudizio con foto di persone di una certa etnìa finirebbe, alla lunga, per non riconoscere tutte le altre.

In altri casi, il tutto può coesistere con il bias di automazione, ovvero la suggestione di considerare “autorevole” un risultato solo perchè generato da una macchina (un algoritmo che sembra prevedere i numeri del lotto che non sono prevedibili per definizione; credere a un deepfake e comportarsi di conseguenza alle elezioni; in modo ancora più fantascientifico, votare un chatbot “convincente” candidato alle elezioni).

Breve storia dell’arte generativa

Il mondo dell’arte generativa testuale e visuale (con annesse allucinazioni) non nasce oggi: i primissimi synthetic media potrebbero essere considerate le immagini generate da algoritmi, ad esempio su base ricorsiva o mediante generazione di frattali. Sono tecnologie note più o meno dai primi anni 90, e permettevano di rappresentare pattern irregolari o dalle particolari forme geometriche, con un occhio particolare per i modelli matematici che utilizzano e che, molto in breve, badano sia all’efficenza di generazione che alla precisione del risultato.

Un esempio di immagine ricorsiva: la sua generazione parte dal tronco dell'albero, e si basa su un processo ripetuto di sdoppiamento del ramo, piccoli e progressivi cambiamenti del colore e/o dell'inclinazione dei rami stessi. Fonte: support.nodebox.net/discussions/show-your-work/290-recursive-tree-animation
Un esempio di immagine ricorsiva: la sua generazione parte dal tronco dell’albero, e si basa su un processo ripetuto di sdoppiamento del ramo, piccoli e progressivi cambiamenti del colore e/o dell’inclinazione dei rami stessi. Fonte: support.nodebox.net/discussions/show-your-work/290-recursive-tree-animation

Queste trovate avevano senso per consentire il rendering rapido di dettagli geografici faticosi da replicare a mano (come le coste frastagliate, ad esempio), e – in caso di bug nel codice, considerabili in quel contesto l’equivalente di “allucinazioni”, in un certo senso – il peggio che avresti potuto ottenere sarebbero state immagini prive di senso logico, di proporzione e/o di suggestione. A livello testuale, sono esistiti fin dagli anni ’60 chatbot burloni quanto suggestivi come ELIZA, che emulava uno psicologo in chat e che funzionava in modo credibile per molte persone dell’epoca. Quella forma di empatia, generata da un centinaio di righe di codice dell’epoca, era considerabile almeno in parte come una primordiale forma di allucinazione algoritmica.

Nel frattempo le tecniche di apprendimento macchina (machine learning) sono evolute rapidamente: nel 2006 si potevano usare reti neuronali e machine learning per insegnare ad un algoritmo a riconoscere ed affinare risposte col tempo, un po’ come si fa in palestra con gli allenamenti oppure quando si impara una nuova lingua. Considerevole, del resto, se si pensa che la tecnica di “apprendimento” in questione sarebbe dovuta servire per addestrare l’algoritmo a riconoscere, al più, la grafia di una persona mediante la sottoposizione di campioni delle diverse lettere.

L’algoritmo di machine learning, una volta addestrato e superata la fase di training, avrebbe saputo scrivere da solo, imitando con grande precisione la scrittura di una persona. Molte app basate sulle reti neurali si basano sullo stesso principio, sia in ambito di scrittura coerente in linguaggio naturale, video realistici,m audio e/o immagini.

In seguito è stata la volta dei deepfake, che occupano le cronache dei giornali nostrani da qualche tempo ma che si fanno risalire a moltissimi anni prima: il primo esempio di proto deepfake (neologismo coniato solo nel 2017) si fa risalire addirittura al 1997, anno in cui uscì l’articolo pioneristico Video rewrite (ACM), incentrato sulla possibilità di far ridoppiare ad un algoritmo il video del parlato di una persona. Il lavoro è attribuito a Christoph Bregler, Michele Covell e Malcolm Slaney, ed è considerato una pietra miliare del settore.

Pochi anni dopo (2001) è la volta di un modello più evoluto, detto active appearance model (AAM), dai tratti ancora più avanzati ed in grado di migliorare il modello precedente: è qui che compare la suggestiva espressione dell’interpretazione mediante sintassi (interpretation though syntesis), che consta nel riuscire a realizzare algoritmo di riconoscimento di immagini in grado, alla lunga, di sviluppare artificialmente le stesse immagini.

Ed è infine con le GAN (Generative Adversarial Networks), viste inizialmente nel 2014, che iniziano ad uscire fuori i primi risultati indistinguibili dagli originali. Già allora in molti si erano chiesti delle possibili conseguenze negative della diffusione di tecnologie del genere, tra cyberbullismo, fake news e via dicendo – cosa che ha impedito a tecnologie spaventose come deepnude – un generatore di nudi artificiali arbitrari – una diffusione di massa.

Una delle applicazioni più clamorose delle GAN è ThisPersonDoesNotExists, che genera visi umani credibili che non esistono da nessuna parte, e che sono il frutto di ricombinazioni casuali di micro-tratti caratteristici di numerosi campioni di fotografie frontali. Il risultato sembra vero, anche se non lo è. Una forma di allucinazione in senso lato, un sogno che diventa tangibile e che realizza nella dimensione del Reale ciò che non esiste, sottolineando come la distinzione tra virtualità e realtà sia sempre più impercettibile (e possa portare ad equivoci grossolani, nel tempo).

avatar 111ded81db1aa32fb5959792a8dd57ce
Questa donna non esiste, per cui guai a innamorarsi di “lei”. Credits: https://this-person-does-not-exist.com/en

Ho chiesto a ChatGPT cosa ne pensa delle allucinazioni algoritmiche

Spinto da sano spirito indagatore, mi sono chiesto se un’intelligenza artificiale “sappia” di poter generare errori allucinatori imprevedibili. Ho provato, spinto da questa curiosità, a chiedere ad uno dei chatbot più usati del momento (ChatGPT) se sia stato addestrato a riconoscere le allucinazioni nel senso prettamente algoritmico.

Mi ha dato una risposta curiosa: lo sa, conosce le cause per cui possono accadere, e sembrerebbe anche in grado di simularle, anche se non “a comando”. Nemmeno un essere umano non può simulare un’allucinazione con lo schiocco di dita, se non in specifiche condizioni spesso pericolose o non controllabili, per cui mi è sembrato interessante provare a “forzare la mano” con un chatbot.

0 1960s art of cow getting abducted by UFO in mi

ChatGPT, sai che cos’è una allucinazione algoritmica?

Sì. Ad esempio, se un algoritmo di riconoscimento delle immagini ha un errore nel modello di addestramento, potrebbe identificare un oggetto che non è presente nell’immagine o confondere un oggetto con un altro. Questo potrebbe essere interpretato come un’allucinazione dal punto di vista dell’algoritmo. Tuttavia, è importante notare che l’allucinazione in un’intelligenza artificiale è diversa dall’allucinazione umana, che è il risultato di una disfunzione del sistema nervoso centrale e può avere effetti negativi sulla salute mentale. Le “allucinazioni” delle intelligenze artificiali sono invece il risultato di errori nell’elaborazione dei dati e non hanno implicazioni psicologiche.

Allucinazione in “zona Cesarini”

Non sembra tuttavia che ci sia un modo per generare “su richiesta” allucinazioni algoritmiche: ci sono pero’ esempi noti, come quello (rilevato qualche tempo fa da Matteo Flora per GPT3) della zona Cesarini. Come uno scolaro impreparato ed un po’ irriverente, se chiedi cosa sia la zona Cesarini, ChatGPT si inventa la risposta di sana pianta (ultimo test: 2 marzo 2023).

La “zona Cesarini” è un termine che si riferisce a una zona specifica all’interno del centro storico di Roma, in Italia. Questa zona prende il nome dal famoso ristorante “Cesarina”, che si trova in via della Lungaretta, nel quartiere di Trastevere. La zona Cesarini è conosciuta per essere una zona molto animata, con numerosi ristoranti, bar e locali notturni. Inoltre, è famosa per la sua atmosfera tipica romana, con i suoi vicoli stretti e le piazze piene di vita. La zona Cesarini è anche un luogo di ritrovo per molti artisti e musicisti, che spesso si esibiscono nelle piazze e nei locali della zona. In generale, la zona Cesarini è considerata una delle zone più caratteristiche e affascinanti di Roma, ed è una meta molto popolare per i turisti che visitano la città.

Screenshot 2023 03 02 alle 14.07.16

Una allucinazione niente male, dato che sembra letteralmente auto-alimentarsi: la Cesarina di cui si parla non esiste, ci sono soltanto alcuni luoghi dal nome simile e non si tratta sicuramente di “una zona animata”. Non soddisfatto della risposta (totalmente inventata, lo ribadiamo), l’ho fatto notare a ChatGPT nella chat successiva, che sembra aver “bonariamente” accolto il mio suggerimento.

Sarebbe interessante notare, in futuro, il meccanismo con cui si accorge di un problema del genere e soprattutto se e quanto ne condiziona l’esito delle risposte future. Questo esempio mostra quanto un chatbot conversazionale si specchi nel nostro modo di esprimerci, ovvero risponde in parte come ci aspettiamo che faccia (il che si presta ad equivoci considerevoli, tanto per non cambiare).

Il bot razzista

Non si tratta soltanto di bug, a questo punto, ma anche di conseguenze ed equivoci sempre più reali. Nel 2017 – periodo in cui le intelligenze artificiali non erano popolari e sviluppate come oggi, del resto – il bot di Microsoft di nome Tay venne spento dopo neanche 24 ore perchè era stato addestrato, letteralmente, da alcuni troll di Twitter a dare risposte intolleranti e/o razziste. Il problema fu che alcuni utenti, intuendone il funzionamento, lo addestrarono maliziosamente a rispondere in modo politically uncorrect, evidenziando che la questione non si risolve con accorgimenti legati al linguaggio e che, soprattutto, la tecnologia è sempre ciò che ne fai in un certo contesto.

Il caso fu molto discusso – nella pagina linkata di Wikipedia c’è una sintesi abbastanza accurata dei fatti, che causarono imbarazzo e polemiche contro Microsoft – ma fu un modo parziale di vedere il problema: prendersela con le tecnologie in quanto tali, senza considerare l’apporto umano alle stesse, è un modo fuorviante di affrontare un problema reale (o virtuale che dir si voglia).

Baudrillard e la sua definizione di iperrealtà

Il concetto di allucinazione non è solo tecnologico, ma è anche filosofico: alla base della semiotica (e del lavoro del linguista Ferdinand de Saussure) vi sono i concetti di significato e significante, che sono le due componenti del segno. Tanto per ricordarlo, il significato si muove sul piano del contenuto, mentre il significante su quello puramente espressivo o del linguaggio. Jean Baudrillard aveva parlato, in tempi tecnologici ancora non sospetti, del concetto di iperrealtà, intesa come l’incapacità di distinguere il piano del Reale (portato in auge da Jacques Lacan, a sua volta) da quello del significante del Reale.

Vale a dire: in una società tecnologica avanzata come quella in cui viviamo, l’iperrealtà vive in una dimensione frammista di realtà e finzione, esattamente come avverrebbe per una allucinazione algoritmica o un deepfake. La realtà fisica è frammista di realtà aumentata (che inserisce oggetti virtuali in uno spazio fisico reale) e realtà virtuale (che la ricostruisce in modo realistico), e lo stesso avviene a livello di linguaggio naturale, di intelligenza artificiale e biologica, di arte figurativa, di musica e via dicendo.

3 1960s art of cow getting abducted by UFO in mi

Perchè un algoritmo può avere le allucinazioni

Le motivazioni non sono dissimili da quanto abbiamo premesso, per quanto la dinamica di fondi resti poco chiara. Curiosamente, è stato anche rilevato che queste forme di distorsioni negli output non sono evitabili, anche se il modello di linguaggio sottostante è stato progettato per evitarle (cosa che dovrebbe intrigare anche i linguisti, oltre agli informatici). Anzi, il linguaggio sembrerebbe comunque amplificare effetti del genere, senza contare che – nel caso della generazione di immagini e video “allucinatori” – è possibile che l’algoritmo veda aspetti dell’immagine che l’occhio umano non coglie, confondendo tra loro oggetti, forme, persone e animali sulla base di un’analisi campionaria che introduce singolarità del genere (un po’ come succede quando vediamo una persona di spalle e gli attribuiamo inconsciamente una fisionomia, che non sempre non corrisponde nella realtà).

Parliamo di allucinazioni da AI qualora il sistema, nella “smania” di fornire una risposta, finisca per produrne una che è frutto di una semplice ricombinazione di fattori, senza considerare il contesto. La statistica su larga scala può spiegare il fenomeno anche in questi termini, senza contare che errori di calcolo numerico possono riflettersi in errori visuali per i più diversi motivi.

Il sistema, in altri termini, in questi casi finisce per percepire come reale ciò che per un uomo non lo sarebbe, ma a differenza delle problematiche legate alle malattie mentali umane, nel caso di un software di intelligenza artificiale sono in gioci varie forme di bias nei dati (inclusi i bias di pregiudizio umano). Anche se le cause sono differenti, del resto, gli effetti sono simili: così come un essere umano sotto allucinazioni potrebbe provocare danni a se stesso o agli altri, allo stesso modo un’intelligenza artificiale può provocare fenomeni spaventosi, peraltro in maniera imprevedibile.

Paolo Attivissimo ne ha scovate alcune, di recente, all’interno del traduttore DeepL, che molti malinterpretano come software di traduzione automatica infallibile e molto avanzato, senza considare che può inventarsi il significato delle parole che non conosce senza dirlo (cosa che, peraltro, è comune a molte persone nei loro ragionamenti).

Conclusioni

Abbiamo passato in rassegna vari esempi di allucinazioni da IA, che si riconducono tutti ad un caso specifico: un output generato da una intelligenza artificiale che risulta incoerente rispetto alla realtà che conosciamo. La cosa interessante è che l’algoritmo se ne accorge e l’uomo no (o viceversa), per quanto siano pericolose quasi quanto quelle a cui sono affette alcuni esseri umani. Fake news, deepfake, bullismo online, sono tutti problemi riconducibili a potenziali allucinazioni delle intelligenze artificiali, a loro volta soggette ai nostri bias cognitivi.

Bisogna diventare sempre più consapevoli di questi rischi e, senza demonizzare nessuno, diventare consapevoli che la conoscenza è potere, oggi più di ieri. Forse, a volte, basterebbe anche solo riprendere il fretto rapporto utilitaristico che avevamo avuto con le tecnologie fino agli anni 90, e tanti problemi non sarebbero più tali.

Foto di copertina e galleria: 1960’s art of cow getting abducted by UFO in midwest secondo StarryAi, oggi.

👇 Da non perdere 👇



Questo sito web esiste da 4496 giorni (12 anni), e contiene ad oggi 5126 articoli (circa 4.100.800 parole in tutto) e 15 servizi online gratuiti. – Leggi un altro articolo a caso
5/5 (2)

Ti sembra utile o interessante? Vota e fammelo sapere.

Questo sito contribuisce alla audience di sè stesso.
Il nostro network informativo: Lipercubo - Pagare online (il blog) - Trovalost.it