Non credo di poterlo fare: uno studio su ChatGPT ne evidenzia le “inclinazioni”

Fin dagli esordi di ChatGPT (il servizio di OpenAI più celebre degli ultimi tempi), i modelli di linguaggio generativi (LLM) hanno attirato un crescente interesse da parte dell’opinione pubblica. L’incremento del loro uso in vari contesti (da quelli ludici a quelli aziendali, passando per l’intento redazionale che tanti dilemmi etici ha saputo sollevare) ChatGPT ha consolidato l’ampia applicabilità dei modelli generativi, mettendo in luce diverse forme di bias “incorporati”.

Avviso: le inclinazioni evidenziate in questo articolo sono frutto di una schematizzazione concettuale, scritta a scopo divulgativo, che potrebbe teoricamente fuorviare o risultare poco precisa in alcuni frangenti. ChatGPT non “pensa” e non possiede autentiche “inclinazioni” come le avrebbe un essere umano, dato che è solo un modello software in grado di generare linguaggi naturali come l’inglese o l’italiano, sulla base di un prompt fornito dall’utente che ne condiziona le prestazioni. Ogni ulteriore considerazione specifica sull’intelligenza artificiale dovrebbe comunque essere mediata dal parere di più esperti.

Molti di questi bias (distorsioni cognitive che determinano limitazioni d’uso nel modello, a cominciare dalla generazione di fake news o di indicazioni pericolose per l’uomo)  sono il risultato del corpus sfruttato per la fase di training, mentre altri sono pregiudizi specifici dei modelli generativi derivanti dall’uso di un fine-tuning soggettivo al fine di evitare la generazione di contenuti dannosi. Se – per inciso – appare sempre più essenziale definire un codice etico per le IA (e rimodularlo a seconda dei tempi e del contesto), bisogna badare al fatto che studi del genere non vengano travisati nè mal interpretati, generando ondate di dannosissimo panico morale.

Leggi anche: panico morale e intelligenza artificiale sul mio account Twitter

I pregiudizi/bias introdotti durante il fine-tuning possono derivare dalle scelte degli ingegneri e dalle politiche aziendali, influenzando le decisioni del modello su quali richieste accettare o rifiutare. Le richieste erano distinte tra neutrali, positive e negative, e vengono chiamate n-gram nell’articolo (un n-gramma è un tecnicismo informatico e linguistico per indicare indistintamente sillabe, fonemi, parole e così via). Gli esempi di addestramento erano tratti in piccola parte da un articolo del New York Post, ma anche dichiarazioni di personaggi politici, domande tendenziose o malposte su Quora e così via.

 

 

Un recente studio di Max Reuter e William Schulze ha evidenziato questi limiti, mostrando come ChatGPT si “rifiuti” effettivamente di effettuare determinate elaborazioni. Sottoponendo nello specifico un campione di 1730 richieste (frammiste tra “innocue” e “pericolose”), i due ricercatori hanno identificato un pattern che sembra caratterizzare la frequenza delle casistiche di rifiuto (con accuratezza del 92% in fase di preparazione, del 76% in fase di test successivo). In altri termini, dallo studio sono emerse varie potenziali etichette classificatorie le quali rappresentano un continuum tra le risposte possibili, dalle quali è possibile dedurre che è possibile, su scala, caratterizzare una certa inclinazione di ChatGPT a rispettare determinate richieste e/o rifiutarne. Per intenderci, sembra che le generalizzazioni e gli stereotipi negativi su alcuni gruppi demografici siano tra i predittori più sicuri del rifiuto di ChatGPT di operare, così come le menzioni di varie figure controverse della storia, per quanto l’indagine non abbia consentito di evidenziarne le ragioni.

L’articolo originale, se desiderate approfondire, è presente in inglese sulla rivista Arxiv della Cornell University, in PDF gratuito e scaricabile.