Quando senti “scatola nera”, potresti immaginare gli indistruttibili registratori di volo che sopravvivono agli incidenti aerei. O forse pensi a teatri piccoli e indipendenti. Nell’intelligenza artificiale, tuttavia, il termine descrive qualcosa di molto più opaco. Una scatola nera AI è un sistema in cui la logica interna è completamente invisibile. Puoi fornirgli dati e ottenere un risultato, ma non puoi esaminare il codice o il ragionamento dietro tale output.
L’apprendimento automatico è il motore che guida l’intelligenza artificiale moderna, inclusi strumenti generativi come ChatGPT e DALL-E 2. Si basa su tre pilastri: algoritmi, dati di addestramento e modello risultante. Un algoritmo è un insieme di procedure che apprende modelli da un set di dati di grandi dimensioni. Una volta addestrato, diventa un modello. Pensatela in questo modo: un algoritmo progettato per individuare i cani, addestrato su migliaia di foto di cani, diventa un modello di “dog spotter”. Alimentalo con un’immagine e visualizzerà se è presente un cane e dove.
Il problema è che ognuno di questi tre componenti può essere nascosto. Spesso l’algoritmo stesso è di pubblico dominio, quindi nasconderlo non aiuta molto. Gli sviluppatori trattano invece il modello o i dati di training come una scatola nera per proteggere la proprietà intellettuale. L’opposto è una “scatola di vetro”, in cui algoritmi, dati e modelli sono completamente visibili. Eppure, anche le scatole di vetro hanno delle ombre. I ricercatori non comprendono ancora appieno come funzionano gli algoritmi di deep learning. Questo divario ha dato vita al campo dell’intelligenza artificiale spiegabile, che mira a rendere questi sistemi meno magici e più simili a macchinari comprensibili.
Perché gli algoritmi opachi sollevano segnali d’allarme
C’è una forte ragione per diffidare dell’apprendimento automatico della scatola nera. Immagina un modello che diagnostica la tua salute. Accetteresti un piano di trattamento se non sapessi come il sistema è giunto alla sua conclusione? Probabilmente neanche il tuo medico lo farebbe. Devono comprendere la logica per verificare la diagnosi.
Considera le decisioni finanziarie. Se un modello di intelligenza artificiale ti nega un prestito aziendale, una scatola nera ti lascia all’oscuro. Senza sapere perché sei stato rifiutato, non puoi presentare ricorso in modo efficace. Non puoi modificare le tue finanze per migliorare le tue possibilità la prossima volta. La trasparenza non è solo bella da avere; è essenziale per il ricorso.
La sicurezza è un altro fattore critico. Per anni, l’industria tecnologica ha operato sulla base di un presupposto errato: se si tiene nascosto il software, gli hacker non riescono a trovare le vulnerabilità. Non possono invertire ciò che non possono vedere. Questa logica ha ampiamente fallito. Gli hacker possono decodificare il software osservandone il comportamento e costruendo un facsimile per scoprire i punti deboli. Non hanno bisogno del codice sorgente.
Se il software è trasparente – una scatola di vetro – i tester e gli hacker etici possono esaminarlo. Possono segnalare i punti deboli prima che gli autori malintenzionati li sfruttino. Mantenere le cose nascoste non le rende sicure; li rende semplicemente vulnerabili a coloro che hanno la pazienza di sondarli dall’esterno.
L’elemento umano nell’intelligenza artificiale spiegabile
La spinta verso un’intelligenza artificiale spiegabile non è solo una questione di curiosità. Si tratta di fiducia e responsabilità. Quando un algoritmo prende una decisione ad alto rischio, la posta in gioco è troppo alta per fare affidamento sull’intuizione. Dobbiamo sapere come pensa la macchina.
Saurabh Bagchi, professore di ingegneria elettrica e informatica alla Purdue University, ha ampiamente evidenziato questi problemi. La sua ricerca, finanziata da varie fonti governative e private, sottolinea la necessità di sistemi che gli esseri umani possano effettivamente comprendere.
La tensione tra la protezione della proprietà intellettuale e la garanzia della sicurezza è reale. Gli sviluppatori vogliono proteggere i loro modelli. Gli utenti devono fidarsi di loro. Possiamo averli entrambi? La risposta sembra propendere per la trasparenza. Perché se non possiamo spiegare la decisione, non possiamo contestarla. E se non possiamo sfidarlo, non possiamo migliorarlo.
Il futuro dell’intelligenza artificiale potrebbe non riguardare scatole di vetro perfettamente trasparenti. Potrebbe trattarsi di sistemi che, pur non essendo completamente aperti, forniscono informazioni sufficienti per essere affidabili. Quanti dettagli sono sufficienti? Questa è una domanda a cui l’industria sta ancora cercando di rispondere.
