OpenAI ha presentato un classificatore di immagini progettato per individuare materiale che sessualizza i minori, compresi i contenuti creati con sistemi di intelligenza artificiale. Lo strumento è pensato per affiancare le attività di moderazione e per riconoscere anche immagini mai catalogate in precedenza, un aspetto rilevante nel caso dei contenuti generati da modelli artificiali e delle applicazioni di «nudificazione».
Il sistema è stato sviluppato con il supporto del National Center for Missing and Exploited Children (NCMEC). A differenza dei metodi che cercano corrispondenze con archivi già noti, il classificatore esamina i segnali visivi associati all’abuso presenti nell’immagine. OpenAI ha comunicato che lo renderà disponibile gratuitamente tramite API alle organizzazioni verificate. Nel materiale relativo all’annuncio, l’azienda lo colloca accanto a nuove risorse destinate agli sviluppatori e alle forze dell’ordine.
I risultati dichiarati nei primi test
Secondo i dati pubblicati da OpenAI, il classificatore ha ridotto del 48% il volume di immagini da sottoporre alla revisione umana, mantenendo invariata la quantità di materiale abusivo effettivamente individuato. Le immagini segnalate dal nuovo sistema avrebbero inoltre una probabilità doppia, rispetto ai metodi precedenti, di contenere davvero abusi. Se confermati in contesti operativi più ampi, questi risultati potrebbero ridurre sia il lavoro manuale sia l’esposizione dei moderatori a contenuti estremamente traumatici.
| Partner | Risultato indicato da OpenAI |
|---|---|
| Fal | Il 72% delle segnalazioni ad alta affidabilità riguardava materiale inedito |
| SafetyKit | Rilevato il 90% dei disegni e delle animazioni sessualizzanti testati |
I test citati coinvolgono Fal e SafetyKit. OpenAI riferisce che Fal ha riscontrato materiale mai visto prima nel 72% delle segnalazioni ad alta affidabilità, mentre SafetyKit ha individuato il 90% dei disegni e delle animazioni sessualizzanti sottoposti alla prova. Si tratta di percentuali comunicate dall’azienda e riferite alle verifiche dei partner: non equivalgono a una garanzia di riconoscimento corretto di ogni contenuto.
Più restrizioni dentro ChatGPT
L’annuncio riguarda anche il comportamento di ChatGPT quando un utente cerca materiale di abuso sui minori. Il servizio mostrerà un avviso che spiega il danno provocato e le conseguenze legali, rimuoverà la conversazione segnalata e sospenderà l’accesso per 24 ore. OpenAI indica inoltre la possibilità di ricevere supporto specialistico per interrompere il comportamento dannoso.
- Le violazioni ripetute possono portare a limitazioni più lunghe.
- L’account può essere chiuso definitivamente.
- I casi possono essere segnalati alle autorità competenti.
Il nuovo classificatore e le regole più rigide intervengono su due livelli diversi: da una parte forniscono alle organizzazioni uno strumento per analizzare immagini, dall’altra rafforzano il controllo sull’uso diretto di ChatGPT. OpenAI ha pubblicato anche linee guida operative per gli sviluppatori sulla rilevazione, sulla segnalazione e sulla moderazione dei contenuti sospetti. Nel testo dell’annuncio non viene indicata una disponibilità specifica per l’Italia: l’accesso tramite API è descritto per le organizzazioni verificate.