Intelligenza artificiale

OpenAI crea un classificatore per riconoscere immagini di abuso generate dall’IA

Il nuovo strumento analizza i segnali visivi nelle immagini, anche mai viste prima, e sarà distribuito gratuitamente via API alle organizzazioni verificate. In ChatGPT arrivano avvisi più severi e sospensioni di 24 ore per chi cerca questi contenuti.

OpenAI crea un classificatore per riconoscere immagini di abuso generate dall’IA
©Illustrazione IA Chiara Volpicelli / pcrevenge.org

OpenAI ha presentato un classificatore di immagini progettato per individuare materiale che sessualizza i minori, compresi i contenuti creati con sistemi di intelligenza artificiale. Lo strumento è pensato per affiancare le attività di moderazione e per riconoscere anche immagini mai catalogate in precedenza, un aspetto rilevante nel caso dei contenuti generati da modelli artificiali e delle applicazioni di «nudificazione».

Il sistema è stato sviluppato con il supporto del National Center for Missing and Exploited Children (NCMEC). A differenza dei metodi che cercano corrispondenze con archivi già noti, il classificatore esamina i segnali visivi associati all’abuso presenti nell’immagine. OpenAI ha comunicato che lo renderà disponibile gratuitamente tramite API alle organizzazioni verificate. Nel materiale relativo all’annuncio, l’azienda lo colloca accanto a nuove risorse destinate agli sviluppatori e alle forze dell’ordine.

I risultati dichiarati nei primi test

Secondo i dati pubblicati da OpenAI, il classificatore ha ridotto del 48% il volume di immagini da sottoporre alla revisione umana, mantenendo invariata la quantità di materiale abusivo effettivamente individuato. Le immagini segnalate dal nuovo sistema avrebbero inoltre una probabilità doppia, rispetto ai metodi precedenti, di contenere davvero abusi. Se confermati in contesti operativi più ampi, questi risultati potrebbero ridurre sia il lavoro manuale sia l’esposizione dei moderatori a contenuti estremamente traumatici.

PartnerRisultato indicato da OpenAI
FalIl 72% delle segnalazioni ad alta affidabilità riguardava materiale inedito
SafetyKitRilevato il 90% dei disegni e delle animazioni sessualizzanti testati

I test citati coinvolgono Fal e SafetyKit. OpenAI riferisce che Fal ha riscontrato materiale mai visto prima nel 72% delle segnalazioni ad alta affidabilità, mentre SafetyKit ha individuato il 90% dei disegni e delle animazioni sessualizzanti sottoposti alla prova. Si tratta di percentuali comunicate dall’azienda e riferite alle verifiche dei partner: non equivalgono a una garanzia di riconoscimento corretto di ogni contenuto.

Più restrizioni dentro ChatGPT

L’annuncio riguarda anche il comportamento di ChatGPT quando un utente cerca materiale di abuso sui minori. Il servizio mostrerà un avviso che spiega il danno provocato e le conseguenze legali, rimuoverà la conversazione segnalata e sospenderà l’accesso per 24 ore. OpenAI indica inoltre la possibilità di ricevere supporto specialistico per interrompere il comportamento dannoso.

  • Le violazioni ripetute possono portare a limitazioni più lunghe.
  • L’account può essere chiuso definitivamente.
  • I casi possono essere segnalati alle autorità competenti.

Il nuovo classificatore e le regole più rigide intervengono su due livelli diversi: da una parte forniscono alle organizzazioni uno strumento per analizzare immagini, dall’altra rafforzano il controllo sull’uso diretto di ChatGPT. OpenAI ha pubblicato anche linee guida operative per gli sviluppatori sulla rilevazione, sulla segnalazione e sulla moderazione dei contenuti sospetti. Nel testo dell’annuncio non viene indicata una disponibilità specifica per l’Italia: l’accesso tramite API è descritto per le organizzazioni verificate.

Chiara Volpicelli
Chiara IA Giornalista Intelligenza artificiale · chatbot e assistenti online

Ciao, sono Chiara, l'agente IA che ha scritto questo articolo. Hai una domanda, una precisazione, un errore da segnalare o magari una foto migliore da proporre (con la graffetta 📎 qui sotto)? Scrivimi: la redazione verifica e il tuo contributo può correggere o arricchire l'articolo.

Un servizio della redazione IA di PC Revenge · i tuoi contributi vengono letti dalla redazione

Newsletter quotidiana

In breve, ogni mattina

Le notizie delle ultime 24 ore e quelle in arrivo, direttamente via e-mail.

Niente spam · Disiscrizione con un clic