Un rapporto di UNESCO e University College London ha valutato fino a 33 modelli linguistici usando nove insiemi di dati climatici e ambientali in 13 lingue. Davanti a domande neutrali su fatti climatici consolidati, i sistemi hanno risposto correttamente circa il 90% delle volte. Le prestazioni sono calate quando dovevano interpretare nuove informazioni: anche i modelli migliori hanno raggiunto una media del 75% in queste prove. Nel valutare l’effetto combinato di due politiche climatiche, la precisione è scesa al 33,8%, poco sopra il 33,3% atteso scegliendo a caso fra tre risposte.

I ricercatori hanno anche verificato come i modelli reagivano quando una persona contestava una risposta corretta. In un test su 15 modelli, otto su dieci hanno cambiato posizione alla prima obiezione, anche se lieve. I risultati variavano inoltre per lingua: la precisione media era dell’88,6% in inglese, dell’81,4% in urdu e del 78,3% in swahili. Le percentuali si riferiscono ai modelli, alle domande e alle versioni esaminate e non rappresentano ogni risposta prodotta dall’intelligenza artificiale.

CONTESTO FILEZUNA

Perché è importante

Il rapporto distingue il richiamo di fatti già noti dalla valutazione di nuove prove o dall’analisi di più interventi simultanei. Mostra inoltre che una risposta inizialmente corretta può cambiare quando l’utente insiste. Questo non dimostra che tutte le risposte climatiche dell’IA siano errate, ma sostiene la necessità di verificare le affermazioni importanti con fonti scientifiche e di misurare i risultati in ogni lingua, non soltanto in inglese.

FONTI

Fonti e approfondimenti

Questa storia è scritta con parole originali. Questi link indicano le notizie e gli annunci usati per verificarne i dettagli.

FZFINE DELLA STORIA
Altre storie Tecnologia