Grokipedia, l’alternativa a Wikipedia scritta dall’IA di Elon Musk, è piena di errori fattuali, dettagli superflui e prosa goffa, secondo Bill Adair, giornalista e professore alla Duke University che ha esaminato le voci del sito su di lui.
Un articolo di Grokipedia ha erroneamente fuso la biografia di Adair con quella di Marion Danne “Bill” Adair, un giocatore e manager di baseball delle leghe minori morto nel 2002. La pagina affermava che il giornalista avesse giocato a baseball per 19 anni, diretto i Chicago White Sox e frequentato l’Arizona State University. In realtà, Adair afferma di non aver mai giocato a baseball nelle leghe minori e di essere alto 5 piedi e 8 pollici, non 6 piedi.
Grokipedia ha anche un articolo separato sul giornalista. Adair ha contato 32 errori in quella voce, inclusi dettagli inventati, informazioni obsolete e affermazioni che fraintendevano il suo lavoro. L’articolo lo identificava erroneamente come direttore del programma di giornalismo della Duke, una posizione che aveva lasciato cinque anni prima, e gli attribuiva la divulgazione della notizia della condanna di George W. Bush per guida in stato di ebbrezza nel 2000.
L’etichetta “verificato da Grok” del sito non ha impedito gli errori. Adair ha detto che molti dei problemi derivavano dall’incapacità del sistema di comprendere il materiale raccolto, più che dalla semplice invenzione di fatti. Ha descritto Grok come un sistema che combina dettagli provenienti da numerose pagine web senza riuscire ad valutarne in modo affidabile l’importanza o l’accuratezza.
La scrittura era un’altra grave debolezza. Il profilo del giornalista su Grokipedia arrivava a circa 5.600 parole, rispetto alle circa 700 parole di Wikipedia. Secondo Adair, ripeteva informazioni su PolitiFact, spiegava più volte il sistema di valutazione dell’organizzazione e ricorreva a un linguaggio dal tono aziendale e a parole d’ordine.
Nonostante queste carenze, Adair ha sostenuto che Grokipedia dimostra diversi modi in cui l’IA potrebbe assistere gli editor di Wikipedia. Le sue ricerche ampie talvolta fanno emergere informazioni che i collaboratori umani hanno trascurato. L’articolo di Grokipedia includeva molto materiale sulla ricerca di Adair sulle menzogne in politica e sul suo lavoro con i verificatori di fatti a livello internazionale, temi assenti dalla sua voce su Wikipedia.
Grokipedia includeva anche una sezione sulle critiche e sulle controversie riguardanti PolitiFact, comprese le accuse secondo cui l’organizzazione sarebbe prevenuta contro i repubblicani e la risposta di Adair. Sebbene la presentazione potesse essere eccessivamente entusiastica, Adair ha detto che questo tipo di contesto e di equilibrio potrebbe essere utile a Wikipedia, che ha ricevuto critiche da Musk e da altri che la considerano troppo orientata a sinistra.
Musk ha lanciato Grokipedia come alternativa a Wikipedia, che ha definito “Wokepedia”. Secondo quanto riferito, Grok ha copiato centinaia di migliaia di articoli di Wikipedia, in base alla licenza Creative Commons dell’enciclopedia, prima di aggiungere materiale proveniente da altre fonti online. Musk ha detto che il sistema era progettato per esaminare gli articoli più popolari di Wikipedia e aggiungere, modificare o eliminare contenuti.
Il progetto non ha ancora raggiunto le proprie ambizioni. Gli articoli di Grokipedia sono spesso obsoleti e sono stati criticati per errori, teorie del complotto, fonti poco credibili e un orientamento politico verso destra. Anche il suo processo è meno trasparente di quello di Wikipedia: sebbene i lettori possano richiedere modifiche e vedere se tali richieste vengono approvate, Grokipedia non fornisce lo stesso livello di informazioni sugli editor e sulle revisioni.
Secondo quanto riferito, il sito ha smesso di aggiornarsi per un periodo la scorsa primavera, prima di riprendere alla fine di settembre. In seguito la sua homepage è stata ridisegnata e presentava frequentemente un articolo su Musk. Grokipedia include anche funzioni come modifiche recenti mostrate casualmente e letture audio generate dall’IA in diverse voci.
Wikipedia ha vietato i contenuti generati dai modelli linguistici di grandi dimensioni, ma i materiali scritti dall’IA hanno comunque creato ulteriore lavoro per i suoi editor. Il controllo delle nuove pagine deve individuare e rimuovere gli invii di bassa qualità, mentre la Wikimedia Foundation ha avvertito che le risposte generate dall’IA potrebbero ridurre il traffico verso Wikipedia e minacciare le donazioni.
La valutazione di Adair è che l’IA non sia pronta a sostituire gli editor volontari di Wikipedia. Gli errori di Grokipedia, la prosa debole e l’incapacità di distinguere le informazioni importanti dai dettagli insignificanti sottolineano l’importanza del giudizio umano. Allo stesso tempo, la sua capacità di cercare ampiamente, raccogliere materiale trascurato e introdurre ulteriore contesto suggerisce che l’IA potrebbe diventare un utile strumento di ricerca e scrittura, se gli editor continueranno ad avere la responsabilità di valutare e selezionare i risultati.
Fonti: Nieman Lab.