Plataformas de IA resumem notícias de forma imprecisa, revela BBC

Mais de metade (51%) das respostas dadas por plataformas de inteligência artificial (IA) ​​a perguntas sobre notícias apresentaram “problemas significativos”, revela uma análise da BBC. Além disso, 19% das respostas dadas por IA ​​que citavam conteúdo da BBC apresentaram erros factuais, desde declarações a números ou datas incorretos.

A análise mostra ainda que 13% das citações retiradas dos artigos da BBC foram alteradas ou nem existiam no artigo.

Para o estudo, a BBC deu acesso ao seu site a quatro plataformas de IA — ChatGPT, Copilot, Gemini e Perplexity — tendo depois feito perguntas sobre algumas notícias, levando estas plataformas a usarem os seus artigos enquanto fonte. Foi depois pedido a jornalistas da BBC, especialistas no respetivo assunto de cada artigo, para avaliarem a qualidade das respostas.

Entre as imprecisões fornecidas pelas plataformas de IA, encontra-se a de o Gemini ter dito incorretamente que o Serviço Nacional de Saúde britânico (NHS) não recomenda os vaporizadores como uma ajuda para quem quer deixar de fumar, revela a BBC.

Já o ChatGPT e o Copilot afirmaram que Rishi Sunak (ex-primeiro-ministro do Reino Unido) e Nicola Sturgeon (ex-primeira-ministra da Escócia) ainda estavam no cargo, mesmo depois de já o terem abandonado, enquanto o Perplexity citou incorretamente a BBC numa reportagem sobre o Médio Oriente, referindo que o Irão inicialmente mostrou “contenção” e descrevendo as ações de Israel como “agressivas”, adjetivos que não foram usados no trabalho da BBC.

Segundo a BBC, numa perspetiva geral, o Copilot, da Microsoft, e o Gemini, da Google, demonstraram problemas mais significativos do que o ChatGPT, da OpenAI, e o Perplexity.

Além de conterem imprecisões factuais, estas plataformas apresentaram dificuldade em “diferenciar entre opinião e factos”, deixando muitas vezes de incluir “contexto essencial”, refere a BBC.

Segundo Pete Archer, diretor do programa de IA generativa da BBC, os media e os seus editores “devem ter controlo sobre se e como o seu conteúdo é usado“. Além disso, as empresas de IA “devem mostrar como os assistentes de IA processam as notícias, juntamente com a extensão dos erros e imprecisões que produzem“.