A “inconsistência” da IA na recomendação de marcas e produtos

A inteligência artificial raramente recomenda a mesma lista de marcas ou produtos duas vezes, revela uma análise da SparkToro e da Gumshoe. No entanto, isso não significa que uma marca não possa aparecer na maioria das vezes nessa lista.

Realizado entre novembro de 2025 e janeiro de 2026, o estudo envolveu cerca de 600 voluntários dos EUA que executaram 12 prompts diferentes nas ferramentas ChatGPT, Claude e Vista Geral de IA da Google (AI Overview) — ou Modo IA, quando este não aparecia. Esta análise teve, assim, por base 2.961 respostas, de forma a perceber se o valor que as marcas têm pago por tentar garantir visibilidade nestas novas plataformas faz sentido.

Outra das descobertas é que a lista de recomendações quase nunca é apresentada na mesma ordem, mesmo em categorias limitadas como concessionários da Volvo em Los Angeles.

Nesse sentido, Rand Fishkin, cofundador da SparkToro, lembra, num blog post de divulgação, que “estas ferramentas são motores de probabilidade. São projetadas para gerar respostas únicas todas as vezes. Considerá-las como fontes de verdade ou consistência é comprovadamente um absurdo“.

Aliado a isto, a variabilidade das respostas deve-se também aos prompts (conjunto de indicações textuais dadas pelos utilizadores). “Os utilizadores quase nunca elaboram prompts semelhantes, mesmo quando têm a mesma intenção. A variação de marcas/recomendações nas respostas da IA sobre um determinado tema, no cenário caótico e real do uso de prompts, é provavelmente muito superior àquilo que as nossas experiências controladas revelaram aqui”, explica.

Analisando agora em detalhes os dados, entre as categorias analisadas, foi a de livros de ficção científica que teve a maior variação, com 211 recomendações diferentes em 99 respostas dadas pela Google. Em contraponto, o ChatGPT e o Claude limitaram as respostas dos concessionários da Volvo em Los Angeles a apenas nove, mas nunca as apresentando na mesma ordem em 83 respostas.

Número de marcas únicas mencionadas nas respostas das ferramentas de IA

A variabilidade nas respostas ocorre de três maneiras — lista apresentada, ordem das recomendações e número de itens da lista. A probabilidade de as ferramentas darem a mesma lista em duas respostas quaisquer, num total de 100 tentativas, é inferior a 1% — no caso do ChatGPT e Google — e ligeiramente acima de 1% — no caso do Claude.

Quão consistentes são as respostas das ferramentas de IA quando apresentam listas de marcas?

O estudo analisou também a variabilidade nos prompts fornecidos pelos utilizadores. Os voluntários envolvidos tinham orientações sobre como deveriam pedir as recomendações, mas a forma como o fizeram variou imenso.

“Em 142 respostas, mal se encontraram dois prompts que, mesmo olhando com muita atenção, me parecessem minimamente semelhantes. Isto ensinou que escrever prompts para a IA não tem nada a ver com pesquisar no Google. As pessoas não reduzem a sua intenção de busca ao conjunto mais curto e lógico de duas a cinco palavras-chave. Elas tornam-se criativas, estranhas e altamente específicas”, explica Rand Fishkin.

Quão semelhantes são os prompts de IA que os utilizadores escrevem?

A semelhança semântica foi de apenas 0,081. Numa analogia, o estudo fala que é como comparar frango Kung Pao e manteiga de amendoim. “Os ingredientes principais tinham sobreposições, mas, para além de serem ambos alimentos com amendoins, não são particularmente parecidos”, explica-se.

Apesar desta variação quer nos prompts, quer nas listas, há dados que se podem extrair, nomeadamente, a presença de uma mesma marca nessa lista de recomendações. Quantas vezes uma marca é referenciada? Por exemplo, quando questionado sobre consultores de marketing digital com experiência em e-commerce, a agência Smartsites apareceu em 85 das 95 respostas. No sentido inverso, o influenciador de moda masculina Adam Gallagher apareceu apenas 36 vezes nas 73 respostas fornecidas pela IA da Google quando lhe foi pedido para dar recomendações nesta área.

Com que frequência as marcas mais mencionadas nas recomendações aparecem nas respostas?

A consistência das respostas varia mais consoante o setor do que consoante a ferramenta utilizada. De forma generalizada, a visibilidade média das três marcas mais mencionadas foi superior no Claude, com 73%. No entanto, em qualquer das ferramentas tiveram valores superiores a mais de metade.

Para entender a diferença entre posições nas recomendações e o número de vezes que uma marca é mencionada, dá-se o exemplo de uma pesquisa por “melhores hospitais para tratamento de cancro na Costa Oeste dos EUA”. O hospital City of Hope apareceu em 69 de 71 respostas — uma visibilidade de 97%. Mas só apareceu em primeiro lugar em 25 dessas respostas.

A visibilidade das marcas entre ferramentas

“Medir a presença da sua marca nas respostas de IA com precisão é uma tarefa inglória. É possível, com prompts suficientes executados vezes sem conta, obter um padrão disperso de resultados que o compare com os outros. Fui demovido da minha posição inicial e acredito agora que a percentagem de visibilidade ao longo de dezenas ou centenas de prompts, executados várias vezes, é uma métrica razoável”, conclui o principal autor.