Como o aeoda mede a visibilidade em IA

O que entra na pontuação

A unidade de medida é uma pergunta que um comprador poderia fazer. Geramos perguntas de categoria e de problema sem o nome da marca. Perguntas que contêm o nome da marca ficam à parte porque inflariam a pontuação.

Cada pergunta é feita a cada motor uma ou mais vezes. Para cada motor, registra-se a parcela de execuções que citam a marca. O valor da pergunta é a média dos motores que devolveram dados.

A fórmula

Pontuação = 100 × a média ponderada dos valores das perguntas. Motores com web ao vivo contam com peso 1 e motores de conhecimento do modelo, com peso 0,5. A pontuação de um motor usa a mesma fórmula com um único motor.

As demais métricas seguem a mesma lógica: a participação de voz é o número de menções suas dividido por todas as menções a marcas, a posição média é a sua colocação entre as marcas citadas em uma resposta, e o sentimento varia de -1 a +1.

O intervalo de confiança

As respostas de IA variam entre execuções, então uma medição é uma amostra, não um fato. Estimamos o erro padrão entre as perguntas, o que captura tanto a variância das perguntas quanto a das execuções, e informamos um intervalo de confiança de 90 % em torno da pontuação.

Com menos de cinco perguntas, o resultado é marcado como prévia, com um intervalo amplo. Mais perguntas e mais execuções estreitam o intervalo.

Quando uma mudança conta

Uma alta ou queda só é exibida quando é maior que a incerteza combinada das duas medições. Caso contrário, escrevemos que a mudança está dentro do ruído. Os e-mails nunca dizem que uma pontuação subiu ou caiu sem essa verificação.

Rótulos dos motores

ChatGPT e Claude respondem com busca ao vivo na web e são identificados como web ao vivo. O Gemini é medido sem busca ao vivo e identificado como conhecimento do modelo, porque reflete o que o próprio modelo sabe.

Os AI Overviews do Google não são medidos.

Limites que você deve conhecer

Consultamos os motores pelas interfaces oficiais. As respostas podem diferir do que as pessoas veem nos aplicativos de consumo; por isso, os resultados são observações via API e não um censo de todas as conversas dos usuários.

Os resultados dependem do conjunto de perguntas, do mercado e do idioma. Publicamos o método para que você possa avaliá-lo e continuamos ajustando-o conforme medimos.

Menções não são vendas. A pontuação diz se a IA inclui uma marca nas respostas, não se essas respostas convertem.