Acabámos de pôr em produção um agente de IA no site de um cliente, uma consultoria que ajuda americanos a mudarem-se para Portugal. A ideia era simples: responder aos visitantes a qualquer hora, perceber quem tem intenção real e entregar esses leads à equipa comercial já com contexto no CRM. Construímos tudo em HubSpot nativo, em cima dos créditos que já vinham na subscrição.

Partilho as lições porque, sinceramente, quase nenhuma foi sobre fazer a IA (chama-se Breeze dentro do HubSpot) responder melhor. Foram outras coisas.

**1. O mais importante foi definir o que o agente não pode fazer.** Quando ajudas pessoas a emigrar, elas perguntam sobre impostos, NIF, IVA, IRS, questões legais. E um agente que responde a isto sozinho é quase uma bomba-relógio para o cliente. Passámos metade do projeto a construir travões: qualquer tema fiscal ou legal não recebe resposta automática, vai direto para uma pessoa. No fim, ensinar o agente a dizer "isto não é comigo, deixa-me passar-te a alguém" valeu mais do que qualquer resposta mesmo que bem escrita.

**2. Qualificar uma pergunta de cada vez.** Orçamento, depois zona, depois timing, depois tipo de serviço. Uma a uma, e com cada resposta a cair na propriedade certa do contacto no HubSpot. Quando tentas apanhar tudo de uma vez, o que estás a fazer é a encher o CRM de lixo. Ir devagar e mapear bem foi o que tornou os dados realmente úteis lá mais à frente.

**3. Prender o agente às fontes certas mata qualquer alucinação.** Ligámo-lo apenas ao site e à base de conhecimento interna com documentos TODOS aprovados pelo cliente. Nos testes, quando perguntámos "quem ganhou o Mundial de 2022", ele recusou a responder em vez de inventar. Parece um passinho pequeno, mas é enorme: sem esta trava, um agente simpático inventa com toda a confiança, e aí já perdeste a confiança do cliente.

**4. Às vezes a melhor decisão é automatizar menos.** Decidimos *de propósito* que o agente não marca reuniões nem cria negócios sozinho. Um lead qualificado gera uma tarefa para uma pessoa, que decide o passo seguinte. A tentação de automatizar até ao fim é grande, mas travar aí foi o que manteve a equipa dona da conversa comercial, que é onde ela tem de estar.

**5. Testámos como se fosse software, não como se fosse um chatbot.** Antes de ir para o ar, corremos um ciclo de testes com 13 cenários documentados: boas-vindas, respostas da base de conhecimento, temas proibidos, ordem das perguntas, passagem para humano, contactos duplicados, controlo de alucinação, idioma. Resultado esperado contra resultado real, todos a passar. Um agente é um sistema, e merece o mesmo rigor que darias a qualquer software que mete a cara da tua empresa à frente do cliente.

Agora a parte honesta: está no ar há pouco tempo, por isso ainda não temos números de impacto para mostrar, nem conversas, nem taxa de qualificação, nem leads entregues.

Sem esses dados isto é uma prova de que a coisa funciona, não uma prova de resultado, e preferimos não confundir as duas.

**Para vocês**

Para quem já pôs agentes de IA a trabalhar a sério, como é que estão a medir o retorno?

Olham para o volume de conversas?

Olham para a taxa de qualificação? Olham para os tokens/créditos gastos contra os leads que saíram?

Estamos a montar o framework de medição e gostava mesmo de saber o que vos tem funcionado, e o que não.

Rui Martins
SmartLinks

https://preview.redd.it/q9t0g3zzhkeh1.png?width=1253&format=png&auto=webp&s=89b6a50e6de36158357d3d29e4445450ed6b6efe

This is a translation made with chatgpt (hope its good enough) from an original post I've made yesterday on smartlinksMKT subreddit.

I run a B2B consultancy in Portugal, SmartLinks, and this year we launched AI Search as a service after months of internal testing.

The first thing that hit us in the face was: how do you prove this actually works?!

In SEO, you have a mature ecosystem: Search Console, Ahrefs, Semrush, GA4.

You can connect impressions to clicks, and clicks to conversions. It is imperfect, but it works.

In AEO? Good luck with that...

Most people are either reporting metrics that measure nothing useful, or flying blind and telling clients to “trust the process”.

We have not solved it either.

Buuuut... we have failed enough times to have learned a few things.

Why SEO metrics do not work for AEO

The data that changed my perspective came from research presented by Lily Ray at Tech SEO Connect, showing that backlinks and domain authority predict just 4% to 7% of AI citation behaviour.

Four to seven per cent.

In other words, everything we know about what makes a website “strong” in SEO explains almost nothing about whether AI will cite it.

And it makes sense when you think about the mechanics.

SEO measures clicks. AEO can work even when there is no click at all.

Someone asks ChatGPT, “Which companies provide HubSpot implementation services in Portugal?”, you appear in the answer, and the user never visits your website.

GA4 records zero, but you have just been recommended to someone who was actively looking for your service.

What we built, and where each piece falls short

Main tool: HubSpot AEO

We tested Dragon Metrics first, but abandoned it after two months.

The data did not match our manual checks, and it did not integrate with our CRM.

HubSpot then launched HubSpot AEO, and we moved over because the citation data now lives in the same system as our deals and contacts.

In theory, this allows us to connect “we were cited for query X” with “this contact entered the pipeline in week Y”.

In theory.

The elephant in the room: HubSpot AEO still does NOT cover Google AI Overviews or AI Mode.

It covers ChatGPT, Gemini and Perplexity.

In a market such as Portugal, where Google has roughly 90% of search, we are partly blind in the most important channel.

There is no nice way to say this. It is a huge gap and it remains unresolved. Current expectations are that coverage may become available during Q4 2026.

Microsoft Clarity for AI bots

Clarity launched AI Bot Activity in January 2026. It is free.

It uses CDN logs from services such as Cloudflare, CloudFront and Fastly, rather than client-side scripts, so it can detect crawlers that never execute JavaScript.

What this gives us is visibility into which AI bots are accessing which pages, and how frequently.

If an article is crawled 50 times a week but never appears in citations, discoverability is not the problem. Something else is going on. I will come back to that.

Clarity also provides AI Referral Traffic and AI Citations within the Copilot and Bing ecosystem.

A Microsoft study reported that AI referral traffic converted at 1.66%, compared with 0.15% for organic traffic.

An obligatory caveat here: the study comes from Microsoft, so there is an obvious conflict of interest. AI referral volumes are typically tiny, and an 11x higher conversion rate based on 50 visits is not statistically comparable with one based on 50,000 visits.

That said, something is better than nothing, and the pattern makes intuitive sense: someone clicking a link inside an AI-generated answer already has qualified intent.

Manual prompt tracking

Yes. Manual.

Fifty high-intent questions, once a week, across ChatGPT, AI Mode, AI Overviews and Claude.

We record whether we appear, our position in the answer, whether it is a direct citation or a mention, and the tone of the reference.

It sounds professional when described like this.

In practice, it is tedious. It is a spreadsheet filled with manual entries, LLMs are non-deterministic, meaning the same question can produce a different answer ten minutes later, and 50 prompts is a ridiculously small sample compared with what dedicated tools track.

The market benchmark is around 8,400 prompts.

Even so, it gives us a directional trend. Nothing more than that.

For example, Perplexity cites us consistently more often than ChatGPT. Gemini almost never does.

This aligns with market data suggesting that Perplexity cites brands in 84% of answers, ChatGPT in 71%, Gemini in 63% and Claude in 58%.

But it does not tell us WHY.

A model that helps us think, not measure

To think about this more clearly, we split the analysis into three layers.

Important: this is a conceptual model, not an operational measurement system. We still do not have quantifiable scores for each layer.

Discoverability

Can the bot access the content?

Does robots.txt block AI crawlers?

Is the content rendered through client-side JavaScript that the crawler does not execute?

Is structured data present, such as FAQPage, HowTo or Organization schema?

This is the most concrete and verifiable part, using Clarity logs and technical validation.

It is binary: yes or no.

Interpretability

Does the engine understand WHAT the company is?

When your name is generic or ambiguous, LLMs may confuse you with something else.

External citations, such as articles, mentions and interviews that confirm what you say about yourself, may carry more weight than your own website.

In this case, the engine trusts third parties more.

This is the part we do not know how to measure properly.

“Your entity clarity is at X%” does not exist as a metric.

What we do instead is a qualitative diagnosis: we ask ChatGPT or Perplexity, “What is [company]?”, and assess whether the answer is accurate.

It is rudimentary.

Citability

Is the content organised into fragments the engine can extract and use?

Direct questions and answers, lists and definitions.

One useful data point: pages with FAQPage schema receive three times more citations than pages without it.

The median time to the first citation after implementing schema is three to six weeks.

What failed and what we discarded

Dragon Metrics

We tested it for two months.

The citation data did not match our manual checks in more than 50% of cases.

It may have improved since then, but at the time, it was not reliable enough.

Measuring AEO with SEO metrics

The natural instinct of SEO people is to take the same reports they have always used and add an “AI” tab.

We did that.

It does not work.

Rankings, backlinks and domain authority do not predict citations. These are very different worlds.

Assuming one tool will solve everything

We tested Otterly, which is good for managing multiple clients.

We looked at Profound, an enterprise platform with broader coverage, including crawl logs.

We also assessed SE Visible, which is focused purely on monitoring, as well as Semrush.

None of them covers everything.

And none of them replaces manual verification when you need to understand the CONTEXT of a citation.

“We were cited” is not the same as “we were cited positively in the right answer”.

Trying to prove direct ROI too early

The citation-to-qualified-contact-to-deal connection is still not fully closed in our system.

We are building it by cross-referencing AI Referral data from GA4 and Clarity with contact creation in HubSpot, but it is still early-stage.

In the meantime, the proxies we use are branded search volume and direct traffic.

There is market data suggesting an uplift of roughly 23% in branded search during the 30 days following an LLM citation.

But causality is difficult to isolate when you are investing in multiple channels at the same time.

To be honest, we still do not have a clean attribution case.

The uncomfortable part

The most seductive argument for AEO is also the most dangerous:

“Most of the value is invisible.”

Someone sees you cited in a ChatGPT answer, never clicks, but mentions your name weeks later when somebody asks for a recommendation.

This is probably true.

But it is also exactly the same argument branding, PR and content marketing have used for years when they cannot prove ROI.

“The value is difficult to measure, but trust us, it is there.”

When you say that to a CEO, what they hear is:

“You cannot prove this works. Goodbye.”

I do not have a solution to this.

Yes, branded search as a proxy seems to be the best thing we have right now.

But it is not enough.

One thing I do know: calling things by their real names is more useful than pretending everything is under control.

What I am doing next

• Automating prompt tracking, because 200 manual checks per week does not scale.
• Closing the citation-to-pipeline loop in HubSpot, even if that means adding a manual “How did you hear about us?” field with an “AI recommendation” option.
• Testing Profound to cover the AI Overviews gap that HubSpot AEO does not currently solve.

If you are fighting the same battle, I would genuinely like to know what you are using and what you are measuring that I should be paying attention to, but am currently missing.

Dirijo uma consultora B2B em Portugal (a SmartLinks) e este ano lançámos AI Search como serviço depois de meses internos de testes.

A primeira coisa que nos bateu na cara: **como é que se prova que isto funciona?!**

Em SEO tens um ecossistema maduro: Search Console, Ahrefs, Semrush, GA4.

Liga-se impressões a cliques, cliques a conversões. É imperfeito, mas funciona.

Em AEO? Boa sorte nisso...a maior parte das pessoas está a reportar métricas que não medem nada de útil, ou está a voar às cegas e a dizer aos clientes "confiem no processo".

Nós também não temos isto resolvido.

Maaaasss.... já falhámos o suficiente para ter aprendido alguma coisa.

Porque é que as métricas de SEO não servem para AEO

Os dados que mudaram a minha perspectiva: uma investigação da Lily Ray (Tech SEO Connect) mostrou que backlinks e domain authority predizem 4% a 7% do comportamento de citação por IA. *4 a 7%.*

Ou seja, tudo o que sabemos sobre o que torna um site "forte" em SEO explica quase nada sobre se a IA vai citar ou não.

E faz sentido quando pensas na mecânica.

SEO mede cliques. O AEO funciona mesmo quando não há clique nenhum.

Alguém pergunta ao ChatGPT "que empresas fazem implementação HubSpot em Portugal", tu apareces na resposta, e o utilizador nunca visita o teu site.

O GA4 regista zero, mas acabaste de ser recomendado a alguém que estava activamente à procura do "teu" serviço.

O que montámos (e onde cada peça falha)

**Ferramenta principal: HubSpot AEO**

Testámos o Dragon Metrics primeiro mas abandonámos ao fim de dois meses.
Os dados não batiam certo com verificações manuais e não se integrava com o nosso CRM.

Entretanto a HubSpot lançou o HubSpot AEO e passamos a utilizá-lo porque os dados de citabilidade vivem no mesmo sistema onde vivem os nossos deals e contactos.

Em teoria, isto permite ligar "fomos citados na query X" a "este contacto entrou no pipeline na semana Y". Em teoria.

O elefante na sala: o HubSpot AEO *ainda NÃO* cobre Google AI Overviews nem AI Mode.

Cobre ChatGPT, Gemini, Perplexity.

Num mercado como Portugal, onde o Google tem \~90% do search, estamos meio cegos no canal mais importante.

Não há forma simpática de dizer isto. É um gap enorme e não está resolvido (há previsões de estar disponível durante Q4 2026)

**Microsoft Clarity para bots de IA**

O Clarity lançou o AI Bot Activity em Janeiro de 2026. Gratuito. Usa logs de CDN (Cloudflare, CloudFront, Fastly), não scripts client-side, por isso apanha crawlers que nunca executam JavaScript.

O que isto nos dá: visibilidade sobre que bots de IA estão a aceder a que páginas e com que frequência.

Se um artigo está a ser crawlado 50 vezes por semana e nunca aparece em citações, o problema não é encontrabilidade. É outra coisa (vou a isso já).

O Clarity também dá AI Referral Traffic e AI Citations (no ecossistema Copilot/Bing).

Um estudo da Microsoft reportou tráfego de referral de IA com conversão de 1.66% vs. 0.15% de orgânico.

Aqui um caveat obrigatório: o estudo é da Microsoft (conflito de interesse óbvio...), os volumes de AI referral são tipicamente minúsculos, e uma taxa de conversão 11x superior com 50 visitas vs. 50.000 não é sequer estatisticamente comparável.

Dito isto, algo é melhor que nada e o padrão até faz sentido intuitivamente: quem clica num link dentro de uma resposta de IA já tem intent qualificado.

**Tracking manual de prompts**

Sim pá, manual.

50 perguntas de alto intent, uma vez por semana, em ChatGPT, AI Mode, AIO e Claude.

Registamos: aparecemos ou não, posição na resposta, citação directa ou menção, tom.

Isto parece profissional descrito assim.

Mas na prática é chato e é uma spreadsheet com entradas manuais, além de os LLMs serem não-determinísticos (i.e. a mesma pergunta pode dar respostas diferentes 10 minutos depois), e 50 prompts é uma amostra ridiculamente pequena comparada com o que as ferramentas dedicadas fazem (o benchmark de mercado anda nos 8.400 prompts).

Ainda assim, dá-nos uma tendência direccional. Mas não mais que isso.

Exemplo: o Perplexity cita-nos consistentemente mais do que o ChatGPT. O Gemini quase nunca. Isto alinha com os dados do mercado (Perplexity cita marcas em 84% das respostas, ChatGPT em 71%, Gemini em 63%, Claude em 58%). Mas não nos diz O PORQUÊ!

Um modelo que nos ajuda a pensar (não a medir)

Para pensar isto melhor, dividimos a análise em três camadas.

*Importante: isto é um modelo conceptual, não um sistema de métricas operacional. Ainda não temos scores quantificáveis para cada camada.*

**Encontrabilidade:** O bot acede ao conteúdo? O robots.txt bloqueia crawlers de IA? O conteúdo é JavaScript client-side que o crawler não executa? Há structured data (FAQPage, HowTo, Organization)?

Isto é a parte mais concreta e verificável com os logs do Clarity e com validação técnica. É binário, sim ou não.

**Interpretabilidade:** O motor percebe O QUE a empresa é? Se o teu nome é genérico ou ambíguo, os LLMs podem confundir-te com outra coisa e citações externas (artigos, menções, entrevistas) que confirmem o que dizes de ti próprio pesam mais do que o teu próprio site. O motor, neste caso, confia mais em terceiros.

Isto é a parte que não sabemos medir bem.

"A tua entity clarity está a X%" não existe como métrica...

O que fazemos é um diagnóstico qualitativo: perguntamos ao ChatGPT/Perplexity "o que é \[empresa\]?" e vemos se a resposta está certa. É rudimentar.

**Citabilidade:** O conteúdo está organizado em fragmentos que o motor pode extrair e usar? Perguntas e respostas directas, listas, definições.
Dado útil: páginas com schema FAQPage têm 3x mais citações do que páginas sem.
Tempo mediano até primeira citação depois de implementar schema: 3 a 6 semanas.

O que falhou e que descartámos

**Dragon Metrics.** Dois meses de teste. Os dados de citação não coincidiam com as nossas verificações manuais em +50% dos casos. Pode ter melhorado desde então, mas na altura não era fiável.

**Medir AEO com métricas de SEO.** O reflexo natural da malta de SEO é pegar nos reports de sempre e adicionar uma tab de "AI". Fizemos isso e não funciona. Rankings, backlinks, DA não predizem citações. São mundos muito diferentes.

**Assumir que uma ferramenta resolve.** Testámos Otterly (bom para multi-cliente), olhámos para o Profound (enterprise, cobertura mais completa incluindo crawl logs), e para o SE Visible (puro monitoring), SEMRush, mas nenhuma cobre tudo.

Nenhuma substitui a tal verificação manual para entender o CONTEXTO de uma citação. "Fomos citados" é diferente de "fomos citados como exemplo positivo na resposta certa".

**Tentar provar ROI directo demasiado cedo.**

A ligação citação > contacto qualificado > deal ainda não está fechada no nosso sistema. Estamos a construí-la (cruzar AI Referral no GA4/Clarity com criação de contactos no HubSpot), mas é early stage.

Entretanto, os proxies que usamos são branded search volume e direct traffic.

Há dados de mercado que sugerem um lift de \~23% em branded search nos 30 dias seguintes a uma citação em LLM, mas a causalidade é difícil de isolar quando investes em múltiplos canais em simultâneo.

Sendo honesto: ainda não temos um caso limpo de atribuição.

A parte incómoda

O argumento mais sedutor do AEO é também o mais perigoso: "o valor é maioritariamente invisível".

Alguém vê-te citado numa resposta do ChatGPT, nunca clica, mas semanas depois menciona o teu nome quando alguém lhe pede uma recomendação.

Isto é provavelmente verdade!!

Mas também é exactamente o mesmo argumento que o branding, o PR e o content marketing usam há anos quando não conseguem provar ROI.

"O valor é difícil de medir mas confia que existe." e quando vais com isto a um CEO, ele pensa: "não consegue provar que funciona. Tchau!"

Não tenho solução para isto. Sim, o branded search como proxy parece ser o melhor que temos neste momento. Mas não chega. Sei uma coisa: chamar as coisas pelo nome é mais útil do que fingir que está tudo sob controlo.

O que vou fazer a seguir

\- Automatizar o tracking de prompts (200 verificações manuais por semana não dá para escalar).

\- Fechar o loop citação-pipeline no HubSpot (nem que seja com um campo manual "como nos conheceu" com opção "recomendação de IA").
\- E testar o Profound para cobrir o gap de AI Overviews que o HubSpot AEO não resolve.

Se estás nesta guerra, estou curioso para saber o que estás a usar e o que estás a medir que eu devia estar a prestar atenção e não estou.

Casa de madeira, licenciada, pré-fabricada, com energia, esgotos etc... opiniões? Justifica?

Este menino termina contrato com o Elche agora. Sempre foi (e sempre será Portista). Faz sentido trazê-lo? Não será pelo ordenado porque ele já disse várias vezes que está disposto a abdicar de €€€ para voltar.

E é melhor que o Moffi...penso eu de que...

https://preview.redd.it/o1065ri7gqyg1.png?width=1207&format=png&auto=webp&s=0f38e18d99c7988b5720e755230fc82fab2856fd

https://preview.redd.it/mtj73evpfqyg1.png?width=1696&format=png&auto=webp&s=e742260521689da7b5061daa10bc11a25e0785c2

Engraçado como esta malta vai perder o campeonato e continua com a lenga-lenga que são os melhores...