O Google concentra a imensa maioria das buscas no mercado lusófono e em quase todos os mercados internacionais; por isso, as palavras-chave de um projeto são construídas sobre os dados do próprio Google: sua estatística de demanda, suas sugestões e as particularidades da sua página de resultados. E, quando o projeto mira vários países ou idiomas, a coleta se repete mercado a mercado, com a segmentação correspondente. O scraping de buscas do Google é a coleta automática de frases-chave, seus volumes e as formulações relacionadas a partir das ferramentas e serviços do Google para construir um conjunto de palavras-chave completo.
O artigo encerra a série sobre web scraping em SEO. Vejamos as fontes, as nuances da coleta e as ferramentas.
Fontes de buscas do Google
Google Keyword Planner (Planejador de palavras-chave). Mostra a demanda por frase, dá previsões de impressões, propõe ideias para ampliar a lista e permite coletar palavras-chave a partir de um site dado. O serviço é gratuito; basta se cadastrar no Google Ads. Uma nuance: para uma coleta intensiva, convém uma conta à parte, para não arriscar o bloqueio da principal, e pausas entre as solicitações.
Sugestões do Google. O preenchimento automático da barra de busca é uma fonte excelente de consultas longas e «vivas»; dedicamos a elas um artigo à parte. Elas são coletadas iterando caracteres e ajustando a profundidade da coleta.
Palavras-chave dos concorrentes. As consultas pelas quais os líderes do nicho se posicionam no Google são uma fonte de frases que passaram despercebidas. Elas são exportadas com plataformas especializadas.
Google Search Console. As consultas reais pelas quais seu site já aparece nos resultados e recebe cliques.
Particularidades da coleta no Google
A principal dificuldade é que o Google se protege ativamente da coleta automática; assim, ao scrapear os resultados e as sugestões, ganham importância especial os proxies, a rotação de User-Agent e pausas prudentes. Os volumes do Keyword Planner para temas comerciais são coletados de duas maneiras: com «Todos os locais» e uma limpeza posterior das zonas irrelevantes, ou fixando de saída a região-alvo — a lista sai mais curta, porém mais precisa.
Um recurso eficaz é a coleta iterativa: coletam-se as palavras-chave, ordenam-se por volume, com as mais buscadas forma-se uma lista ampliada de consultas semente e a coleta é relançada. Cada iteração traz frases novas.
Com que ferramentas coletar buscas do Google
Google Keyword Planner e a API do Google Ads — a via oficial. Na interface, trabalha-se com listas e exportação para CSV; em escala, a API permite solicitar ideias e métricas históricas em lotes e integrar a coleta aos seus próprios processos.
Ahrefs — Keywords Explorer com bases por país: volumes, dificuldade, milhares de ideias por consulta semente e as palavras-chave dos domínios concorrentes.
SEMrush — Keyword Magic Tool, bancos de dados por país, consultas orgânicas e pagas dos concorrentes e análise da SERP.
Keyword Tool — serviço para coletar sugestões do Google (e do YouTube) com grande cobertura; a versão gratuita é limitada.
Plataformas de scraping e scrapers sob medida — Apify, Octoparse ou desenvolvimentos próprios para coletar sugestões e resultados em grande escala, com escolha de idioma, país e domínio, expansão de consultas e profundidade configurável.
Para uma largada básica e gratuita em um projeto pequeno, basta a dupla Keyword Planner + sugestões do Google; para volumes sérios, são necessárias ferramentas pagas e infraestrutura.
Como isso se conecta ao restante do trabalho
As buscas do Google se combinam com os volumes do Keyword Planner e as sugestões na coleta completa de palavras-chave. O conjunto pronto define a estrutura do site e as metatags e cabeçalhos, e o avanço nas consultas é controlado com o acompanhamento de posições — no Google e, se fizer sentido, no Bing.
A coleta detalhada da própria SERP do Google — quem está no top, como são construídos os snippets e os blocos especiais — nós separamos como serviço: a extração da SERP do Google.