Enriquecimento de dados: o que é, quais atributos são adicionados e de quais fontes vêm

O que é o enriquecimento de dados

O enriquecimento de dados (data enrichment) é o processo de completar um conjunto de dados já existente com novos atributos vindos de fontes externas ou internas. Na entrada, costuma haver apenas o «esqueleto» de um registro: por exemplo, o nome de uma empresa, um e-mail ou um número de telefone. Na saída, dezenas de campos adicionais são anexados a esse registro: setor, receita, região, cargo da pessoa de contato, redes sociais, tecnologias do site, e assim por diante.

O ponto central é que os dados brutos, por si sós, costumam trazer pouca informação. A linha «Exemplo Ltda., joao@exemplo.com.br» é quase inútil para a análise ou para as vendas. Mas, se a ela forem adicionados o CNPJ, o quadro de funcionários, o setor, o faturamento, o site, o cargo de João e o perfil dele em uma rede profissional, o registro se transforma em um objeto pronto para segmentação, scoring ou comunicação personalizada.

O enriquecimento quase sempre se organiza em torno de uma chave de pareamento (matching key): o campo com o qual o novo registro é localizado na fonte externa. Na maioria das vezes é o e-mail, o domínio da empresa, o número de registro, o telefone, as coordenadas ou a combinação «nome + organização».

Para que enriquecer os dados

Alguns objetivos típicos:

• Vendas e marketing. Segmentação da base, lead scoring, personalização dos envios, identificação dos tomadores de decisão.
• Análise e Data Science. Quanto mais atributos um objeto tem, mais precisos são os modelos de previsão, clustering e recomendação.
• Gestão de riscos e compliance. Verificação de contrapartes, KYC/AML, detecção de vínculos societários e de riscos de sanções.
• Qualidade dos dados. Preenchimento de lacunas, correção de erros, deduplicação, normalização de formatos.
• Tarefas de produto. Preenchimento automático de formulários, sugestões, vinculação do usuário a uma geolocalização ou a uma organização.

Que dados podem ser enriquecidos

Vale classificá-los conforme o tipo de objeto que se enriquece.

Dados de empresas (firmografia)

O cenário mais difundido no B2B. Ao registro de uma empresa são adicionados:

• os dados cadastrais (número de registro, data de constituição, situação);
• o setor e os códigos de atividade (NAICS, SIC e classificações locais, como o CNAE);
• o porte (quadro de funcionários, receita, faturamento);
• a estrutura societária e as entidades vinculadas;
• o endereço, a região, os contatos;
• o site, o domínio, as redes sociais.

Dados de contato e pessoais (contatos B2B)

Aqui são enriquecidos registros de pessoas em contexto profissional: cargo, departamento, e-mail corporativo, telefone, link para o perfil, tempo de casa. Importante: os dados pessoais são a categoria mais sensível do ponto de vista legal (veja a seção sobre os aspectos jurídicos).

Dados geográficos

A partir de um endereço ou de coordenadas, é possível adicionar:

• a geocodificação (endereço → latitude/longitude e vice-versa);
• a vinculação administrativa (bairro, região, país, fuso horário);
• as características da localização (densidade populacional, renda média da área, POIs próximos — pontos de interesse);
• as distâncias e os tempos de deslocamento até os lugares relevantes.

Dados demográficos e socioeconômicos

Para pessoas físicas ou para segmentos agregados: faixas etárias, nível de renda, escolaridade, características de consumo. Quase sempre em nível agregado (por área ou por CEP), porque os dados pessoais individualizados são estritamente regulados.

Dados tecnográficos

Quais tecnologias uma empresa utiliza: o CMS do site, as ferramentas de analytics, o CRM, os gateways de pagamento, o provedor de nuvem. São identificadas a partir do markup e dos cabeçalhos do site, dos registros DNS e das vagas de emprego públicas.

Dados comportamentais

Histórico de interações, atividade, padrões de uso. Normalmente vêm de sistemas internos (analytics de produto, CRM), mas podem ser complementados com sinais externos de atividade (menções na mídia, notícias, eventos).

Dados financeiros

Demonstrações financeiras, ratings de crédito, histórico de litígios empresariais, penhoras e garantias, falências. Para as empresas de capital aberto, as cotações em bolsa e os relatórios financeiros.

Com o que enriquecer: as fontes de dados

As fontes podem ser agrupadas em três grandes categorias, que são o foco deste artigo: registros estatais e públicos abertos, scraping de dados abertos da web e acesso via API.

Registros estatais e públicos abertos

São as fontes primárias e mais confiáveis. Têm caráter oficial e, muitas vezes, seu uso é permitido de forma explícita. Exemplos de categorias:

• registros nacionais de empresas e de empreendedores individuais;
• registros de imóveis e cadastros territoriais;
• bases de dados judiciais e de litígios empresariais;
• registros de licenças, de compras públicas e de falências;
• listas de sanções e de administradores inabilitados;
• dados estatísticos abertos (Eurostat, os institutos nacionais de estatística, como o IBGE, o Banco Mundial, OpenStreetMap).

Muitos governos mantêm portais de dados abertos (open data portals) onde os conjuntos são publicados em formatos legíveis por máquina (CSV, JSON, XML) sob licenças abertas. É a fonte ideal: legal, estruturada e gratuita.

Scraping de dados abertos da web

Quando os dados estão em sites públicos, mas não são oferecidos como um download conveniente nem via API, recorre-se ao web scraping: a extração automatizada de informações de páginas web.

O que se costuma scrapear

• catálogos e diretórios de empresas;
• fichas de produto e preços (para o monitoramento do mercado);
• vagas de emprego (úteis para a tecnografia e para estimar o crescimento de uma empresa);
• avaliações e notas;
• notícias e comunicados de imprensa;
• perfis públicos e páginas de contato das empresas;
• POIs cartográficos.

Como funciona no nível técnico

O pipeline básico de scraping:

1. Rastreamento (crawling). Um bot percorre as páginas seguindo os links ou a partir de URLs conhecidas de antemão.
2. Download (fetching). Requisições HTTP às páginas. Para o HTML estático, bastam bibliotecas simples; para o conteúdo carregado com JavaScript, usam-se navegadores «sem interface» (headless browsers), que renderizam a página como um navegador real.
3. Extração (parsing). Do HTML são extraídos os campos necessários com seletores CSS, XPath ou expressões regulares. Às vezes os dados já estão convenientemente dispostos em markup estruturado: JSON-LD, microdados do Schema.org, Open Graph.
4. Normalização e limpeza. Conversão para um formato único, remoção de lixo, validação.
5. Pareamento (matching). Vinculação do que foi extraído aos registros existentes por meio da chave.

O stack típico: em Python, requests/httpx para as requisições, BeautifulSoup/lxml para o parsing do HTML, Scrapy como framework completo e Playwright/Selenium para as páginas dinâmicas. Em JavaScript, Puppeteer/Playwright.

Dificuldades técnicas do scraping

• Conteúdo dinâmico. Os dados são renderizados no lado do cliente: é preciso um navegador headless, mais lento e mais caro.
• Proteção anti-bots. Captchas, limitação da frequência de requisições (rate limiting), bloqueios por IP e por fingerprint do navegador.
• Instabilidade do markup. O site muda o layout e o scraper quebra. São necessários manutenção e monitoramento.
• Escala. Grandes volumes exigem rastreamento distribuído, proxies e filas.
• Qualidade. Os dados da web são sujos: duplicatas, erros de digitação, registros desatualizados.

Regras do scraping «educado»

Boa prática é respeitar o robots.txt, não gerar carga excessiva (introduzir pausas entre as requisições), fazer cache, identificar o próprio bot pelo User-Agent e, sempre que possível, preferir a API oficial ao scraping. Isso reduz tanto os riscos técnicos quanto os jurídicos.

Acesso aos dados via API

Uma API (interface de programação) é a via mais conveniente e confiável de obter dados externos. Diferentemente do scraping, os dados chegam já estruturados (normalmente em JSON), documentados e estáveis, e o provedor permite o uso de forma explícita dentro de suas condições.

Tipos de API conforme a acessibilidade

• Totalmente abertas — sem chave nem cadastro (alguns portais públicos, o Nominatim do OpenStreetMap, vários serviços de estatística).
• Com chave gratuita e limites — exigem cadastro e têm uma cota de requisições.
• Comerciais — pagamento por assinatura ou por número de requisições; aqui entram a maioria dos provedores de firmografia, de enriquecimento de contatos e de geocodificação de alta qualidade.

O que se costuma obter via API

• Geocodificação e mapas — conversão de endereços, rotas, POIs.
• Dados de empresas — a partir do número de registro ou do domínio, obter os dados cadastrais e a firmografia.
• Validação — verificação de que os e-mails, os telefones e os endereços estão corretos e existem.
• Dados financeiros e de mercado — cotações, taxas de câmbio, relatórios.
• Estatística pública aberta — demografia, economia, meteorologia.
• Enriquecimento de contatos — a partir de um e-mail, encontrar o cargo, a empresa, o perfil.

Aspectos técnicos do trabalho com API

• Autenticação — chaves de API, OAuth, tokens.
• Limites (rate limits e cotas) — é preciso dosar as requisições, configurar novas tentativas com backoff exponencial e fazer cache das respostas.
• Formatos — sobretudo REST + JSON; também há GraphQL e endpoints em lote (batch) para o enriquecimento em massa.
• Versionamento — as APIs mudam; vale acompanhar as versões e a descontinuação dos métodos.
• Custo — em grandes volumes, é importante contar as requisições e fazer cache das repetidas.

Como é o processo de enriquecimento em si

Seja qual for a fonte, o enriquecimento passa por etapas semelhantes:

1. Preparação da chave. Escolha e normalização do campo identificador (converter os domínios para minúsculas, unificar os telefones no formato E.164 etc.).
2. Pareamento (matching). Busca do registro na fonte externa. Pode ser exato (por número de registro, por e-mail) ou difuso (fuzzy matching: por similaridade dos nomes, tolerando erros de digitação).
3. Fusão (merging). Adição dos novos campos ao registro. Aqui se decide o que fazer diante de um conflito de valores: qual fonte tem prioridade.
4. Validação. Verificação de verossimilhança (por exemplo, a receita não pode ser negativa; as coordenadas devem cair dentro do país).
5. Deduplicação. Unificação das duplicatas surgidas após a fusão.
6. Registro de metadados. De onde veio o valor, quando foi obtido, quão recente ele é. É crítico para que se possa confiar nos dados.

Qualidade e problemas dos dados

O enriquecimento não sai de graça em termos de qualidade:

• Atualidade. Os dados externos envelhecem: as empresas mudam de endereço, as pessoas trocam de emprego. É necessária uma atualização periódica.
• Precisão do pareamento. Um pareamento difuso pode associar os dados ao registro errado. Vale armazenar um índice de confiança (confidence score).
• Cobertura. Nenhuma fonte cobre 100% dos registros. Muitas vezes combinam-se várias (waterfall: tenta-se a fonte A; se não há resultado, a B e depois a C).
• Contradições. Fontes diferentes dão valores diferentes para um mesmo campo: é preciso uma estratégia de resolução de conflitos.
• Rastreabilidade (data lineage). Sem conhecer a origem de um valor, é impossível depurar os erros e demonstrar sua legitimidade.

Aspectos legais e éticos

A seção mais importante na prática, sobretudo no que diz respeito aos dados pessoais.

• Os dados pessoais são estritamente regulados. A LGPD no Brasil, o GDPR na UE, a CCPA na Califórnia e legislações análogas em outras jurisdições limitam a coleta, o armazenamento e o tratamento de dados sobre pessoas. O fato de «os dados estarem acessíveis publicamente» não dá automaticamente o direito de coletá-los e usá-los para qualquer fim: é necessária uma base legal para o tratamento.
• Licenças dos dados abertos. Até os conjuntos abertos têm condições (por exemplo, a obrigação de citar a fonte, a proibição de uso comercial, share-alike). É preciso cumpri-las.
• Condições de uso dos sites e das APIs. Os Terms of Service podem proibir expressamente a coleta automatizada. Descumpri-los é um risco contratual e, em algumas jurisdições, algo mais sério.
• Scraping e lei. O status legal do web scraping varia conforme o país e depende do que é coletado e de como. Scrapear informações puramente públicas e não sensíveis costuma ser menos arriscado do que coletar dados pessoais ou contornar restrições técnicas de acesso.
• Ética. Minimização dos dados (coletar apenas o necessário), respeito à privacidade, não impor carga excessiva aos servidores alheios: é reputação e, ao mesmo tempo, redução de riscos.

Conclusão prática: diante de qualquer enriquecimento com dados pessoais, vale consultar um advogado com antecedência e adequar os processos à legislação aplicável. Isto não é aconselhamento jurídico: os requisitos concretos dependem da sua jurisdição e do seu caso de uso.

Conclusões breves

O enriquecimento de dados transforma registros soltos e brutos em objetos completos, aptos para a análise e para a ação. As três fontes de apoio:

• Os registros abertos e os portais de dados abertos — o material mais confiável e legalmente limpo, sobretudo em empresas, imóveis e estatística.
• O scraping da web aberta — a via flexível para conseguir o que não é publicado em nenhum formato conveniente, ao custo de manutenção técnica e de uma atenção maior aos riscos legais.
• As APIs — o canal mais confiável e escalável: dados estruturados e documentados, com condições de uso explícitas.

Na prática, o melhor resultado vem da combinação de fontes, com um pareamento bem pensado, controle de qualidade, rastreabilidade da origem dos dados e um cumprimento rigoroso dos requisitos legais — antes de tudo, no que diz respeito aos dados pessoais.