A tarefa
A empresa de compra e venda precisava de uma avaliação objetiva do valor de mercado dos carros usados. Para isso era necessária uma base de anúncios grande e limpa, com características e preços — como conjunto de treinamento e referência para o sistema de avaliação.
O que fizemos e quais dados coletamos
Organizamos a coleta de anúncios de venda de carros em várias plataformas: marca, modelo, geração e versão, ano, quilometragem, estado, região, preço e data. Levamos os dados a dicionários unificados e removemos as anomalias, preparando o conjunto para a análise e o treinamento de modelos. Para manter o quadro do mercado atual, a coleta era realizada periodicamente.
Dificuldades e como as resolvemos
Primeiro, as duplicatas e repostagens. O mesmo carro é publicado em várias plataformas e mais de uma vez. Deduplicamos os anúncios; caso contrário, os modelos populares distorceriam a estatística.
Segundo, a bagunça nas características. Marca, modelo, geração e versão são escritos de forma diferente em cada lugar. Levamos tudo a dicionários unificados.
Terceiro, os preços "lixo" e os anúncios falsos (iscas com preço rebaixado, revendedores). Filtramos os valores atípicos para que a avaliação se apoiasse em negócios reais, e não em anomalias. Parte das plataformas limita a coleta automática — trabalhamos com cuidado, em frequência razoável e com proxies.
O resultado
O cliente recebeu uma base de anúncios regularmente atualizada e depurada, com características comparáveis: uma base confiável para o sistema de avaliação na compra.
Serviços usados neste caso: Extração de anúncios classificados · Dados para IA/ML · Monitoramento de preços em marketplaces
Materiais úteis: Normalização de dados · Scraping de sites dinâmicos · Proxies para web scraping