Recursos · Blog

Formatos e fontes de dados

Formatos e fontes de dados: HTML, XML, JSON, APIs e bancos de dados.

Formatos e fontes de dados
Scraping, parsing e crawling: quais as diferenças?

Scraping, parsing e crawling: em que esses processos se diferenciam, como se relacionam entre si e por que são confundidos com tanta frequência.

5 maio · 8 min
Formatos e fontes de dados
Parsing de RSS: como extrair dados dos feeds e para que serve

Parsing de feeds RSS e Atom: estrutura dos formatos, bibliotecas prontas para usar e monitoramento de notícias e blogs sem rastrear páginas.

29 abril · 7 min
Formatos e fontes de dados
Parsing de XML: bibliotecas, XPath e exemplos em várias linguagens

Como trabalhar com XML em diferentes linguagens: DOM versus SAX, XPath, namespaces e leitura em fluxo de arquivos grandes sem estourar a memória.

21 abril · 5 min
Formatos e fontes de dados
Parsing de URL: o que é, para que serve e como se implementa em diferentes linguagens

Parsing de URL: do que se compõe um endereço, como decompor e montar links e como lidar com parâmetros de consulta e codificação em várias linguagens.

17 abril · 9 min
Formatos e fontes de dados
Parsing de TXT: leitura linha a linha, expressões regulares e exemplos em várias linguagens

Análise de arquivos de texto: leitura linha a linha de grandes volumes, codificações, expressões regulares e exemplos em várias linguagens de programação.

15 abril · 4 min
Formatos e fontes de dados
Parsing de sitemaps: como percorrer o mapa do site antes de coletar dados

Por que começar a coleta pelo sitemap.xml: parsing de mapas índice, seleção das URLs necessárias e economia no rastreamento do site antes do scraping.

9 abril · 4 min
Formatos e fontes de dados
Parsing de PDF: extração de texto e tabelas, OCR e exemplos em várias linguagens

Extração de texto e tabelas de arquivos PDF: camadas de texto versus digitalizações, OCR com Tesseract e exemplos de código em Python, JavaScript e Java.

30 março · 4 min
Formatos e fontes de dados
Parsing de logs: analisar logs de servidores e aplicações com exemplos

Parsing de logs de servidores e aplicações: formatos dos logs de acesso e de erros, expressões regulares, ferramentas prontas e exemplos de análise.

22 março · 4 min
Formatos e fontes de dados
Parsing de JSON

Parsing de JSON em detalhe: estruturas aninhadas, streaming de arquivos grandes, JSONPath e os erros típicos ao trabalhar com APIs.

16 março · 7 min