Web Crawler simples e eficiente, escrito em TypeScript. Ele foi projetado para rastrear páginas da web e extrair informações relevantes de maneira sistemática e automatizada.
- Rastreamento eficiente: O crawler percorre as páginas da web de maneira eficiente, emitindo eventos para indicar o progresso do rastreamento.
- Extração de dados: O crawler extrai informações relevantes das páginas da web, como URLs de imagens e textos alternativos.
- Transformação de dados: O crawler usa um stream Transform para processar os dados extraídos e prepará-los para o próximo passo do pipeline.
- Gravação de dados: O crawler usa streams para salvar os dados coletados e cria também uma página HTML para visualização
Para começar a usar este projeto, siga estas etapas:
- Clone o repositório
- Instale as dependências com
npm install
- Inicie o crawler com
npm start