Este README fornece uma visão geral clara e detalhada do projeto, incluindo a arquitetura, a estrutura de diretórios, as instruções de instalação e uso, além dos módulos específicos para extração, transformação e visualização de dados.
Uma ETL em Python para Monitoramento de Preço
Solução em Python para estratégias de pricing Temos uma pipeline e uma ETL em Python que coleta, consolida e gera insights sobre determinada cadeira de produtos
Uma ETL em Python para Web Scraping
- Extração - Scrapy
- Transformação e Load - Pandas
- Dashboard - Streamlit
- Banco de dados - Postgres
[Excalidraw]https://link.excalidraw.com/l/8pvW6zbNUnD/4qYJqXpeRfP
ScrapyMonitoramentoPreco/
├── scrapy_monitoramento/
│ ├── spiders/
│ │ └── preco_spider.py
│ ├── pipelines.py
│ ├── items.py
│ ├── settings.py
├── transformacao/
│ ├── transform.py
├── dashboard/
│ ├── app.py
├── requirements.txt
└── README.md
Quick Starter
Ler documentação - https://scrapy.org/