Implementar uma solução de ponta a ponta de um fluxo de dados.

A ideia foi executar um ETL com boas práticas de arquitetura de software, programação orientada à objetos, testes unitários e design patterns. O banco utilizado para armazenar os dados foi o SQLite.

De forma mais especifica, o projeto consiste em extrair de informações sobre o filmes da API do TMDB, armazenar e modelar 2 kpis e montar uma visualização para os mesmos.

API: https://developers.themoviedb.org/3/movies/get-movie-details

1. Construir um fluxo de ETL, com a separação de suas responsabilidades
2. Armazenar num banco de dados SQLite
3. Criar uma visualização como um dashboard do plotly

1. Clone esse repositório na sua máquina.
2. Crie um ambiente virtual.
3. Instale o arquivo requirements.txt

python3 -m pip install -r requirements.txt

4. Rode o arquivo run.py python3 run.py ou python run.py.

• Após isso, é esperado que:
  • 1. Um arquivo myDb.db seja criado.
  • 2. Uma mensagem Dados carregados com sucesso! apareça no seu terminal
  • 3. Apareça uma url do Flask como essa http://127.0.0.1:8000/. Basta copiar esse link e colocar no seu navegador.

5. Caso Queira rodar com DOCKER rode os seguintes comandos:

   docker build -t python-data-viz:v01 .
   

   docker run --name container-dataviz -p 8000:8000 -d python-data-viz:v01
   

Então depois de 1 minuto mais ou menos (tempo que dura o processo) podes acessar seu localhost na porta 8000 e terá acesso ao mesmo dashboard.

1. "title" - Título do filme
2. "genres" - generos do filme
3. "budget" - Orçamento do filme
4. "original_language" - lingua original do filme
5. "original_title" - titulo original do filme
6. "vote_average" - A média de votos atribuídos ao filme pelos usuários do TMDb.
7. "vote_count" - O número total de votos recebidos pelo filme.
8. "popularity" - A popularidade do filme no TMDb em porcentagem
9. "revenue" - A receita gerada pelo filme em dólares
10. "release_date" - data de lancamento
11. "status" - O status de produção do filme (por exemplo, "Lançado", "Previsto", etc.).
12. "runtime" - duração do filme em minutos

Distribuição de Gêneros Mais Populares: Esse KPI analisa a distribuição dos gêneros mais populares na base de dados do TMDB. Ele pode ajudar a identificar quais gêneros têm maior demanda e popularidade entre os usuários.

Lucro: o Lucro é uma métrica importante para saber se o filme de fato valeu a pena ser feito. Sendo ele a diferença entre a receita e o orçamento.

• src: Pasta principal
• drivers: Repositório relacionado as requisições e sua interface.
• Infra: Repositório relacionado a conecção e operação com o banco de dados
• main: Repositório responsável por implementar o pipeline principal
• stages: Relacionado aos estágio de extração, transformação, carregamento dos dados e visualização dos dados.
• tests: Testes unitários.

├── app.py
├── install.sh
├── main.py
├── raw.py
├── README.md
├── requirements.txt
├── run.py
├── src
│   ├── drivers
│   ├── infra
│   ├── __init__.py
│   ├── main
│   ├── stages
│   └── tests