Projeto IBGE de Pipeline de Dados
- Engenharia (Spark)
- Estrutura de dados SQL e Parquet
- Data Viz - Power BI
O projeto consiste em fazer a tratativa de dados desde a raw_data até a gold_data. E a camada de visualização com PowerBi
- Instação do Spark: https://medium.com/@MarinAgli1/setting-up-a-spark-standalone-cluster-on-docker-in-layman-terms-8cbdc9fdd14b
- Instação do Notebook: https://jupyter.org/install
Este projeto requer alguns pré-requisitos e configurações específicas para ser implantado com sucesso. Siga as etapas abaixo para configurar o ambiente e executar o projeto.
Certifique-se de ter um banco de dados de sua preferência instalado e em execução.
Usei como referência uma imagem postgresql https://hub.docker.com/_/postgres
Usando o seguinte compose: https://github.com/rnaguilar/ibge_integration/blob/main/POSTGRESQL/docker-compose.yml
Faça ajustes adicionais no arquivo docker-compose.yml conforme necessário, como configurações de porta ou credenciais.
Será necessario instalar as dependencias desse arquivo: https://github.com/rnaguilar/ibge_integration/blob/main/requirements.txt
- Criar as camadas bronze_data, silver_data e gold_data
- Executar o Script na camada Silver: https://github.com/rnaguilar/ibge_integration/blob/main/SILVER_DATA/sql_start.sql
- Executar o Script na camada: https://github.com/rnaguilar/ibge_integration/blob/main/GOLD_DATA/sql_start.sql
Existe 4 arquivos ".ypynb"
- raw_data: instalação de pacotes de as cargas dos dados para a pasta "RAW_DATA" em formato parquet, com pyarrow
- bronze_data: leitura desses parquet com spark fazendo seleção dos campos para o database bronze_data
- silver_data: leitura e tratamentos dos dados da camada bronze, usando spark e pandas
- gold_data: prepara a camada com a fato e as dimensões para ser lida no power bi
Foi feito a carga de dados e as medidas conforme o arquivo POWERBI/IBGE.pbix
- Carga M: https://github.com/rnaguilar/ibge_integration/blob/main/POWER%20BI/MCodes.txt
- Campos Dax:https://github.com/rnaguilar/ibge_integration/blob/main/POWER%20BI/MedidasDax.txt
2 Telas com recursos
- Dica de Ferramente
- Sumarize, Calculate
- Layout Filtros
- Menu
- Açoes de Botões
- Segmentação Sincronizada dos filtros
- Graficos (Area, Mapa, Indicador, Cartão, Linha e barras)
- Controle de Seleção
- Controle de Indicadores