Projeto IBGE de Pipeline de Dados

• Engenharia (Spark)
• Estrutura de dados SQL e Parquet
• Data Viz - Power BI

O projeto consiste em fazer a tratativa de dados desde a raw_data até a gold_data. E a camada de visualização com PowerBi

• Instação do Spark: https://medium.com/@MarinAgli1/setting-up-a-spark-standalone-cluster-on-docker-in-layman-terms-8cbdc9fdd14b
• Instação do Notebook: https://jupyter.org/install

Este projeto requer alguns pré-requisitos e configurações específicas para ser implantado com sucesso. Siga as etapas abaixo para configurar o ambiente e executar o projeto.

Certifique-se de ter um banco de dados de sua preferência instalado e em execução.
Usei como referência uma imagem postgresql https://hub.docker.com/_/postgres
Usando o seguinte compose: https://github.com/rnaguilar/ibge_integration/blob/main/POSTGRESQL/docker-compose.yml
Faça ajustes adicionais no arquivo docker-compose.yml conforme necessário, como configurações de porta ou credenciais.

Será necessario instalar as dependencias desse arquivo: https://github.com/rnaguilar/ibge_integration/blob/main/requirements.txt

• Criar as camadas bronze_data, silver_data e gold_data
• Executar o Script na camada Silver: https://github.com/rnaguilar/ibge_integration/blob/main/SILVER_DATA/sql_start.sql
• Executar o Script na camada: https://github.com/rnaguilar/ibge_integration/blob/main/GOLD_DATA/sql_start.sql

Existe 4 arquivos ".ypynb"

• raw_data: instalação de pacotes de as cargas dos dados para a pasta "RAW_DATA" em formato parquet, com pyarrow
• bronze_data: leitura desses parquet com spark fazendo seleção dos campos para o database bronze_data
• silver_data: leitura e tratamentos dos dados da camada bronze, usando spark e pandas
• gold_data: prepara a camada com a fato e as dimensões para ser lida no power bi

Foi feito a carga de dados e as medidas conforme o arquivo POWERBI/IBGE.pbix

• Carga M: https://github.com/rnaguilar/ibge_integration/blob/main/POWER%20BI/MCodes.txt
• Campos Dax:https://github.com/rnaguilar/ibge_integration/blob/main/POWER%20BI/MedidasDax.txt

2 Telas com recursos

• Dica de Ferramente
• Sumarize, Calculate
• Layout Filtros
• Menu
• Açoes de Botões
• Segmentação Sincronizada dos filtros
• Graficos (Area, Mapa, Indicador, Cartão, Linha e barras)
• Controle de Seleção
• Controle de Indicadores