Projeto Proposto

Esse repositório foi utilizado para realizar o upload do desafio para Monitor no processo seletivo da Resilia Educação.

Tendo em vista o escopo da vaga, os processos realizados nos dados do notebook serão acompanhados de dicas, instruções do que está sendo realizado. Em alguns momentos foi necessário desenvolver textos mais longos para explicar as situações.

🎯 Objetivo

Simular um processo de ETL e criação de um Dashboard para demonstração dos resultados.

⚙ Requisitos Obrigatórios

No tratamento dos dados utilizar linguagem Python, exemplificando operações de estruturas de dados;

Utilizar a biblioteca Pandas para o tratamento;

Gerar gráficos de visualização com a biblioteca Matplotlib;

No Power BI, utilizar todas as colunas que permaneceram no dataset final.

⚙ Requisitos Desejáveis

Explore bibliotecas para o tratamento além do Pandas;

Realize conversões entre os tipos de dados das colunas do dataset;

Adicione novos valores ao dataset sem alterar o propósito do mesmo.

⚠Aviso sobre os dados

Durante a execução do projeto, é possível notar uma grande quantidade de dados repetidos, comprometidos, de forma que a realização de plots ficava comprometida, pois haviam estados faltantes por estarem com seus valores misturados a outros estados.

Com nossos dados contaminados, a análise se tornaria meramente ilustrativa, já que não seria possível determinar a veracidade dos mesmos.

Para contornar este problema, busquei a Fonte Primária dos dados: o Portal de dados do Governo, porém a mesma se encontra desativada. Logo, busquei uma alternativa para encontrar o material de forma confiável, e explico mais sobre o processo no notebook.

Os dados utilizados são os mesmos do dataset disponibilizado pela Resilia no Kaggle, mas não passaram por um processo anterior que gerou a deteriorização do mesmo, sendo desta forma possível obtê-los em sua totalidade.

⚒ O que foi realizado

- Etapas de exploração iniciais

- Limpeza do primeiro dataset

- Durante a limpeza, percebo a problemática dos dados

- Busco o conjunto de dados original na fonte primária

- Novamente realizo a limpeza

- Com os dados tratados, realizo plots para visualização inicial no notebook

- Exportação dos dados corretos e tratados p/ csv

- Criação de dashboards no PowerBI

📫 Entrega

Para realizar a entrega de acordo com as especificações pedidas, estão presentes no repositório:

1. Readme.md

2. Código em Python em arquivo único (.ipynb)

3. Imagens do Dashboard na pasta Images

4. Arquivo .pbix do Dashboard

5. Pasta contendo 3 conjuntos de dados (Kaggle/Fonte Primária/Fonte Primária após tratamento)

✍Autor - Contato

Pedro Rocha Campos - Linkedin - programapedror@gmail.com