Este projeto implementa um pipeline de dados utilizando Python, que coleta dados de previsão do tempo de uma API pública, processa essas informações e armazena em arquivos CSV para posterior análise ou integração.
O objetivo é demonstrar habilidades essenciais para a área de Engenharia de Dados, como integração com APIs, ETL com Python e persistência de dados.
- Python 3.12+
- [Bibliotecas Python: requests, pandas, etc.]
- OpenWeather API
- 🌐 Coleta de dados via API pública
- 🧹 Transformação e limpeza dos dados com Python
- 🗃️ Armazenamento dos dados em arquivos CSV
- Clone o repositório
git clone <url-do-repositorio>
cd weather-data-pipeline- (Opcional) Crie e ative um ambiente virtual Python
python3 -m venv venv
source venv/bin/activate- Instale as dependências necessárias
pip install -r requirements.txt-
Configure sua chave de API do OpenWeather em um arquivo
.envou diretamente nos scripts. -
Execute os scripts conforme desejado:
python scripts/fetch_weather.py
python scripts/transform_weather.pyweather-data-pipeline/
├── scripts/ # Scripts Python de ETL
│ ├── fetch_weather.py
│ ├── transform_weather.py
├── data/ # Arquivos CSV de dados coletados
├── README.md
└── ... # Outros arquivos e pastas
Este projeto foi desenvolvido como parte do meu aprendizado prático para atuar como Engenheiro de Dados Júnior, com foco em pipelines de dados, automação e boas práticas em Python.
- Dashboard com Streamlit para visualização dos dados
- Deploy em nuvem (ex: AWS EC2 + RDS)
- Adição de testes unitários nos scripts
Caio