Engenheiro de Dados Sênior - #69
RemoteBrazil
Job Summary
Translate business requirements into data engineering problems and scalable solutions. Design, develop, and implement resilient data pipelines covering ingestion, transformation, and data availability. Build and maintain processes while ensuring solution quality, performance, and governance. Define data engineering architectures and standards, collaborating with multidisciplinary teams on data-oriented initiatives. Perform troubleshooting and optimize data processes and environments. Leverage Python, PySpark, Apache Airflow, and AWS cloud environments to execute these tasks. Apply SQL, Kafka, and Kubernetes expertise to support distributed processing and integration.
Required Qualifications
- Experiência sólida em Engenharia de Dados
- Domínio de Python para construir, automatizar e sustentar pipelines de dados
- Domínio de PySpark para processamento distribuído de dados
- Experiência com Apache Airflow para orquestração de pipelines
- Conhecimento em Amazon EMR
- Experiência com ambientes baseados em Kubernetes
- Conhecimento em Apache Kafka para processamento e integração de dados
- Domínio de SQL
- Conhecimentos de Engenharia de Software, incluindo boas práticas de desenvolvimento, versionamento e Clean Code
- Experiência com ambientes cloud AWS
Desired Qualifications
- Experiência com arquitetura e implementação de soluções de dados em ambientes corporativos
- Conhecimento em Data Lake, Data Warehouse e arquiteturas modernas de dados
- Vivência com CI/CD aplicado a projetos de dados
- Experiência com observabilidade e monitoramento de pipelines
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.