[Job-31034] Engenheiro de Dados (Azure/Databrics) Sênior , Brazil
On-siteCampinas, São Paulo, Brazil
Job Summary
Develop and maintain Azure data pipelines using Databricks for ETL/ELT processing and integration. Implement CI/CD practices for code versioning on GitHub and optimize data models within Unity Catalog to ensure scalability and governance. Collaborate with business and data science teams to deploy AI models in cloud environments while guaranteeing data quality through profiling and monitoring. Support cloud migration projects to maintain security and integrity. Document engineering processes and architectural best practices. Requires strong Python and SQL skills, PySpark expertise, and experience with data lake architectures. On-site presence in Campinas is mandatory for residents in the Greater Metropolitan Region.
Required Qualifications
- Experiência sólida em Azure Data Services e Databricks
- Experiência com Databricks com PySpark
- Experiência com Arquitetura medalhão
- Domínio de Python e SQL para manipulação e transformação de dados
- Conhecimento em CI/CD e versionamento com GitHub
- Conhecimento em modelagem de dados analíticos (camadas de ingestão, preparação e consumo)
- Vivência em projetos de migração para cloud
- Experiência em ETL/ELT e integração de grandes volumes de dados
- Experiência com deploy de modelos de IA e uso de ferramentas como Azure ML
- Experiência com projetos de IA e automação de pipelines
- Presença nos escritórios da Região Metropolitana de Campinas (obrigatória para residentes na região)
Desired Qualifications
- Conhecimento em arquiteturas orientadas a dados e boas práticas de governança
- Vivência em projeto de contexto financeiro
- Participação em iniciativas de MDM (Master Data Management)
- Familiaridade com Databricks MLflow para gestão de modelos
- Atuação em ambientes Data Lake e Data Warehouse
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.