Engenheiro(a) de Dados Sênior Databricks
RemoteBrazil
BrazilRemoteFull TimeSenior Level
Full TimeSenior Level
Job Summary
Develop and optimize ETL/ELT pipelines using Databricks, Apache Spark, and PySpark to process large-scale data volumes while ensuring performance and reliability. Design and maintain Data Lake and Lakehouse architectures, implementing SQL queries, data ingestion, and transformation workflows with strict governance and security standards. Troubleshoot job failures, analyze performance metrics, and support technical definitions through collaborative agile ceremonies and CI/CD practices. Assist senior engineers with best practices and contribute to architectural evolution within a multidisciplinary team focused on modern data solutions.
Required Qualifications
- Sólida experiência em Databricks
- Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior
- Experiência comprovada com Databricks
- Domínio de Apache Spark e PySpark
- Experiência avançada com SQL
- Conhecimento em Delta Lake
- Experiência na construção e manutenção de pipelines ETL/ELT
- Conhecimento de arquiteturas Data Lake, Lakehouse e/ou Data Warehouse
- Experiência com processamento de grandes volumes de dados
- Conhecimento em modelagem e transformação de dados
- Experiência com Git e práticas de CI/CD
- Conhecimento de boas práticas de segurança, governança e qualidade de dados
- Capacidade de análise de performance e troubleshooting de pipelines
- Perfil analítico, colaborativo e com autonomia para conduzir demandas técnicas
Desired Qualifications
- Experiência com Databricks Unity Catalog
- Conhecimento de Databricks Workflows/Jobs
- Experiência com Medallion Architecture (Bronze, Silver e Gold)
- Conhecimento em Python para Engenharia de Dados
- Experiência com serviços de dados em AWS, Azure ou GCP
- Conhecimento em ferramentas de orquestração, como Apache Airflow ou Azure Data Factory
- Experiência com infraestrutura como código, como Terraform
- Certificações relacionadas ao Databricks ou plataformas Cloud
- Experiência em ambientes de alta volumetria e soluções críticas de dados
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.