Data Engineer (Databricks) | PL (Remote)
RemoteBrazil
BrazilRemoteFull Time
Full Time
Job Summary
Develop scalable and reliable data pipelines using modern processing technologies to ingest, transform, and deliver high-quality data. Build functional and data models aligned with business needs while maintaining architectures for Data Lake and Data Lakehouse environments. Leverage Apache Spark, Airflow, Kafka, dbt, and cloud platforms like Databricks and AWS Glue to ensure distributed processing and real-time integration across SQL and NoSQL databases. This role supports the development of a commercial credit and agribusiness platform.
Required Qualifications
- Experiência com Apache Spark para processamento distribuído de dados
- Experiência com Apache Airflow para orquestração de pipelines de dados
- Conhecimento em Apache Kafka para processamento e integração de dados em tempo real
- Experiência com dbt (Data Build Tool) para transformação e modelagem de dados
- Vivência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra
- Experiência com plataformas de dados em nuvem, como Databricks, AWS Glue e BigQuery
- Conhecimento em implementação e manutenção de arquiteturas Data Lake e Data Lakehouse
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.