Analista de Dados Pleno
On-siteSão Paulo, São Paulo, Brazil
Job Summary
Design and implement robust ETL/ELT pipelines in batch and streaming to ingest, transform, and deliver data for BI and internal products. Develop back-end solutions using Spark, SQL, and Python to optimize job performance and query tuning within data lakehouse environments. Build data models and integrate diverse sources including relational databases, APIs, and Oracle ERP while enforcing LGPD compliance and security governance. Orchestrate workflows via Azure Data Factory and support DevOps practices for CI/CD, automation, and architecture definition. Collaborate with product teams to translate business needs into technical solutions, ensuring high-quality, monitored, and scalable data infrastructure.
Required Qualifications
- Experiência prévia em engenharia de dados ou desenvolvimento back-end com foco em processamento de dados
- Vivência prática com Apache Spark, Python e SQL em ambientes distribuídos
- Experiência com bancos relacionais, data warehouses e integração de dados a partir de diferentes fontes
- Conhecimento em ferramentas de orquestração como Azure Data Factory, Airflow, Prefect ou similares
- Experiência em projetos em cloud, especialmente Azure, e atuação em ambientes produtivos com alta disponibilidade
- Familiaridade com práticas de CI/CD, versionamento com Git e qualidade/observabilidade de pipelines
- Conhecimento em modelagem de dados dimensional e normalizada
- Local de Trabalho: Pinheiros, São Paulo-SP
- Modelo de Trabalho: Híbrido - 2x por semana presencial
Desired Qualifications
- Experiência com Databricks, especialmente com Workspace, Jobs e Delta Lake
- Conhecimento em integração com Oracle ERP e entendimento de processos financeiros/contábeis
- Vivência com mensageria e streaming, como Kafka
- Conhecimento em observabilidade, segurança e governança de dados, incluindo ferramentas como Prometheus, Grafana ou Datadog
- Experiência com infraestrutura como código, como Terraform
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.