Banco de Talentos - Engenheira(o) de Dados Sênior (Foco em GCP)
HybridSão Paulo, São Paulo, Brazil
Job Summary
Lead the design, construction, and maintenance of robust, scalable data architectures using native GCP services. Develop, optimize, and automate complex ETL/ELT pipelines for batch and streaming workloads via Cloud Dataflow, Dataproc, and Pub/Sub while implementing CI/CD for infrastructure. Ensure data quality, governance, and integrity through Dataplex and Data Catalog, and model centralized data in BigQuery to support analytics and data science. Define software engineering best practices including automated testing and code reviews, acting as a technical mentor to junior and mid-level engineers. Collaborate directly with data scientists to integrate RStudio with cloud data sources. This role focuses on building resilient data ecosystems within the Google Cloud Platform, requiring a senior engineer to drive architectural decisions and team growth.
Required Qualifications
- Sólida experiência em Engenharia de Dados em ambientes de alta volumetria e complexidade
- Domínio avançado em SQL para consultas complexas e otimização de performance, com foco profundo no Google BigQuery
- Excelente proficiência em linguagens de programação como Python, Java ou R
- Experiência prática no gerenciamento de Ambientes Virtuais (como venv, pipenv, conda) para garantir a reprodutibilidade dos projetos
- Conhecimento e suporte a ferramentas de desenvolvimento analítico, especificamente o RStudio (Server ou Desktop)
- Sólida experiência com ferramentas de versionamento e colaboração de código, como Git, GitHub e Bitbucket (controle de branches, Pull Requests e code review)
- Experiência com orquestradores de automação e ferramentas de CI/CD, com destaque para o Jenkins
- Experiência robusta com os principais serviços de dados do Google Cloud Platform (GCP): BigQuery, Cloud Storage, Pub/Sub, Dataflow e Dataproc
- Vivência prática com orquestradores de workflow de dados, como Google Cloud Composer (Apache Airflow)
- Conhecimento sólido em modelagem de dados multidimensional
Desired Qualifications
- Certificação Oficial do Google Cloud (ex: Professional Data Engineer ou Cloud Architect)
- Experiência com ferramentas modernas de transformação de dados, como o dbt (Data Build Tool) integrado com o BigQuery
- Vivência com infraestrutura como código (Terraform) para o lançamento e gestão de recursos na GCP integrado a esteiras do Jenkins
- Conhecimentos em MLOps e pipelines de deploy para modelos de Machine Learning (utilizando o Vertex AI)
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.