Pessoa Engenheira de Dados Analytics Pleno
RemoteBrazil
EXPIREDBrazilRemoteFull Time
Full Time
Job Summary
Design, evolve, and sustain the Neogrid data platform by modernizing legacy solutions into scalable architectures using Python and Spark. Build and maintain pipelines for data ingestion, transformation, and integration to support analytical and operational consumption, while processing large volumes from diverse sources. Monitor production environments to identify and resolve pipeline issues, optimizing processes for performance, reliability, and scalability. Contribute to data engineering best practices, observability, and automation while collaborating across teams to enable business decision-making.
Required Qualifications
- Participar da definição, evolução e sustentação da plataforma de dados da Neogrid
- Atuar em projetos de modernização e migração de soluções legadas para arquiteturas de dados mais escaláveis
- Desenvolver, manter e evoluir pipelines de dados utilizando Python e Spark (PySpark)
- Construir soluções para ingestão, transformação, integração e disponibilização de dados para consumo analítico e operacional
- Processar e integrar grandes volumes de dados provenientes de diferentes fontes e formatos
- Monitorar, identificar e solucionar problemas relacionados a pipelines, integrações e ambientes de dados em produção
- Otimizar pipelines, consultas e processos de dados visando performance, confiabilidade e escalabilidade
- Contribuir para a definição e adoção de boas práticas de engenharia de dados, qualidade de dados, observabilidade e automação
- Colaborar com diferentes áreas na construção de soluções orientadas a dados que apoiem a tomada de decisão do negócio
- Domínio de controle de versionamento (Git)
- Experiência com desenvolvimento e manutenção de pipelines de dados utilizando Python e Spark (PySpark)
- Proficiência em ferramentas de ETL, ELT e construção de pipelines de dados, como Airbyte, dbt, Azure Data Factory (ADF), AWS Glue, Fivetran, Synapse Pipelines, Google Dataflow, Apache NiFi, Talend ou tecnologias similares
- Experiência em projetos de dados
- Experiência na resolução de problemas, compreendendo requisitos funcionais e não funcionais e regras de negócio para suporte à tomada de decisão
- Experiência no tratamento de diferentes fontes de dados (Parquet, JSON, CSV, TXT, bancos relacionais e Delta Tables)
- Experiência com modelagem de dados e gerenciamento de múltiplas bases de dados
- Experiência em projetos de BI, Big Data e Analytics
- Experiência em integração, processamento e armazenamento de grandes volumes de dados
- Experiência em modelagem de dados relacionais e dimensionais (Data Warehouse)
- Noções de mensageria (RabbitMQ, Kafka ou similares)
- Perfil adaptável a mudanças
- Abordagem analítica e foco em resolução de problemas, identificando oportunidades de melhoria contínua
Desired Qualifications
- Experiência com Databricks em ambientes produtivos
- Experiência com arquitetura Lakehouse e Delta Lake
- Experiência com ambientes Cloud (Azure, AWS ou GCP)
- Experiência com automação de processos e orquestração de pipelines
- Experiência com observabilidade, monitoramento e performance de pipelines de dados
- Conhecimento em DataOps e boas práticas de engenharia de dados
- Certificações em Cloud, Dados ou Databricks
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.