Data Engineer - Casos de Uso
HybridLa Ciudad, Estado de Durango, Mexico
Job Summary
Translate business requirements into scalable technical solutions by designing and developing data pipelines using Python, Spark, and SQL. Implement Big Data and cloud-based architectures on AWS, automating processes with tools like Control-M or EventBridge while maintaining version control via Git. Execute end-to-end testing, validation, and monitoring for data processes, ensuring quality through unit testing and CI/CD best practices. Collaborate with multidisciplinary teams to communicate technical and functional information, documenting requirements and solutions clearly. Contribute to improving the data lifecycle from ingestion to exploitation within an agile environment.
Required Qualifications
- Dominio en tecnologías de Big Data
- Manejo de datos en la nube (preferentemente AWS)
- Dominio en Python (manipulación de datos, scripting, automatización)
- Experiencia en Apache Spark (PySpark preferentemente)
- Sólidos conocimientos en SQL (queries complejas, tuning)
- Conocimientos funcionales en Java
- Big Data y Arquitectura de Datos: Conocimiento de paradigmas Big Data y arquitectura distribuida
- Entendimiento del ciclo de vida del dato (ingesta, transformación, calidad, explotación)
- Manejo de sistemas de control de versiones: Git / Bitbucket
- Herramientas DevOps /Jenkins
- Uso avanzado de sistemas Linux/Unix
- Experiencia en línea de comandos y scripting en shell
- Principios de CI/CD
- Documentación técnica clara y reutilizable
- Conocimiento en metodologías ágiles y utilización herramienta JIRA
- Pensamiento analítico y resolución de problemas
- Buena comunicación y trabajo colaborativo
- Adaptabilidad a entornos cambiantes y metodologías ágiles
- Proactividad y orientación a resultados
- Autogestivo
- Comunicación entre la parte técnica y la parte funcional (redacción de minutas, elaboración de documentación)
- Capacidad de relacionar información técnica con información del negocio
Desired Qualifications
- Conocimientos de expresiones regulares (Regex)
- Deseable experiencia con Control-M, EventBridge u otras herramientas de orquestación de procesos
- Testing y validación de procesos de datos
- Experiencia en el proceso de punta a punta de testing, validación de procesos y monitorización
- Testing de datos y unit testing para pipelines
- Conocimientos Deseables en AWS Experiencia o conocimientos en los siguientes servicios: S3 (almacenamiento) EC2 (instancias de procesamiento) Athena (consultas sobre datos en S3) EMR (procesamiento distribuido) SageMaker (machine learning, deseable) CloudWatch (monitorización y logs)
- Implementar soluciones sobre ecosistemas Big Data y plataformas cloud (AWS deseable)
- Automatizar procesos mediante orquestadores como Control-M o EventBridge
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.