Data Engineer- MS Fabric (Remoto dentro de Colombia)
RemoteColombia
ColombiaRemoteFull TimeSenior LevelSmall
Full TimeSenior LevelSmall
Job Summary
Design and implement modern data architectures using Microsoft Fabric, optimizing parallel processing systems across data warehouses, lakes, and lakehouses. Collect, clean, and orchestrate large-scale structured and semi-structured data while defining strategies that align business objectives with technical requirements. Participate in agile sprint planning, workshops, and client meetings to estimate activities, track daily progress, and manage delivery risks. Collaborate proactively with internal squads and external clients to interpret business rules and propose robust data solutions.
Required Qualifications
- Inglés avanzado
- T-SQL / Spark SQL: DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos
- Python (PySpark): Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad)
- JSON / REST APIs: Orquestación de pipelines y despliegues CI/CD mediante llamadas a Fabric REST APIs, parametrización dinámica de ejecuciones y gestión de artefactos
- Microsoft Fabric: Lakehouse (OneLake + Delta Lake): modelado de datos con tablas Delta ACID, particionamiento y optimizaciones (OPTIMIZE, Z-ORDER) para mejorar rendimiento; uso de time travel para auditoría y recuperación
- Warehouses (Synapse Analytics): configuración de clusters SQL provisionados y serverless; diseño de esquemas estrella/copo de nieve; ejecución de T-SQL transaccional con aislamiento y escalado automático de recursos
- CI/CD & Lifecycle Management: definición de pipelines en Azure DevOps o GitHub Actions con entornos dev–test–prod; pruebas unitarias de datasets, validaciones de esquema y despliegue automatizado de artefactos
- Monitor Hub & Activator: creación de dashboards personalizados para métricas de ingestión y transformación (latencia, throughput, errores); alertas proactivas y runbooks automáticos basados en condiciones definidas
- Eventstreams & Eventhouse: configuración de ingesta de eventos en tiempo real sin código; definición de ventanas de procesamiento, agregaciones incrementales y almacenamiento optimizado para análisis temporal
- Seguridad y Gobierno de Datos: administración granular de roles (Admin, Member, Contributor, Viewer) y permisos por workspace/item; políticas de row-level, column-level security y dynamic data masking; auditoría de accesos y cambios para cumplimiento normativo
- Comunicación cercana: explicas hallazgos técnicos y de negocio de manera clara y directa
- Trabajo en Squads: colaboras bajo el Squad Lead/Tech Lead, aportando ideas y levantando la mano cuando algo no encaja
- Proactividad y colaboración: detectas problemas, propones soluciones y compartes el reto con el equipo para que juntos lo resolvamos
- Aprendizaje constante: mantienes la mente abierta, consumes videos y documentación para especializarte en nuevas tecnologías
- Responsabilidad y organización: gestionas tus OKRs, reportas avances y administras tu tiempo para cumplir compromisos
- Consultoría de Datos: interpretas reglas de negocio y propones escenarios de implementación técnica para convertir necesidades en soluciones
- Gestión de Requerimientos: Análisis de alcance y requerimientos para asegurar el éxito del proyecto
- Estrategia alineada al cliente: conviertes objetivos de negocio en arquitectura de datos práctica y robusta
- Presentación a Clientes: comunicas propuestas y resultados de manera efectiva
Desired Qualifications
- conocimientos generales en Azure Data Factory
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.