Senior Data Engineer
On-siteBudapest, Budapest, Hungary
Job Summary
Design and develop scalable ETL/ELT pipelines within Microsoft Fabric, optimizing high-volume data processes and resolving performance incidents. Architect key data structures including dimensional models, lakehouse layouts, and semantic layers while ensuring data quality through automated validation and observability. Lead integration of APIs and enterprise systems, enforce security protocols like RBAC, and mentor junior engineers on code standards and best practices. Collaborate cross-functionally to translate business requirements into technical specifications and drive architectural decisions for the enterprise data platform.
Required Qualifications
- Magas szintű SQL-tudás: komplex lekérdezések optimalizálása, teljesítményhangolás, indexelés, particionálás
- Erős Python-tudás: adatfeldolgozás, automatizált workflow-k, API-integrációk, adattranszformációk, PySpark
- Mély tapasztalat elosztott feldolgozásban: Apache Spark, Databricks (vagy rokon ökoszisztéma), Hadoop-alapok
- Tapasztalat nagy skálájú ETL/ELT architektúrák tervezésében, fejlesztésében és üzemeltetésében
- Lakehouse és modern data platform architektúrák ismerete (Delta Lake / Iceberg / OneLake / Synapse / BigQuery / Snowflake)
- Felhőplatformok (Azure, AWS, GCP) mély ismerete (storage, compute, IAM, security, CI/CD)
- Streaming/real-time rendszerek ismerete (Kafka / Kinesis / EventHub), real-time pipeline-ok tervezése előny
- Adatminőség-kezelés, automatizált validációk, megfigyelhetőség (observability) és pipeline-minőség fókusz
- Adatbiztonság, jogosultsági modellek, titkosítás, governance és compliance (GDPR, ISO, SOC) alkalmazása
- Képesség önálló adatarchitektúra-döntések meghozatalára, alternatívák összehasonlítására és ajánlások készítésére
- Nagyvállalati környezetben szerzett tapasztalat komplex, több csapatot érintő adatmegoldásokon
- Dokumentációs fegyelem (specifikációk, architektúra-dokumentumok, pipeline-leírások)
- Kiváló stakeholder-kommunikáció: üzleti igények technikai specifikációvá alakítása
- Mentorálási készség és erős „ownership” szemlélet
- Magabiztos angol nyelvtudás írásban és szóban
Desired Qualifications
- Microsoft Fabric / Azure Data Factory / Synapse / Databricks / Snowflake környezetekben szerzett releváns tapasztalat
- Real-Time Intelligence / event-alapú architektúrák gyakorlati ismerete
- Vállalati adatstratégia támogatása, adatérettség növelése, best practice-ek bevezetése
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.