Data Engineer

-Design and deliver scalable ELT pipelines on Databricks using PySpark, Spark SQL, and medallion architecture (Bronze/Silver/Gold). -Implement data governance practices including Unity Catalog for centralized metadata management and data lineage tracking. -Apply partitioning and caching strategies to optimize query performance and reduce processing times. -Manage CI/CD orchestration with Azure DevOps for automated testing and deployment of data assets. -Integrate Databricks jobs with Airflow DAGs for end-to-end workflow orchestration and dependency management.

-Built scalable ELT pipelines with Databricks using PySpark/Spark SQL for high-volume energy data processing. -Leveraged Delta Lake with time travel and CDC logic to ensure data consistency, auditability, and rollback capabilities. -Applied partitioning and caching strategies for performance optimization across large-scale transformations. -Managed CI/CD pipelines using GitLab for version-controlled deployments across environments. -Conducted code reviews and cross-team collaboration to maintain engineering standards and code quality.

• Verantwoordelijk voor de uitvoering van ETL/ELT-operaties met Azure Databricks, PySpar en Spark SQL. Dit omvatte de extractie van gegevens uit verschillende bronnen, de omzetting in een bruikbaar formaat en de invoer in een doeldatabank of een data warehouse.
• Ontwerp, ontwikkeling, testen, debuggen en implementatie van QlikSense-oplossingen gebaseerd op de vereisten van zakelijke gebruikers in verband met dashboard-doelstellingen. Dit omvatte de creatie van interactieve gegevensvisualisaties en meldingen om betrokken partijen te helpen bij het nemen van geïnformeerde beslissingen. De gebruikte tools in deze functie waren onder andere Azure Databricks, Apache Spark (PySpark, Spark SQL), Qlik Sense en Qlik NPrinting.

• Verantwoordelijk voor de analyses, het ontwerp en de implementatie van ETL/ELT-workflows voor verschillende projecten. Dit omvatte het CRM-project dat werd gebruikt voor het beheren van (potentiële) klanten en marketingcampagnes, evenals het BI-project voor de verkoop van treintickets.
• Ontwerp en implementatie van geautomatiseerde ETL/ELT-taken met invoerplanning in de gecentraliseerde databank voor leveranciers en aankopen vanuit verschillende gegevensbronnen. De gebruikte tools in deze functie waren onder andere Talend (DI, Big Data, ESB) (Java), Azure Databricks, Hadoop Ecosystem, Apache Spark (Spark SQL, PySpark), Databricks, PostgreSQL en Power BI.

• Prestatieverbetering: optimalisatie van het ETL-proces om te verzekeren dat het efficiënt verloopt, inclusief het fijnstellen van zoekopdrachten in de databank en de optimalisatie van data flows.
• Verantwoordelijk voor de analyse van gedetailleerde functionele specificaties en het uitwerken van technische specificaties voor ETL-projecten. Dit omvatte het ontwerpen en uitvoeren van ETL-projecten om rapporten en doelbestanden te genereren op basis van de klantbehoeften.
• Verzekeren van nauwkeurigheid in de validatie- en leveringsfasen van deze projecten. De gebruikte tools in deze functie waren Talend ETL en PostgreSQL.