Data Engineer

-Design and deliver scalable ELT pipelines on Databricks using PySpark, Spark SQL, and medallion architecture (Bronze/Silver/Gold). -Implement data governance practices including Unity Catalog for centralized metadata management and data lineage tracking. -Apply partitioning and caching strategies to optimize query performance and reduce processing times. -Manage CI/CD orchestration with Azure DevOps for automated testing and deployment of data assets. -Integrate Databricks jobs with Airflow DAGs for end-to-end workflow orchestration and dependency management.

-Built scalable ELT pipelines with Databricks using PySpark/Spark SQL for high-volume energy data processing. -Leveraged Delta Lake with time travel and CDC logic to ensure data consistency, auditability, and rollback capabilities. -Applied partitioning and caching strategies for performance optimization across large-scale transformations. -Managed CI/CD pipelines using GitLab for version-controlled deployments across environments. -Conducted code reviews and cross-team collaboration to maintain engineering standards and code quality.

• Ansvarlig for at udføre ETL/ELT-operationer med Azure Databricks ved hjælp af PySpark og Spark SQL. Dette indebærer at udtrække data fra forskellige kilder, omdanne dem til et brugbart format og indlæse dem i en måldatabase eller et datalager;
• Designede, udviklede, testede, fejlsøgte og implementerede QlikSense-løsninger baseret på specificerede krav fra virksomhedsbrugere i forbindelse med målsætninger for kontrolpaneler. Dette omfattede oprettelse af interaktive datavisualiseringer og rapporter for at hjælpe interessenterne med at træffe informerede beslutninger. De værktøjer, der blev anvendt i denne rolle, omfattede Azure Databricks, Apache Spark (PySpark, Spark SQL), Qlik Sense og Qlik NPrinting.

• Ansvarlig for at analysere, designe og implementere ETL'er/ELT-workflows til forskellige projekter. Dette omfattede CRM-projektet, der blev brugt til forvaltning af kundeemner, aktuelle kunder og markedsføringskampagner, samt BI-projektet til salg af togbilletter til passagerer;
• Designede og implementerede automatiserede ETL/ELT-jobs med tidsplanlægning, der blev overført til den centraliserede leverandør- og indkøbsstyringsdatabase fra forskellige datakilder. De værktøjer, der blev brugt i denne rolle, omfattede Talend (DI, Big Data, ESB) (Java), Azure Databricks, Hadoop Ecosystem, Apache Spark (Spark SQL, PySpark), Databricks, PostgreSQL og Power BI.

• Tilpasning af ydeevnen: Optimering af ETL-processen, så den kører effektivt, herunder tilpasning af databaseforespørgsler og optimering af datastrømme;
• Ansvarlig for analyse af detaljerede funktionelle specifikationer og udarbejdelse af tekniske specifikationer for ETL-projekter. – Dette omfattede design og udførelse af ETL-projekter med henblik på at generere rapporter og destinationsfiler i henhold til kundens behov;
• Sørgede for strenge validerings- og leveringsfaser i disse projekter. Værktøjerne Talend ETL og PostgreSQL blev brugt i denne rolle.