Data Engineer

-Design and deliver scalable ELT pipelines on Databricks using PySpark, Spark SQL, and medallion architecture (Bronze/Silver/Gold). -Implement data governance practices including Unity Catalog for centralized metadata management and data lineage tracking. -Apply partitioning and caching strategies to optimize query performance and reduce processing times. -Manage CI/CD orchestration with Azure DevOps for automated testing and deployment of data assets. -Integrate Databricks jobs with Airflow DAGs for end-to-end workflow orchestration and dependency management.

-Built scalable ELT pipelines with Databricks using PySpark/Spark SQL for high-volume energy data processing. -Leveraged Delta Lake with time travel and CDC logic to ensure data consistency, auditability, and rollback capabilities. -Applied partitioning and caching strategies for performance optimization across large-scale transformations. -Managed CI/CD pipelines using GitLab for version-controlled deployments across environments. -Conducted code reviews and cross-team collaboration to maintain engineering standards and code quality.

• Ansvarlig for å utføre ETL/ELT-operasjoner med Azure Databricks ved bruk av PySpark og Spark SQL. Dette innebar å trekke ut data fra ulike kilder, transformere det til et brukbart format og laste det inn i en måldatabase eller datavarehus;
• Designet, utviklet, testet, feilsøkte og implementerte QlikSense-løsninger basert på spesifiserte krav fra forretningsbrukere knyttet til dashbordmål. Dette omfattet å lage interaktive datavisualiseringer og rapporter for å hjelpe interessenter med å ta informerte beslutninger. Verktøyene som ble brukt i denne rollen inkluderer Azure Databricks, Apache Spark (PySpark, Spark SQL), Qlik Sense og Qlik NPrinting.

• Ansvarlig for å analysere, designe og implementere ETL/ELT arbeidsflyter for ulike prosjekter. Dette inkluderte CRM-prosjektet brukt til styring av prospekter, kunder og markedsføringskampanjer, samt BI-prosjektet for salg av persontogbilletter;
• Designet og implementerte automatiserte ETL/ELT-jobber med planlegging for mating av den sentraliserte leverandør- og innkjøpsadministrasjonsdatabasen fra forskjellige datakilder. Verktøyene som ble brukt i denne rollen inkluderer Talend (DI, Big Data, ESB) (Java), Azure Databricks, Hadoop Ecosystem, Apache Spark (Spark SQL, PySpark), Databricks, PostgreSQL og Power BI.

• Ytelsesjustering: Optimalisering av ETL-prosessen for å sikre at den kjører effektivt, inkludert justering av databasespørringer og optimalisering av dataflyter;
• Ansvarlig for å analysere detaljerte funksjonsspesifikasjoner og utarbeide tekniske spesifikasjoner for ETL-prosjekter. Dette inkluderte design og utførelse av ETL-prosjekter for å generere rapporter og destinasjonsfiler i henhold til kundens behov;
• Sørget for at validerings- og leveringsfasene til disse prosjektene var strenge. Verktøyet som ble brukt i denne rollen var Talend ETL, sammen med PostgreSQL.