Data Engineer

-Design and deliver scalable ELT pipelines on Databricks using PySpark, Spark SQL, and medallion architecture (Bronze/Silver/Gold). -Implement data governance practices including Unity Catalog for centralized metadata management and data lineage tracking. -Apply partitioning and caching strategies to optimize query performance and reduce processing times. -Manage CI/CD orchestration with Azure DevOps for automated testing and deployment of data assets. -Integrate Databricks jobs with Airflow DAGs for end-to-end workflow orchestration and dependency management.

-Built scalable ELT pipelines with Databricks using PySpark/Spark SQL for high-volume energy data processing. -Leveraged Delta Lake with time travel and CDC logic to ensure data consistency, auditability, and rollback capabilities. -Applied partitioning and caching strategies for performance optimization across large-scale transformations. -Managed CI/CD pipelines using GitLab for version-controlled deployments across environments. -Conducted code reviews and cross-team collaboration to maintain engineering standards and code quality.

• Vastaa ETL/ELT-prosessien suorittamisesta Azure Databricksissä PySparkin ja Spark SQL:n avulla. Tähän kuului tietojen poimiminen eri lähteistä, niiden muuntaminen käyttökelpoiseen muotoon ja lataaminen kohdetietokantaan tai tietovarastoon.
• Suunnitteli, kehitti, testasi, toteutti ja korjasi QlikSense-ratkaisuja sitä mukaa, kun käyttäjät esittivät yksittäisiä vaatimuksia koontinäytön tavoitteisiin liittyen. Tähän sisältyi interaktiivisten tietojen visualisointien ja raporttien luominen, jotta sidosryhmät voisivat tehdä tietoon perustuvia päätöksiä. Tässä roolissa käytettyjä työkaluja olivat Azure Databricks, Apache Spark (PySpark, Spark SQL), Qlik Sense ja Qlik NPrinting.

• Vastaa ETLs/ELT-työnkulkujen analysoinnista, suunnittelusta ja toteuttamisesta eri projekteissa. Tähän sisältyi CRM-hanke, jota käytettiin potentiaalisten asiakkaiden, asiakkaiden ja markkinointikampanjoiden hallinnointiin, sekä BI-projekti, jota käytettiin junalippujen myyntiin.
• Suunnitteli ja toteutti automatisoidut ETL/ELT-työt aikataulutuksineen keskitetyn toimittajien ja hankintojen hallintatietokannan päivittämiseksi eri tietolähteistä. Tässä roolissa käytettyjä työkaluja olivat Talend (DI, Big Data, ESB) (Java), Azure Databricks, Hadoop Ecosystem, Apache Spark (Spark SQL, PySpark), Databricks, PostgreSQL ja Power BI.

• Suorituskyvyn optimointi: ETL-prosessin optimointi toiminnan tehostamiseksi mukaan lukien tietokantakyselyjen ja tietovirtojen optimointi.
• Vastuussa yksityiskohtaisten toiminnallisten eritelmien analysoinnista ja teknisten eritelmien laatimisesta ETL-projekteja varten. Tähän kuului ETL-projektien suunnittelu ja toteutus raporttien ja kohdetiedostojen luomiseksi asiakkaan tarpeiden mukaisesti.
• Varmisti hankkeiden validointi- ja toimitusvaiheiden ripeän toteutuksen. Tässä tehtävässä käytettiin Talend ETL:ää ja PostgreSQL:ää.