Zakaria M.

-Design and deliver scalable ELT pipelines on Databricks using PySpark, Spark SQL, and medallion architecture (Bronze/Silver/Gold). -Implement data governance practices including Unity Catalog for centralized metadata management and data lineage tracking. -Apply partitioning and caching strategies to optimize query performance and reduce processing times. -Manage CI/CD orchestration with Azure DevOps for automated testing and deployment of data assets. -Integrate Databricks jobs with Airflow DAGs for end-to-end workflow orchestration and dependency management.

-Built scalable ELT pipelines with Databricks using PySpark/Spark SQL for high-volume energy data processing. -Leveraged Delta Lake with time travel and CDC logic to ensure data consistency, auditability, and rollback capabilities. -Applied partitioning and caching strategies for performance optimization across large-scale transformations. -Managed CI/CD pipelines using GitLab for version-controlled deployments across environments. -Conducted code reviews and cross-team collaboration to maintain engineering standards and code quality.

• Ansvarar för ETL/ELT-bearbetning i Azure Databricks med hjälp av PySpark och Spark SQL. Det här omfattande extrahering av data från olika källor och transformering av dessa data till ett användbart format med uppladdning till en måldatabas eller ett datalager.
• Designade, utvecklade, testade, åtgärdade fel och implementerade QlikSense-lösningar grundade på specifika krav från affärsanvändare relaterade till instrumentpaneler. Detta omfattade att skapa interaktiva datavisualiseringar och rapporter som hjälpte intressenter att fatta välgrundade beslut. I den här rollen använde han verktygen Azure Databricks, Apache Spark (PySpark, Spark SQL), Qlik Sense och Qlik NPrinting.

• Ansvarar för analys, design och implementering av ETL/ELT-arbetsflöden för olika projekt. – Detta omfattade CRM-projektet som användes för hantering av prospekt, kunder och marknadsföringskampanjer, samt BI-projektet för att sälja tågbiljetter.
• Designade och implementerade automatiserade ETL/ELT-jobb med schemaläggning för att från olika datakällor mata den centraliserade databasen för leverantörer och inköp. Verktygen som användes för detta åtagande inkluderade (DI, Big Data, ESB) (Java), Azure Databricks, Hadoop Ecosystem, Apache Spark (Spark SQL, PySpark), Databricks, PostgreSQL och Power BI.

• Gjorde finjusteringen: Optimering av ETL-processen för att säkerställa att den kördes effektivt. Detta omfattade finjustering av databasen och optimering av dataflöden.
• Ansvarar för analys av detaljerade funktionsspecifikationer och utarbetande av tekniska specifikationer för ETL-projekt. Detta omfattade design och körning av ETL-projekt för att generera rapporter och målfiler enligt kundens behov.
• Säkerställde noggrannhet i projektens validerings- och leveransfaser. För detta användes verktyget Talend ETL med PostgreSQL.