Zakaria M.

• Please add a description

-Design and deliver scalable ELT pipelines on Databricks using PySpark, Spark SQL, and medallion architecture (Bronze/Silver/Gold). -Implement data governance practices including Unity Catalog for centralized metadata management and data lineage tracking. -Apply partitioning and caching strategies to optimize query performance and reduce processing times. -Manage CI/CD orchestration with Azure DevOps for automated testing and deployment of data assets. -Integrate Databricks jobs with Airflow DAGs for end-to-end workflow orchestration and dependency management.

-Built scalable ELT pipelines with Databricks using PySpark/Spark SQL for high-volume energy data processing. -Leveraged Delta Lake with time travel and CDC logic to ensure data consistency, auditability, and rollback capabilities. -Applied partitioning and caching strategies for performance optimization across large-scale transformations. -Managed CI/CD pipelines using GitLab for version-controlled deployments across environments. -Conducted code reviews and cross-team collaboration to maintain engineering standards and code quality.

• Responsable de l'exécution des opérations ETL/ELT avec Azure Databricks en utilisant PySpark et Spark SQL. Cela a impliqué d'extraire des données de diverses sources, de les transformer dans un format utilisable et de les charger dans une base de données cible ou un entrepôt de données ;
• A conçu, développé, testé, débogué et mis en œuvre des solutions QlikSense sur la base des exigences spécifiées par les utilisateurs professionnels en ce qui concerne les buts et objectifs des tableaux de bord. Cela a notamment impliqué de créer des visualisations de données et des rapports interactifs pour aider les parties prenantes à prendre des décisions éclairées. Les outils utilisés dans ce rôle ont compris Azure Databricks, Apache Spark (PySpark, Spark SQL), Qlik Sense, et Qlik NPrinting.

• Responsable de l'analyse, de la conception et de la mise en œuvre des flux de travail ETL/ELT pour divers projets. Cela a compris le projet CRM utilisé pour la gestion des prospects, des clients et des campagnes de marketing, ainsi que le projet BI pour la vente de billets de train de passagers ;
• A conçu et mis en œuvre des tâches ETL/ELT automatisées avec planification pour alimenter la base de données centralisée de gestion des fournisseurs et des achats à partir de différentes sources de données. Les outils utilisés dans ce rôle ont compris Talend (DI, Big Data, ESB) (Java), Azure Databricks, Hadoop Ecosystem, Apache Spark (Spark SQL, PySpark), Databricks, PostgreSQL, et Power BI.

• Optimisation des performances : Optimisation du processus ETL pour garantir qu'il fonctionne efficacement, y compris l'ajustement des requêtes de base de données et l'optimisation des flux de données ;
• Responsable de l'analyse des spécifications fonctionnelles détaillées et de l'élaboration des spécifications techniques pour les projets ETL. Cela a notamment impliqué la conception et l'exécution de projets ETL afin de générer des rapports et des fichiers de destination en fonction des besoins du client ;
• A veillé à la rigueur des phases de validation et d'exécution de ces projets. L'outil utilisé dans ce rôle a été Talend ETL, ainsi que PostgreSQL.