Data Engineer

• Conception et mise en œuvre de pipelines de données pour le traitement par lots et par flux, en optimisant le flux de données et l'efficacité ;
• Vous avez exploré et mis en œuvre des pipelines de données en utilisant AWS Glue et PySpark, en garantissant l'évolutivité et la robustesse ;
• Intégration de Delta Lake dans les pipelines pour permettre le traitement delta, améliorant ainsi les capacités de gestion des données ;
• Développement de modèles de tâches à l'aide de Jinja pour rationaliser la création et la gestion des tâches de traitement des données ;
• Construire et automatiser les pipelines de validation des données, en assurant l'exactitude et la fiabilité des données traitées ;
• Déploiement et configuration de Trino pour faciliter l'accès efficace aux données et l'interrogation de diverses sources ;
• Préparation d'une documentation complète pour chaque composant et outil exploré, afin d'assurer le transfert des connaissances et une maintenance aisée ;
• Utilisation d'outils tels que Python, PySpark, Glue (Jobs, Crawlers, Catalogues), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, et Jinja pour atteindre les objectifs du projet.

Conception et mise en œuvre d'une plateforme de prévision - Engie (Entreprise française d'énergie globale)

• Conception et mise en œuvre d'une plateforme de prévision complète adaptée au secteur mondial de l'énergie.
• Développement de pipelines de données à l'aide de Python et PySpark, garantissant un traitement efficace et évolutif des données.
• Orchestrer des workflows de travail en utilisant Airflow et Databricks, en optimisant la gestion et l'exécution des tâches.
• Mise en œuvre de processus d'ingénierie des données utilisant les Delta Live Tables (DLT) de Databricks pour une gestion robuste des données.
• Construire et déployer des pipelines de traitement de flux de données en utilisant des DLT, permettant des capacités de traitement de données en temps réel.
• Développement des API du Feature Store pour l'interaction avec les composants et création de modèles réutilisables pour normaliser les processus.
• Le projet a pour but d'améliorer l'efficacité de la gestion des ressources humaines et d'améliorer la qualité des services offerts aux clients.
• Gestion du cycle de vie des modèles ML en utilisant les techniques MLOps, en mettant en œuvre des modèles réutilisables pour la cohérence et l'efficacité.
• Création de tableaux de bord pour l'analyse et la visualisation des données, facilitant la prise de décision fondée sur les données.
• Développement d'API à l'aide de .NET/C# pour exposer les données, en assurant une intégration et une accessibilité transparentes entre les systèmes.
• Employé des outils tels que Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes, et Airflow pour fournir une solution robuste et évolutive.

• A dirigé des projets axés sur l'intégration de grands modèles de langage (LLM) et de technologies d'intelligence artificielle, en stimulant l'innovation au sein de l'organisation ;
• Aide à la conception et à la mise en œuvre de solutions de migration de données, assurant des transitions transparentes pour divers clients ;
• Développement d'intégrations et de clients pour les bases de données vectorielles, en utilisant différents outils d'IA open-source pour améliorer les capacités ;
• Communication active avec les clients pour recueillir les exigences et assurer l'alignement sur leurs besoins spécifiques ;
• Utilisation d'outils tels que Python, Google Cloud Platform (GCP), et Datastax pour fournir des solutions robustes.

Building and supporting promotion planning demo solution

• Developed generic data pipelines to transform raw client data into a format compatible with the data model of the promotion planning demo system;

• Wrote scripts to generate meaningful business data, ensuring alignment with the needs of the application;

• Collaborated with the science team to understand business requirements and determine the necessary data transformations to enhance data utility;

• Designed and implemented a generic PySpark codebase that efficiently transforms data to fit the required data model;

• Utilized tools such as PySpark, JupyterHub, Kubernetes, and Azure Data Lake to execute and support the project.

Implementing and Migrating Data Pipelines, and Supporting Legacy Systems - SumUp (Fintech German Company)

• Designed and implemented data pipelines for both batch and stream processing, optimizing data flow and efficiency;

• Explored and implemented data pipelines using AWS Glue and PySpark, ensuring scalability and robustness;

• Integrated Delta Lake into the pipelines to enable delta processing, enhancing data management capabilities;

• Developed job templating using Jinja to streamline the creation and management of data processing jobs;

• Built and automated data validation pipelines, ensuring the accuracy and reliability of processed data;

• Deployed and configured Trino to facilitate efficient data access and querying across various sources;

• Prepared comprehensive documentation for each component and tool explored, ensuring knowledge transfer and easy maintenance;

• Utilized tools such as Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, and Jinja to achieve project goals.

Building a Data Curation Platform

• Implemented a platform designed to make building data pipelines generic, easy, scalable, and quick to assemble for any new client;

• Prepared detailed design documents, architectural blueprints, and specifications for the platform;

• Gathered and documented requirements, creating specific epics and tasks, and efficiently distributed work among team members;

• Developed command-line and pipeline functionalities that enable chaining transformations, facilitating the creation of generic data pipelines;

• Supported the management of metadata for various entities defined within the platform;

• Conducted runtime analysis and optimized the performance of different platform functionalities;

• Studied scalability requirements and designed performance improvement strategies to enhance the platform's robustness;

• Built a PySpark interface to facilitate seamless integration with data science workflows.

• Développement de pipelines de données génériques pour transformer les données brutes des clients dans un format compatible avec le modèle de données du système de démonstration de planification des promotions ;
• Rédiger des scripts pour générer des données commerciales significatives, en veillant à ce qu'elles soient conformes aux besoins de l'application ;
• Collaborer avec l'équipe scientifique pour comprendre les exigences commerciales et déterminer les transformations de données nécessaires pour améliorer l'utilité des données ;
• Conception et implémentation d'une base de code générique PySpark qui transforme efficacement les données pour les adapter au modèle de données requis ;
• Le projet est en cours d'élaboration et de mise en œuvre, il est en cours d'élaboration et de mise en œuvre, il est en cours de mise en œuvre et de mise en œuvre, il est en cours de mise en œuvre et de mise en œuvre, il est en cours de mise en œuvre et de mise en œuvre.

• A dirigé l'équipe en construisant des pipelines de données pour soutenir la solution de planification des promotions d'un détaillant ;
• Participation à des réunions avec des équipes commerciales et de science des données afin de comprendre et d'identifier les besoins du projet ;
• Collaborer avec l'équipe pour traduire les exigences de l'entreprise en épopées et récits exploitables ;
• Concevoir et mettre en œuvre les exigences commerciales identifiées, en veillant à l'alignement sur les objectifs du projet ;
• Développer et exécuter des tests unitaires pour assurer la correction fonctionnelle des implémentations ;
• Création d'une application de chargement de données utilisant Scala Spark pour charger des données à partir de fichiers Parquet dans Cosmos DB/Cassandra API ;
• Implémentation d'une API de prévision en ligne utilisant Scala, Akka, et Docker pour permettre des prévisions de promotion en temps réel ;
• Gestion du déploiement du projet sur le cluster Kubernetes du client, assurant un fonctionnement et une intégration sans faille ;
• Utiliser des outils tels que Scala, Spark, Azure Databricks, Azure Data Lake, et Kubernetes pour atteindre les objectifs du projet.

Project 1: Building a Speech Recognition Solution

• Developed a speech recognition solution aimed at transforming retailers' questions and commands into actionable tasks executed against a user interface (UI);

• Utilized TensorFlow, Python, AWS, and Node.js to design and implement the solution, ensuring seamless interaction between the speech recognition engine and the UI.

Project 2: Design and Implementation of a Short Life Cycle Forecasting System

• Prepared comprehensive design documents and conducted studies on existing AI solutions, with a focus on voice and speech recognition capabilities;

• Collaborated with the team to prepare and collect relevant data for the project;

• Executed the processes of data augmentation, validation, and transformation to extract essential information for forecasting purposes;

• Contributed to building a user interface and integrated backend functionalities using tools such as TensorFlow, Python, AWS, JavaScript, Node.js, Scala, and Spark.

• Designed and structured the architecture for various components of a retail forecasting project;

• Implemented and deployed key components, ensuring seamless functionality within the overall system;

• Integrated all components, automating the processes and establishing an end-to-end batch process for streamlined operations;

• Optimized the runtime and performance of each component, enhancing the system's overall efficiency;

• Developed forecast comparison templates to facilitate the evaluation of forecast quality, aiding in accurate performance assessments;

• Utilized Logicblox, Python, and Tableau Software to achieve project goals, ensuring high-quality results.