Data Engineer

• Utformade och implementerade datapipelines för både batch- och strömbehandling, vilket optimerade dataflödet och effektiviteten;
• Utforska och implementera datapipelines med hjälp av AWS Glue och PySpark, vilket säkerställer skalbarhet och robusthet;
• Integrerade Delta Lake i pipelines för att möjliggöra deltabehandling och förbättra datahanteringsmöjligheterna;
• Utvecklade jobbmallar med hjälp av Jinja för att effektivisera skapandet och hanteringen av databehandlingsjobb;
• Bygga och automatisera pipelines för datavalidering för att säkerställa att bearbetade data är korrekta och tillförlitliga;
• Distribuerade och konfigurerade Trino för att underlätta effektiv dataåtkomst och förfrågningar över olika källor;
• Förberedde omfattande dokumentation för varje komponent och verktyg som undersöktes, vilket säkerställde kunskapsöverföring och enkelt underhåll;
• Använde verktyg som Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino och Jinja för att uppnå projektmål.

Design och implementering av en prognosplattform - Engie (franskt globalt energiföretag)

• Utformning och implementering av en omfattande prognosplattform som är skräddarsydd för den globala energisektorn.
• Utvecklade datapipelines med hjälp av Python och PySpark, vilket säkerställde effektiv och skalbar databehandling.
• Orkestrerade jobbarbetsflöden med hjälp av Airflow och Databricks, optimering av uppgiftshantering och utförande.
• Implementerade datatekniska processer med hjälp av Databricks Delta Live Tables (DLT) för robust datahantering.
• Byggde och distribuerade pipelines för dataströmsbearbetning med hjälp av DLT, vilket möjliggjorde databehandlingsfunktioner i realtid.
• Utvecklade Feature Store API:er för interaktion med komponenter och skapade återanvändbara mallar för att standardisera processer.
• Använde MLflow för att bygga, hantera och spåra experiment och maskininlärningsmodeller, vilket säkerställde rigorös experimentering.
• Hanterade livscykeln för ML-modeller med hjälp av MLOps-tekniker och implementerade återanvändbara mallar för konsistens och effektivitet.
• Skapade instrumentpaneler för dataanalys och visualisering, vilket underlättade datadrivet beslutsfattande.
• Utvecklade API:er med hjälp av .NET/C# för att exponera data och säkerställa sömlös integration och tillgänglighet mellan olika system.
• Använde verktyg som Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes och Airflow för att leverera en robust och skalbar lösning.

• Leda projekt med fokus på att integrera Large Language Models (LLM) och AI-teknik och driva innovation inom organisationen;
• Hjälpte till med att utforma och implementera lösningar för datamigrering och säkerställde sömlösa övergångar för olika kunder;
• Utvecklade integrationer och klienter för vektordatabaser, med hjälp av olika AI-verktyg med öppen källkod för att förbättra kapaciteten;
• Aktivt kommunicerat med kunder för att samla in krav och säkerställa anpassning till deras specifika behov;
• Använder verktyg som Python, Google Cloud Platform (GCP) och Datastax för att leverera robusta lösningar.

Building and supporting promotion planning demo solution

• Developed generic data pipelines to transform raw client data into a format compatible with the data model of the promotion planning demo system;

• Wrote scripts to generate meaningful business data, ensuring alignment with the needs of the application;

• Collaborated with the science team to understand business requirements and determine the necessary data transformations to enhance data utility;

• Designed and implemented a generic PySpark codebase that efficiently transforms data to fit the required data model;

• Utilized tools such as PySpark, JupyterHub, Kubernetes, and Azure Data Lake to execute and support the project.

Implementing and Migrating Data Pipelines, and Supporting Legacy Systems - SumUp (Fintech German Company)

• Designed and implemented data pipelines for both batch and stream processing, optimizing data flow and efficiency;

• Explored and implemented data pipelines using AWS Glue and PySpark, ensuring scalability and robustness;

• Integrated Delta Lake into the pipelines to enable delta processing, enhancing data management capabilities;

• Developed job templating using Jinja to streamline the creation and management of data processing jobs;

• Built and automated data validation pipelines, ensuring the accuracy and reliability of processed data;

• Deployed and configured Trino to facilitate efficient data access and querying across various sources;

• Prepared comprehensive documentation for each component and tool explored, ensuring knowledge transfer and easy maintenance;

• Utilized tools such as Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, and Jinja to achieve project goals.

Building a Data Curation Platform

• Implemented a platform designed to make building data pipelines generic, easy, scalable, and quick to assemble for any new client;

• Prepared detailed design documents, architectural blueprints, and specifications for the platform;

• Gathered and documented requirements, creating specific epics and tasks, and efficiently distributed work among team members;

• Developed command-line and pipeline functionalities that enable chaining transformations, facilitating the creation of generic data pipelines;

• Supported the management of metadata for various entities defined within the platform;

• Conducted runtime analysis and optimized the performance of different platform functionalities;

• Studied scalability requirements and designed performance improvement strategies to enhance the platform's robustness;

• Built a PySpark interface to facilitate seamless integration with data science workflows.

• Utvecklade generiska datapipelines för att omvandla rå kunddata till ett format som är kompatibelt med datamodellen i demosystemet för kampanjplanering;
• Skrev skript för att generera meningsfulla affärsdata, vilket säkerställde anpassning till applikationens behov;
• Samarbetade med vetenskapsteamet för att förstå affärskraven och fastställa nödvändiga datatransformationer för att förbättra dataanvändningen;
• Design och implementering av en generisk PySpark-kodbas som effektivt omvandlar data för att passa den nödvändiga datamodellen;
• Använde verktyg som PySpark, JupyterHub, Kubernetes och Azure Data Lake för att genomföra och stödja projektet.

• Ledde teamet i att bygga datapipelines för att stödja en detaljhandlares lösning för kampanjplanering;
• Deltagit i möten med affärs- och datavetenskapsteam för att förstå och identifiera projektbehov;
• Samarbetade med teamet för att översätta affärskrav till handlingsbara epics och berättelser;
• Utformade och implementerade de identifierade affärskraven och säkerställde att de överensstämde med projektmålen;
• Utvecklat och utfört enhetstester för att säkerställa att implementationerna är funktionellt korrekta;
• Skapade en dataladdningsapplikation med Scala Spark för att ladda data från Parquet-filer till Cosmos DB/Cassandra API;
• Implementerade ett API för onlineprognoser med hjälp av Scala, Akka och Docker för att möjliggöra realtidsprognoser för marknadsföring;
• Hanterade distributionen av projektet på kundens Kubernetes-kluster, vilket säkerställde smidig drift och integration;
• Använde verktyg som Scala, Spark, Azure Databricks, Azure Data Lake och Kubernetes för att uppnå projektmålen.

Project 1: Building a Speech Recognition Solution

• Developed a speech recognition solution aimed at transforming retailers' questions and commands into actionable tasks executed against a user interface (UI);

• Utilized TensorFlow, Python, AWS, and Node.js to design and implement the solution, ensuring seamless interaction between the speech recognition engine and the UI.

Project 2: Design and Implementation of a Short Life Cycle Forecasting System

• Prepared comprehensive design documents and conducted studies on existing AI solutions, with a focus on voice and speech recognition capabilities;

• Collaborated with the team to prepare and collect relevant data for the project;

• Executed the processes of data augmentation, validation, and transformation to extract essential information for forecasting purposes;

• Contributed to building a user interface and integrated backend functionalities using tools such as TensorFlow, Python, AWS, JavaScript, Node.js, Scala, and Spark.

• Designed and structured the architecture for various components of a retail forecasting project;

• Implemented and deployed key components, ensuring seamless functionality within the overall system;

• Integrated all components, automating the processes and establishing an end-to-end batch process for streamlined operations;

• Optimized the runtime and performance of each component, enhancing the system's overall efficiency;

• Developed forecast comparison templates to facilitate the evaluation of forecast quality, aiding in accurate performance assessments;

• Utilized Logicblox, Python, and Tableau Software to achieve project goals, ensuring high-quality results.