Data Engineer

• Designet og implementert datapipelines for både batch- og strømprosessering, og optimalisert dataflyt og effektivitet;
• Utforsket og implementert datapipelines ved hjelp av AWS Glue og PySpark, og sørget for skalerbarhet og robusthet;
• Integrert Delta Lake i pipelines for å muliggjøre deltabehandling, noe som forbedrer datahåndteringsfunksjonene;
• Utviklet jobbmaler ved hjelp av Jinja for å effektivisere oppretting og administrasjon av databehandlingsjobber;
• Bygget og automatisert datavalideringspipelines, noe som sikrer nøyaktigheten og påliteligheten til behandlede data;
• Distribuert og konfigurert Trino for å legge til rette for effektiv datatilgang og spørring på tvers av ulike kilder;
• Utarbeidet omfattende dokumentasjon for hver komponent og hvert verktøy som ble utforsket, for å sikre kunnskapsoverføring og enkelt vedlikehold;
• Brukt verktøy som Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino og Jinja for å nå prosjektmålene.

Design og implementering av en prognoseplattform - Engie (fransk globalt energiselskap)

• Designet og implementerte en omfattende prognoseplattform skreddersydd for den globale energisektoren.
• Utviklet datapipelines ved hjelp av Python og PySpark, noe som sikrer effektiv og skalerbar databehandling.
• Orkestrerte arbeidsflyter ved hjelp av Airflow og Databricks, og optimaliserte oppgavehåndtering og -utførelse.
• Implementert datatekniske prosesser ved hjelp av Databricks' Delta Live Tables (DLT) for robust datahåndtering.
• Bygget og distribuert datastrømsbehandlingsrørledninger ved hjelp av DLT-er, noe som muliggjør databehandlingsfunksjoner i sanntid.
• Utviklet Feature Store API-er for interaksjon med komponenter og laget gjenbrukbare maler for å standardisere prosesser.
• Brukt MLflow til å bygge, administrere og spore eksperimenter og maskinlæringsmodeller, noe som sikrer streng eksperimentering.
• Administrert livssyklusen til ML-modeller ved hjelp av MLOps-teknikker, og implementert gjenbrukbare maler for konsistens og effektivitet.
• Opprettet dashbord for dataanalyse og visualisering, noe som legger til rette for datadrevet beslutningstaking.
• Utviklet API-er ved hjelp av .NET/C# for å eksponere data og sikre sømløs integrering og tilgjengelighet på tvers av systemer.
• Brukt verktøy som Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes og Airflow for å levere en robust og skalerbar løsning.

• Ledet prosjekter med fokus på å integrere Large Language Models (LLM) og AI-teknologier, og drev innovasjon i organisasjonen;
• Bistått med å utforme og implementere løsninger for datamigrering, og sørget for sømløse overganger for ulike kunder;
• Utviklet integrasjoner og klienter for vektordatabaser, og utnyttet ulike AI-verktøy med åpen kildekode for å forbedre mulighetene;
• Aktivt kommunisert med kunder for å samle inn krav og sikre at de er i tråd med deres spesifikke behov;
• Brukt verktøy som Python, Google Cloud Platform (GCP) og Datastax for å levere robuste løsninger.

Building and supporting promotion planning demo solution

• Developed generic data pipelines to transform raw client data into a format compatible with the data model of the promotion planning demo system;

• Wrote scripts to generate meaningful business data, ensuring alignment with the needs of the application;

• Collaborated with the science team to understand business requirements and determine the necessary data transformations to enhance data utility;

• Designed and implemented a generic PySpark codebase that efficiently transforms data to fit the required data model;

• Utilized tools such as PySpark, JupyterHub, Kubernetes, and Azure Data Lake to execute and support the project.

Implementing and Migrating Data Pipelines, and Supporting Legacy Systems - SumUp (Fintech German Company)

• Designed and implemented data pipelines for both batch and stream processing, optimizing data flow and efficiency;

• Explored and implemented data pipelines using AWS Glue and PySpark, ensuring scalability and robustness;

• Integrated Delta Lake into the pipelines to enable delta processing, enhancing data management capabilities;

• Developed job templating using Jinja to streamline the creation and management of data processing jobs;

• Built and automated data validation pipelines, ensuring the accuracy and reliability of processed data;

• Deployed and configured Trino to facilitate efficient data access and querying across various sources;

• Prepared comprehensive documentation for each component and tool explored, ensuring knowledge transfer and easy maintenance;

• Utilized tools such as Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, and Jinja to achieve project goals.

Building a Data Curation Platform

• Implemented a platform designed to make building data pipelines generic, easy, scalable, and quick to assemble for any new client;

• Prepared detailed design documents, architectural blueprints, and specifications for the platform;

• Gathered and documented requirements, creating specific epics and tasks, and efficiently distributed work among team members;

• Developed command-line and pipeline functionalities that enable chaining transformations, facilitating the creation of generic data pipelines;

• Supported the management of metadata for various entities defined within the platform;

• Conducted runtime analysis and optimized the performance of different platform functionalities;

• Studied scalability requirements and designed performance improvement strategies to enhance the platform's robustness;

• Built a PySpark interface to facilitate seamless integration with data science workflows.

• Utviklet generiske datapipelines for å transformere rådata fra kunder til et format som er kompatibelt med datamodellen i demosystemet for kampanjeplanlegging;
• Skrev skript for å generere meningsfulle forretningsdata, og sørget for at de var i tråd med applikasjonens behov;
• Samarbeidet med forskningsteamet for å forstå forretningskravene og finne ut hvilke datatransformasjoner som er nødvendige for å forbedre dataanvendelsen;
• Designet og implementert en generisk PySpark-kodebase som effektivt transformerer data slik at de passer til den nødvendige datamodellen;
• Brukt verktøy som PySpark, JupyterHub, Kubernetes og Azure Data Lake for å gjennomføre og støtte prosjektet.

• Ledet teamet i å bygge datapipelines for å støtte en forhandlers løsning for kampanjeplanlegging;
• Deltatt i møter med forretnings- og datavitenskapsteam for å forstå og identifisere prosjektbehov;
• Samarbeid med teamet for å oversette forretningskrav til handlingsrettede epics og historier;
• Utformet og implementerte de identifiserte forretningskravene, og sørget for at de var i tråd med prosjektmålene;
• Utviklet og utført enhetstester for å sikre at implementasjonene er funksjonelt korrekte;
• Laget en datalaster-applikasjon ved hjelp av Scala Spark for å laste inn data fra Parquet-filer til Cosmos DB/Cassandra API;
• Implementert et nettbasert API for prognoser ved hjelp av Scala, Akka og Docker for å muliggjøre sanntidsprognoser for markedsføring;
• Administrerte distribusjonen av prosjektet på kundens Kubernetes-klynge, og sørget for problemfri drift og integrering;
• Brukt verktøy som Scala, Spark, Azure Databricks, Azure Data Lake og Kubernetes for å nå prosjektmålene.

Project 1: Building a Speech Recognition Solution

• Developed a speech recognition solution aimed at transforming retailers' questions and commands into actionable tasks executed against a user interface (UI);

• Utilized TensorFlow, Python, AWS, and Node.js to design and implement the solution, ensuring seamless interaction between the speech recognition engine and the UI.

Project 2: Design and Implementation of a Short Life Cycle Forecasting System

• Prepared comprehensive design documents and conducted studies on existing AI solutions, with a focus on voice and speech recognition capabilities;

• Collaborated with the team to prepare and collect relevant data for the project;

• Executed the processes of data augmentation, validation, and transformation to extract essential information for forecasting purposes;

• Contributed to building a user interface and integrated backend functionalities using tools such as TensorFlow, Python, AWS, JavaScript, Node.js, Scala, and Spark.

• Designed and structured the architecture for various components of a retail forecasting project;

• Implemented and deployed key components, ensuring seamless functionality within the overall system;

• Integrated all components, automating the processes and establishing an end-to-end batch process for streamlined operations;

• Optimized the runtime and performance of each component, enhancing the system's overall efficiency;

• Developed forecast comparison templates to facilitate the evaluation of forecast quality, aiding in accurate performance assessments;

• Utilized Logicblox, Python, and Tableau Software to achieve project goals, ensuring high-quality results.