Data Engineer

• Entwurf und Implementierung von Datenpipelines für die Batch- und Stream-Verarbeitung, Optimierung von Datenfluss und Effizienz;
• Untersuchung und Implementierung von Datenpipelines mit AWS Glue und PySpark, um Skalierbarkeit und Robustheit zu gewährleisten;
• Integration von Delta Lake in die Pipelines, um die Delta-Verarbeitung zu ermöglichen und die Möglichkeiten der Datenverwaltung zu verbessern;
• Entwicklung von Auftragsvorlagen unter Verwendung von Jinja, um die Erstellung und Verwaltung von Datenverarbeitungsaufträgen zu rationalisieren;
• Aufbau und Automatisierung von Datenvalidierungspipelines zur Gewährleistung der Genauigkeit und Zuverlässigkeit der verarbeiteten Daten;
• Bereitstellung und Konfiguration von Trino zur Erleichterung des effizienten Datenzugriffs und der Datenabfrage über verschiedene Quellen hinweg;
• Erstellen Sie eine umfassende Dokumentation für jede untersuchte Komponente und jedes Tool, um den Wissenstransfer und eine einfache Wartung zu gewährleisten;
• Nutzung von Tools wie Python, PySpark, Glue (Jobs, Crawler, Kataloge), Athena, AWS, MWAA (Airflow), Kubernetes, Trino und Jinja zur Erreichung der Projektziele.

Design & Implementierung einer Prognoseplattform - Engie (französisches globales Energieunternehmen)

• Konzeption und Implementierung einer umfassenden Prognoseplattform, die auf den globalen Energiesektor zugeschnitten ist.
• Entwicklung von Datenpipelines mit Python und PySpark, die eine effiziente und skalierbare Datenverarbeitung gewährleisten.
• Orchestrierte Job-Workflows mit Airflow und Databricks, Optimierung der Aufgabenverwaltung und -ausführung.
• Implementierung von Data-Engineering-Prozessen unter Verwendung von Delta Live Tables (DLT) von Databricks für eine stabile Datenverwaltung.
• Aufbau und Einsatz von Datenstromverarbeitungspipelines unter Verwendung von DLTs, die Echtzeit-Datenverarbeitungsfunktionen ermöglichen.
• Entwickelte Feature Store APIs für die Interaktion mit Komponenten und erstellte wiederverwendbare Vorlagen, um Prozesse zu standardisieren.
• Nutzung von MLflow zur Erstellung, Verwaltung und Nachverfolgung von Experimenten und maschinellen Lernmodellen, um strenge Experimente zu gewährleisten.
• Verwaltet den Lebenszyklus von ML-Modellen unter Verwendung von MLOps-Techniken und implementiert wiederverwendbare Vorlagen für Konsistenz und Effizienz.
• Erstellung von Dashboards für die Datenanalyse und -visualisierung, um datengestützte Entscheidungen zu erleichtern.
• Entwicklung von APIs unter Verwendung von .NET/C# zur Offenlegung von Daten, um eine nahtlose Integration und Zugänglichkeit über Systeme hinweg zu gewährleisten.
• Wir haben Tools wie Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes und Airflow eingesetzt, um eine robuste und skalierbare Lösung zu liefern.

• Leitung von Projekten, die sich auf die Integration von Large Language Models (LLM) und KI-Technologien konzentrieren und die Innovation innerhalb des Unternehmens vorantreiben;
• Unterstützung bei der Konzeption und Implementierung von Datenmigrationslösungen, um nahtlose Übergänge für verschiedene Kunden zu gewährleisten;
• Wir haben Integrationen und Clients für Vektordatenbanken entwickelt und dabei verschiedene Open-Source-KI-Tools zur Verbesserung der Fähigkeiten eingesetzt;
• Aktive Kommunikation mit Kunden, um Anforderungen zu sammeln und sicherzustellen, dass sie mit ihren spezifischen Bedürfnissen übereinstimmen;
• Nutzung von Tools wie Python, Google Cloud Platform (GCP) und Datastax zur Bereitstellung robuster Lösungen.

Building and supporting promotion planning demo solution

• Developed generic data pipelines to transform raw client data into a format compatible with the data model of the promotion planning demo system;

• Wrote scripts to generate meaningful business data, ensuring alignment with the needs of the application;

• Collaborated with the science team to understand business requirements and determine the necessary data transformations to enhance data utility;

• Designed and implemented a generic PySpark codebase that efficiently transforms data to fit the required data model;

• Utilized tools such as PySpark, JupyterHub, Kubernetes, and Azure Data Lake to execute and support the project.

Implementing and Migrating Data Pipelines, and Supporting Legacy Systems - SumUp (Fintech German Company)

• Designed and implemented data pipelines for both batch and stream processing, optimizing data flow and efficiency;

• Explored and implemented data pipelines using AWS Glue and PySpark, ensuring scalability and robustness;

• Integrated Delta Lake into the pipelines to enable delta processing, enhancing data management capabilities;

• Developed job templating using Jinja to streamline the creation and management of data processing jobs;

• Built and automated data validation pipelines, ensuring the accuracy and reliability of processed data;

• Deployed and configured Trino to facilitate efficient data access and querying across various sources;

• Prepared comprehensive documentation for each component and tool explored, ensuring knowledge transfer and easy maintenance;

• Utilized tools such as Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, and Jinja to achieve project goals.

Building a Data Curation Platform

• Implemented a platform designed to make building data pipelines generic, easy, scalable, and quick to assemble for any new client;

• Prepared detailed design documents, architectural blueprints, and specifications for the platform;

• Gathered and documented requirements, creating specific epics and tasks, and efficiently distributed work among team members;

• Developed command-line and pipeline functionalities that enable chaining transformations, facilitating the creation of generic data pipelines;

• Supported the management of metadata for various entities defined within the platform;

• Conducted runtime analysis and optimized the performance of different platform functionalities;

• Studied scalability requirements and designed performance improvement strategies to enhance the platform's robustness;

• Built a PySpark interface to facilitate seamless integration with data science workflows.

• Entwicklung von generischen Datenpipelines zur Umwandlung von Kundenrohdaten in ein Format, das mit dem Datenmodell des Demosystems für die Werbeplanung kompatibel ist;
• Sie haben Skripte geschrieben, um aussagekräftige Geschäftsdaten zu generieren, und dabei sichergestellt, dass diese mit den Anforderungen der Anwendung übereinstimmen;
• Zusammenarbeit mit dem wissenschaftlichen Team, um die geschäftlichen Anforderungen zu verstehen und die notwendigen Datentransformationen zur Verbesserung der Datennutzung zu bestimmen;
• Entwurf und Implementierung einer generischen PySpark-Codebasis, die Daten effizient umwandelt, damit sie in das erforderliche Datenmodell passen;
• Nutzung von Tools wie PySpark, JupyterHub, Kubernetes und Azure Data Lake zur Durchführung und Unterstützung des Projekts.

• Leitete das Team beim Aufbau von Datenpipelines zur Unterstützung der Werbeplanungslösung eines Einzelhändlers;
• Teilnahme an Besprechungen mit Geschäfts- und Datenwissenschaftsteams, um die Projektanforderungen zu verstehen und zu ermitteln;
• Zusammenarbeit mit dem Team, um Geschäftsanforderungen in umsetzbare Epen und Geschichten zu übersetzen;
• Entwurf und Umsetzung der ermittelten Geschäftsanforderungen, wobei die Übereinstimmung mit den Projektzielen sichergestellt wurde;
• Entwicklung und Durchführung von Unit-Tests, um die funktionale Korrektheit von Implementierungen sicherzustellen;
• Erstellung einer Datenladeanwendung mit Scala Spark zum Laden von Daten aus Parquet-Dateien in Cosmos DB/Cassandra API;
• Wir haben eine Online-Prognose-API mit Scala, Akka und Docker implementiert, um Echtzeit-Werbeprognosen zu ermöglichen;
• Verwaltet die Bereitstellung des Projekts auf dem Kubernetes-Cluster des Kunden und stellt den reibungslosen Betrieb und die Integration sicher;
• Nutzung von Tools wie Scala, Spark, Azure Databricks, Azure Data Lake und Kubernetes zur Erreichung der Projektziele.

Project 1: Building a Speech Recognition Solution

• Developed a speech recognition solution aimed at transforming retailers' questions and commands into actionable tasks executed against a user interface (UI);

• Utilized TensorFlow, Python, AWS, and Node.js to design and implement the solution, ensuring seamless interaction between the speech recognition engine and the UI.

Project 2: Design and Implementation of a Short Life Cycle Forecasting System

• Prepared comprehensive design documents and conducted studies on existing AI solutions, with a focus on voice and speech recognition capabilities;

• Collaborated with the team to prepare and collect relevant data for the project;

• Executed the processes of data augmentation, validation, and transformation to extract essential information for forecasting purposes;

• Contributed to building a user interface and integrated backend functionalities using tools such as TensorFlow, Python, AWS, JavaScript, Node.js, Scala, and Spark.

• Designed and structured the architecture for various components of a retail forecasting project;

• Implemented and deployed key components, ensuring seamless functionality within the overall system;

• Integrated all components, automating the processes and establishing an end-to-end batch process for streamlined operations;

• Optimized the runtime and performance of each component, enhancing the system's overall efficiency;

• Developed forecast comparison templates to facilitate the evaluation of forecast quality, aiding in accurate performance assessments;

• Utilized Logicblox, Python, and Tableau Software to achieve project goals, ensuring high-quality results.