Rihab B.

• Suunnitellut ja toteuttanut dataputkistoja sekä erä- että virtakäsittelyä varten optimoiden tietovirtaa ja tehokkuutta;
• Tutkit ja toteutit dataputkistoja AWS Gluen ja PySparkin avulla varmistaen skaalautuvuuden ja kestävyyden;
• Integroitu Delta Lake putkistoihin deltaprosessoinnin mahdollistamiseksi, mikä parantaa tiedonhallintavalmiuksia;
• Kehitimme Jinjaa käyttäen työn templatointia tietojenkäsittelytöiden luomisen ja hallinnan tehostamiseksi;
• Rakennetaan ja automatisoidaan tietojen validointiputkia, joilla varmistetaan käsiteltyjen tietojen tarkkuus ja luotettavuus;
• Otti käyttöön ja konfiguroi Trinon helpottamaan tehokasta tietojen käyttöä ja kyselyjä eri lähteistä;
• Laaditaan kattava dokumentaatio jokaisesta tutkitusta komponentista ja työkalusta, mikä varmistaa tiedonsiirron ja helpon ylläpidon;
• Hyödynsi työkaluja, kuten Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino ja Jinja, projektin tavoitteiden saavuttamiseksi.

Ennustealustan suunnittelu ja toteutus - Engie (ranskalainen maailmanlaajuinen energiayhtiö)

• Suunnitteli ja toteutti kattavan, maailmanlaajuiselle energiasektorille räätälöidyn ennustealustan.
• Kehitit dataputkistoja Pythonilla ja PySparkilla varmistaen tehokkaan ja skaalautuvan tietojenkäsittelyn.
• Orkestroi työnkulkuja Airflow'n ja Databricksin avulla optimoiden tehtävien hallintaa ja suorittamista.
• Toteutti datatekniikan prosesseja, joissa hyödynnettiin Databricksin Delta Live Tables (DLT) -järjestelmää vankkaa tiedonhallintaa varten.
• Rakensit ja otit käyttöön datavirtojen käsittelyputkistoja DLT:tä käyttäen, mikä mahdollistaa reaaliaikaiset tietojenkäsittelyominaisuudet.
• Kehitit Feature Store API:t vuorovaikutusta varten komponenttien kanssa ja loit uudelleenkäytettäviä malleja prosessien standardoimiseksi.
• Hyödynsi MLflow'ta kokeilujen ja koneoppimismallien rakentamiseen, hallintaan ja seurantaan varmistaen tiukan kokeilun.
• Hallitsi ML-mallien elinkaarta MLOps-tekniikoita käyttäen ja otti käyttöön uudelleenkäytettäviä malleja johdonmukaisuuden ja tehokkuuden varmistamiseksi.
• Luonut kojelautoja tietojen analysointia ja visualisointia varten, mikä helpottaa tietoon perustuvaa päätöksentekoa.
• Kehitit .NET/C#:n avulla API-rajapintoja tietojen paljastamiseksi ja varmistit saumattoman integroinnin ja saavutettavuuden eri järjestelmissä.
• Käyttänyt työkaluja, kuten Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes ja Airflow vankan ja skaalautuvan ratkaisun tuottamiseksi.

• Johti hankkeita, joissa keskityttiin suurten kielimallien (LLM) ja tekoälyteknologioiden integrointiin ja edisti innovointia organisaatiossa;
• Avustanut tiedonsiirtoratkaisujen suunnittelussa ja toteuttamisessa varmistaen saumattomat siirtymät eri asiakkaille;
• Kehitit integraatioita ja asiakkaita vektoritietokantoja varten hyödyntäen erilaisia avoimen lähdekoodin tekoälytyökaluja valmiuksien parantamiseksi;
• Viestittivät aktiivisesti asiakkaiden kanssa kerätäkseen vaatimuksia ja varmistaakseen, että ne vastaavat heidän erityistarpeitaan;
• Hyödynsi Pythonin, Google Cloud Platformin (GCP) ja Datastaxin kaltaisia työkaluja vankkojen ratkaisujen toimittamiseksi.

Building and supporting promotion planning demo solution

• Developed generic data pipelines to transform raw client data into a format compatible with the data model of the promotion planning demo system;

• Wrote scripts to generate meaningful business data, ensuring alignment with the needs of the application;

• Collaborated with the science team to understand business requirements and determine the necessary data transformations to enhance data utility;

• Designed and implemented a generic PySpark codebase that efficiently transforms data to fit the required data model;

• Utilized tools such as PySpark, JupyterHub, Kubernetes, and Azure Data Lake to execute and support the project.

Implementing and Migrating Data Pipelines, and Supporting Legacy Systems - SumUp (Fintech German Company)

• Designed and implemented data pipelines for both batch and stream processing, optimizing data flow and efficiency;

• Explored and implemented data pipelines using AWS Glue and PySpark, ensuring scalability and robustness;

• Integrated Delta Lake into the pipelines to enable delta processing, enhancing data management capabilities;

• Developed job templating using Jinja to streamline the creation and management of data processing jobs;

• Built and automated data validation pipelines, ensuring the accuracy and reliability of processed data;

• Deployed and configured Trino to facilitate efficient data access and querying across various sources;

• Prepared comprehensive documentation for each component and tool explored, ensuring knowledge transfer and easy maintenance;

• Utilized tools such as Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, and Jinja to achieve project goals.

Building a Data Curation Platform

• Implemented a platform designed to make building data pipelines generic, easy, scalable, and quick to assemble for any new client;

• Prepared detailed design documents, architectural blueprints, and specifications for the platform;

• Gathered and documented requirements, creating specific epics and tasks, and efficiently distributed work among team members;

• Developed command-line and pipeline functionalities that enable chaining transformations, facilitating the creation of generic data pipelines;

• Supported the management of metadata for various entities defined within the platform;

• Conducted runtime analysis and optimized the performance of different platform functionalities;

• Studied scalability requirements and designed performance improvement strategies to enhance the platform's robustness;

• Built a PySpark interface to facilitate seamless integration with data science workflows.

• Kehitettiin yleisiä dataputkistoja, joiden avulla muunnettiin raa'at asiakastiedot muotoon, joka on yhteensopiva myynninedistämissuunnittelun esittelyjärjestelmän tietomallin kanssa;
• Kirjoitti skriptejä merkityksellisten liiketoimintatietojen tuottamiseksi varmistaen, että ne vastaavat sovelluksen tarpeita;
• Yhteistyössä tiedetiimin kanssa liiketoiminnan vaatimusten ymmärtämiseksi ja tarvittavien tietomuunnosten määrittämiseksi tietojen hyödyllisyyden parantamiseksi;
• Suunnittelit ja toteutit yleisen PySpark-koodipohjan, joka muuntaa tehokkaasti tietoja vaadittuun tietomalliin sopiviksi;
• Hyödynsi työkaluja, kuten PySpark, JupyterHub, Kubernetes ja Azure Data Lake, projektin toteuttamiseen ja tukemiseen.

• Johti tiimiä, joka rakensi dataputkia tukemaan vähittäiskauppiaan myynninedistämisen suunnitteluratkaisua;
• Osallistui kokouksiin liiketoiminta- ja datatieteiden tiimien kanssa projektin tarpeiden ymmärtämiseksi ja tunnistamiseksi;
• Yhteistyössä tiimin kanssa liiketoimintavaatimusten kääntäminen toimiviksi eepoksiksi ja tarinoiksi;
• Suunnitteli ja toteutti yksilöidyt liiketoimintavaatimukset varmistaen niiden yhdenmukaisuuden hankkeen tavoitteiden kanssa;
• Kehitit ja suoritit yksikkötestejä toteutusten toiminnallisen oikeellisuuden varmistamiseksi;
• Luotu Scala Sparkia käyttävä datanlataussovellus tietojen lataamiseksi Parquet-tiedostoista Cosmos DB/Cassandra API:han;
• Toteutti Scalaa, Akkaa ja Dockeria käyttäen online-ennustajan API:n, joka mahdollistaa reaaliaikaisen myynninedistämisennusteen;
• Hallitsi projektin käyttöönottoa asiakkaan Kubernetes-klusterissa varmistaen sujuvan toiminnan ja integroinnin;
• Hyödynsi työkaluja, kuten Scala, Spark, Azure Databricks, Azure Data Lake ja Kubernetes, projektin tavoitteiden saavuttamiseksi.

Project 1: Building a Speech Recognition Solution

• Developed a speech recognition solution aimed at transforming retailers' questions and commands into actionable tasks executed against a user interface (UI);

• Utilized TensorFlow, Python, AWS, and Node.js to design and implement the solution, ensuring seamless interaction between the speech recognition engine and the UI.

Project 2: Design and Implementation of a Short Life Cycle Forecasting System

• Prepared comprehensive design documents and conducted studies on existing AI solutions, with a focus on voice and speech recognition capabilities;

• Collaborated with the team to prepare and collect relevant data for the project;

• Executed the processes of data augmentation, validation, and transformation to extract essential information for forecasting purposes;

• Contributed to building a user interface and integrated backend functionalities using tools such as TensorFlow, Python, AWS, JavaScript, Node.js, Scala, and Spark.

• Designed and structured the architecture for various components of a retail forecasting project;

• Implemented and deployed key components, ensuring seamless functionality within the overall system;

• Integrated all components, automating the processes and establishing an end-to-end batch process for streamlined operations;

• Optimized the runtime and performance of each component, enhancing the system's overall efficiency;

• Developed forecast comparison templates to facilitate the evaluation of forecast quality, aiding in accurate performance assessments;

• Utilized Logicblox, Python, and Tableau Software to achieve project goals, ensuring high-quality results.