Data Engineer

• Skabte en Data Warehouse-løsning ved hjælp af AWS Redshift og AWS Glue og migrerede en OLAP-database fra MS SQL Server.
• Etableret en DBT-pipeline til ETL-processer, der overfører data mellem et MySQL-lager og en aktivitetsdatabase til en Neo4j-grafdatabase ved hjælp af indbygget Python-programmering. Opsætningen blev implementeret på en AWS Linux-boks med Neo4j kørende som en Docker-container.
• Udviklet en ETL-pipeline til udførelse af markedskurvanalyser og andre marketingstatistikker på millioner af rækker af transaktionsdata. Brugte Redshift som en transaktionsdatabase og udfyldte den på en serverløs måde ved hjælp af Amazon Lambda-funktioner i realtid.

• Created a Data Warehouse solution utilizing AWS Redshift and AWS Glue, migrating an OLAP database from MSSQL Server.

• Established a DBT pipeline for ETL processes, transferring data between MySQL warehouse and activity database to Neo4j graph database using native Python programming. Setup was implemented on an AWS Linux box with Neo4j running as a Docker container.

• Developed an ETL pipeline for conducting market basket analysis and other marketing statistics on millions of rows of transactional data. Utilized Redshift as a transactional database and populated it in a serverless fashion using Amazon Lambda function in real-time.

Contributed in building Market Intelligence dashboard pipeline. Using unstructured review text, did a NER and relationship extraction to get Sentiment at entity level.

Trend forecasting and sentiment calculation to help businesses make better decisions and improve marketing strategy. Used AWS for cloud computing.

• Udviklet en pipeline til at konvertere data til et struktureret format, der gør det muligt at servere til Prodigy til ML-relateret tagging. Hele pipelinen blev konstrueret på en modulær måde ved hjælp af ren Python og shell-scripting.
• Implementerede datatransformationer i Python og lagrede de behandlede data i en Amazon S3-bucket til opbevaring og tilgængelighed.

• Automatiseret processen med at skrive Hive-forespørgsler til ETL af flere tabeller (både engangs og inkrementelle) ved at generere automatiserede scripts.
• Læs CSV-filer fra mappeplaceringer, oprettede tabeller og udførte inkrementelle belastninger sekventielt.
• Opsætning af Snowflake som den primære lagringsløsning for strukturerede data og brug af DBT til ETL-processer. Udarbejdede SQL-baserede modeller til at definere transformationslogik og sikre fleksibilitet med inkrementel indlæsning og versionskontrol ved hjælp af DBT.
• Forberedte transformerede data til analyse ved hjælp af business intelligence-værktøjer, hvilket gjorde det lettere at finde frem til indsigter. Udførte regelmæssige kontroller i Snowflake og DBT for at opretholde dataintegritet og pipelinefunktionalitet.
• Designede og udviklede datapipelines til at udtrække, transformere og indlæse data fra forskellige kilder til et centraliseret datalager.