Data Engineer

• Laget en datavarehusløsning ved hjelp av AWS Redshift og AWS Glue, og migrerte en OLAP-database fra MS SQL Server.
• Etablert en DBT-pipeline for ETL-prosesser, overføring av data mellom et MySQL-lager og en aktivitetsdatabase til en Neo4j-grafdatabase ved hjelp av innfødt Python-programmering. Oppsettet ble implementert på en AWS Linux-boks med Neo4j kjørt som en Docker-container.
• Utviklet en ETL-pipeline for å gjennomføre markedskurvanalyser og annen markedsføringsstatistikk på millioner av rader med transaksjonsdata. Brukt Redshift som en transaksjonsdatabase og fylt den på en serverløs måte ved hjelp av Amazon Lambda-funksjoner i sanntid.

• Created a Data Warehouse solution utilizing AWS Redshift and AWS Glue, migrating an OLAP database from MSSQL Server.

• Established a DBT pipeline for ETL processes, transferring data between MySQL warehouse and activity database to Neo4j graph database using native Python programming. Setup was implemented on an AWS Linux box with Neo4j running as a Docker container.

• Developed an ETL pipeline for conducting market basket analysis and other marketing statistics on millions of rows of transactional data. Utilized Redshift as a transactional database and populated it in a serverless fashion using Amazon Lambda function in real-time.

Contributed in building Market Intelligence dashboard pipeline. Using unstructured review text, did a NER and relationship extraction to get Sentiment at entity level.

Trend forecasting and sentiment calculation to help businesses make better decisions and improve marketing strategy. Used AWS for cloud computing.

• Utviklet en pipeline for å konvertere data til et strukturert format, slik at de kan serveres til Prodigy for ML-relatert tagging. Hele pipelinen ble konstruert på en modulær måte ved hjelp av ren Python og skallskripting.
• Implementert datatransformasjoner i Python og lagret de behandlede dataene i en Amazon S3-bøtte for lagring og tilgjengelighet.

• Automatisert prosessen med å skrive Hive-spørringer for ETL av flere tabeller (både engangs og inkrementelt) ved å generere automatiserte skript.
• Leste CSV-filer fra mapper, opprettet tabeller og utførte inkrementelle innlastinger sekvensielt.
• Sette opp Snowflake som den primære lagringsløsningen for strukturerte data og benytte DBT for ETL-prosesser. Utarbeidet SQL-baserte modeller for å definere transformasjonslogikk og sikre fleksibilitet med inkrementell innlasting og versjonskontroll ved hjelp av DBT.
• Forberedt transformerte data for analyse ved hjelp av business intelligence-verktøy, noe som gjør det enklere å finne innsikt. Gjennomførte regelmessige kontroller i Snowflake og DBT for å opprettholde dataintegritet og pipelinefunksjonalitet.
• Designet og utviklet datapipelines for å hente ut, transformere og laste inn data fra ulike kilder til et sentralisert datalager.