Data Engineer

• Skapade en Data Warehouse-lösning med hjälp av AWS Redshift och AWS Glue och migrerade en OLAP-databas från MS SQL Server.
• Etablerade en DBT-pipeline för ETL-processer, överförde data mellan ett MySQL-lager och en aktivitetsdatabas till en Neo4j-grafdatabas med hjälp av inbyggd Python-programmering. Installationen genomfördes på en AWS Linux-box med Neo4j som kördes som en Docker-container.
• Utvecklade en ETL-pipeline för att genomföra marknadskorgsanalys och annan marknadsföringsstatistik på miljontals rader med transaktionsdata. Använde Redshift som en transaktionsdatabas och fyllde den på ett serverlöst sätt med hjälp av Amazon Lambda-funktioner i realtid.

• Created a Data Warehouse solution utilizing AWS Redshift and AWS Glue, migrating an OLAP database from MSSQL Server.

• Established a DBT pipeline for ETL processes, transferring data between MySQL warehouse and activity database to Neo4j graph database using native Python programming. Setup was implemented on an AWS Linux box with Neo4j running as a Docker container.

• Developed an ETL pipeline for conducting market basket analysis and other marketing statistics on millions of rows of transactional data. Utilized Redshift as a transactional database and populated it in a serverless fashion using Amazon Lambda function in real-time.

Contributed in building Market Intelligence dashboard pipeline. Using unstructured review text, did a NER and relationship extraction to get Sentiment at entity level.

Trend forecasting and sentiment calculation to help businesses make better decisions and improve marketing strategy. Used AWS for cloud computing.

• Utvecklat en pipeline för att konvertera data till ett strukturerat format, vilket möjliggör servering till Prodigy för ML-relaterad taggning. Hela pipelinen konstruerades på ett modulärt sätt med hjälp av ren Python och shell-skript.
• Implementerade datatransformationer i Python och lagrade den bearbetade datan i en Amazon S3-bucket för lagring och tillgänglighet.

• Automatiserad process för att skriva Hive-frågor för ETL av flera tabeller (både engångs- och inkrementella) genom att generera automatiserade skript.
• Läste CSV-filer från mappplatser, skapade tabeller och utförde inkrementella belastningar sekventiellt.
• Ställde in Snowflake som den primära lagringslösningen för strukturerad data och använde DBT för ETL-processer. Skapade SQL-baserade modeller för att definiera transformationslogik, vilket säkerställde flexibilitet med inkrementell laddning och versionskontroll med DBT.
• Förberedde transformerade data för analys med hjälp av business intelligence-verktyg, vilket underlättade upptäckt av insikter utan ansträngning. Genomförde regelbundna kontroller i Snowflake och DBT för att upprätthålla dataintegritet och pipelinefunktionalitet.
• Utformade och utvecklade datapipelines för att extrahera, transformera och ladda data från olika källor till ett centraliserat datalager.