Himanshu S.

• Erstellung einer Data Warehouse-Lösung unter Verwendung von AWS Redshift und AWS Glue, Migration einer OLAP-Datenbank von MS SQL Server.
• Einrichtung einer DBT-Pipeline für ETL-Prozesse, die Daten zwischen einem MySQL-Warehouse und einer Aktivitätsdatenbank in eine Neo4j-Graphdatenbank unter Verwendung nativer Python-Programmierung überträgt. Das Setup wurde auf einer AWS-Linux-Box implementiert, auf der Neo4j als Docker-Container läuft.
• Entwicklung einer ETL-Pipeline zur Durchführung von Warenkorb-Analysen und anderen Marketing-Statistiken auf Millionen von Zeilen mit Transaktionsdaten. Nutzt Redshift als transaktionale Datenbank und befüllt sie auf serverlose Weise mit Amazon Lambda-Funktionen in Echtzeit.

• Created a Data Warehouse solution utilizing AWS Redshift and AWS Glue, migrating an OLAP database from MSSQL Server.

• Established a DBT pipeline for ETL processes, transferring data between MySQL warehouse and activity database to Neo4j graph database using native Python programming. Setup was implemented on an AWS Linux box with Neo4j running as a Docker container.

• Developed an ETL pipeline for conducting market basket analysis and other marketing statistics on millions of rows of transactional data. Utilized Redshift as a transactional database and populated it in a serverless fashion using Amazon Lambda function in real-time.

Contributed in building Market Intelligence dashboard pipeline. Using unstructured review text, did a NER and relationship extraction to get Sentiment at entity level.

Trend forecasting and sentiment calculation to help businesses make better decisions and improve marketing strategy. Used AWS for cloud computing.

• Entwicklung einer Pipeline zur Konvertierung von Daten in ein strukturiertes Format, das die Weitergabe an Prodigy für ML-bezogenes Tagging ermöglicht. Die gesamte Pipeline wurde auf modulare Weise unter Verwendung von Python und Shell-Skripting aufgebaut.
• Implementierung von Datentransformationen in Python und Speicherung der verarbeiteten Daten in einem Amazon S3 Bucket zur Speicherung und Zugänglichkeit.

• Automatisierter Prozess des Schreibens von Hive-Abfragen für die ETL mehrerer Tabellen (sowohl einmalig als auch inkrementell) durch die Erstellung automatisierter Skripte.
• Lesen von CSV-Dateien aus Ordnerspeicherorten, Erstellen von Tabellen und sequentielles Laden.
• Einrichtung von Snowflake als primäre Speicherlösung für strukturierte Daten und Nutzung von DBT für ETL-Prozesse. Erstellung von SQL-basierten Modellen zur Definition der Transformationslogik, Gewährleistung von Flexibilität durch inkrementelles Laden und Versionskontrolle mit DBT.
• Bereitet transformierte Daten für die Analyse mit Business-Intelligence-Tools vor und erleichtert die mühelose Entdeckung von Erkenntnissen. Durchführung regelmäßiger Überprüfungen in Snowflake und DBT zur Aufrechterhaltung der Datenintegrität und Pipeline-Funktionalität.
• Entwurf und Entwicklung von Datenpipelines zum Extrahieren, Transformieren und Laden von Daten aus verschiedenen Quellen in ein zentralisiertes Data Warehouse.