Himanshu S.

• Het creëren van een Data Warehouse oplossing met behulp van AWS Redshift en AWS Glue, waarbij een OLAP-database is gemigreerd vanuit MS SQL Server.
• Het opzetten van een DBT pijplijn voor ETL processen, het overbrengen van gegevens tussen een MySQL magazijn en een activiteitendatabase naar een Neo4j grafiekdatabase met behulp van native Python programmering. De setup is geïmplementeerd op een AWS Linux box met Neo4j draaiend als een Docker container.
• Ontwikkelde een ETL-pijplijn voor het uitvoeren van marktmandanalyses en andere marketingstatistieken op miljoenen rijen transactiegegevens. Redshift gebruiken als transactionele database en deze op een serverloze manier vullen met behulp van Amazon Lambda-functies in realtime.

• Created a Data Warehouse solution utilizing AWS Redshift and AWS Glue, migrating an OLAP database from MSSQL Server.

• Established a DBT pipeline for ETL processes, transferring data between MySQL warehouse and activity database to Neo4j graph database using native Python programming. Setup was implemented on an AWS Linux box with Neo4j running as a Docker container.

• Developed an ETL pipeline for conducting market basket analysis and other marketing statistics on millions of rows of transactional data. Utilized Redshift as a transactional database and populated it in a serverless fashion using Amazon Lambda function in real-time.

Contributed in building Market Intelligence dashboard pipeline. Using unstructured review text, did a NER and relationship extraction to get Sentiment at entity level.

Trend forecasting and sentiment calculation to help businesses make better decisions and improve marketing strategy. Used AWS for cloud computing.

• Ontwikkelde een pijplijn om gegevens om te zetten in een gestructureerd formaat, zodat ze kunnen worden aangeboden aan Prodigy voor ML-gerelateerde tagging. De hele pijplijn is modulair opgebouwd met puur Python en shell scripting.
• Implementeerde gegevenstransformaties in Python en sloeg de verwerkte gegevens op in een Amazon S3 bucket voor opslag en toegankelijkheid.

• Geautomatiseerd schrijven van Hive queries voor ETL van meerdere tabellen (zowel eenmalig als incrementeel) door het genereren van geautomatiseerde scripts.
• CSV-bestanden van maplocaties gelezen, tabellen gemaakt en incrementele ladingen sequentieel uitgevoerd.
• Snowflake opgezet als de primaire opslagoplossing voor gestructureerde gegevens en DBT gebruikt voor ETL-processen. Maakte SQL-gebaseerde modellen om transformatielogica te definiëren en zorgde voor flexibiliteit met incrementeel laden en versiebeheer met behulp van DBT.
• Voorbereiden van getransformeerde gegevens voor analyse met behulp van business intelligence tools, waardoor inzichten moeiteloos kunnen worden ontdekt. Voerde regelmatig controles uit in Snowflake en DBT om de gegevensintegriteit en pipeline-functionaliteit te behouden.
• Ontwierp en ontwikkelde datapijplijnen voor het extraheren, transformeren en laden van gegevens uit verschillende bronnen in een gecentraliseerd datawarehouse.