Data Engineer

– Förbättrade dataintegration, övervakning och automationsprocesser genom att implementera CI/CD-pipelines, uppgradera tjänstemiljöer och optimera ETL-arbetsflöden. – Använde molnorkestreringsverktyg för att hantera hela datans livscykel, från extraktion till normalisering och injektering i Snowflake och Kafka. – Utvecklade Kubernetes-baserade övervakningsjobb med Datadog, Snowflake, Python, Prefect Dataflow Automation och PagerDuty för att spåra och lösa datalagg och saknade poster i ETL-jobb, vilket avsevärt förbättrade datatillförlitlighet och systemstabilitet. – Inställde och automatiserade CI/CD-pipelines för flera tjänster med GitHub Actions och Python-skript, vilket förbättrade distributions effektivitet och minskade stillestånd. – Ledde uppgraderingen av Python-versioner över tjänster från 3.9 till 3.11, vilket säkerställde kompatibilitet, prestandaförbättringar och säkerhetsförbättringar. – Migrerade från dbt Cloud till dbt Open Source, utformade och implementerade en skalbar, modulär arkitektur för Snowflakes datalager, vilket inkluderade: – Automatiserade metadata-drivna pipelines och robusta CI/CD-arbetsflöden med GitHub Actions och dbt-tester. – Optimerade fråga prestanda genom inkrementella modeller, materialiseringar och strategisk partitionering. – Minskat onboarding-tiden för nya datamodeller, förbättrade exekveringstider, genomförde träningstillfällen för teamet och möjliggjorde för analys teamet att leverera insikter snabbare och mer effektivt.

– Arbetade på en realtidsmotor som fångade liveförändringar i data och möjliggjorde automatiserat beslutsfattande. – Utvecklade ETL-datapipeline-projekt som fokuserade på att effektivt flytta data till datalagret. – Byggde ett realtidsbedrägeri system som identifierade och blockerade bedrägliga användare som skapade flera falska konton för att utnyttja kampanjkoder, med en besparing på cirka en halv miljon pund per månad. Använda teknologier inkluderade Debezium, Kafka, Flink och Java. – Implementerade automatiserade datamigreringspipelines för att överföra data från backend-databaser (MongoDB, PostgreSQL, MySQL) till BigQuery, hanterade schemabildningar smidigt och säkerställde datakonsistens. Använda teknologier inkluderade Debezium, Kafka, Flink, Airflow, Java, Python och React.js.

– Utvecklade ett nätverkshanteringssystem som levererade tjänster såsom nätverksövervakning, prestationsanalys, konfigurationshantering och fjärrstyrning av enheter baserat på specificerade triggerhändelser. – Implementerade prioriterad jobb schemaläggning för att förbättra systemets genomströmning och effektivitet. – Utvecklade funktioner för användaraktivitetsövervakning för att övervaka systemfrågor och analysera användarbeteende och preferenser för förbättrade insikter.