Data Engineer

– Forbedret dataintegrasjon, overvåking og automatiseringsprosesser ved å implementere CI/CD-pipelines, oppgradere tjenestemiljøer og optimalisere ETL-arbeidsflyter. – Utnyttet skytjenesteverktøy for å håndtere hele data livssyklusen, fra utvinning til normalisering og injeksjon i Snowflake og Kafka.

• Utviklet overvåkningsjobber basert på Kubernetes ved hjelp av Datadog, Snowflake, Python, Prefect Dataflow Automation og PagerDuty for å spore og løse datalag og manglende poster i ETL-jobber, noe som betydelig forbedret datatilgjengelighet og systemstabilitet.
• Satt opp og automatiserte CI/CD-pipelines for flere tjenester ved hjelp av GitHub Actions og Python-skript, noe som økte distribusjonseffektiviteten og reduserte nedetid.
• Ledet oppgraderingen av Python-versjoner på tvers av tjenester fra 3.9 til 3.11, noe som sikret kompatibilitet, ytelsesforbedringer og sikkerhetsforbedringer.
• Migrert fra dbt Cloud til dbt Open Source, designet og implementert en skalerbar, modulær arkitektur for Snowflakes datavarehus, som inkluderte:
• Automatisert metadata-drevne pipelines og robuste CI/CD arbeidsflyter ved hjelp av GitHub Actions og dbt tester.
• Optimalisert spørringsytelsen gjennom inkrementelle modeller, materialiseringer og strategisk partisjonering.
• Redusert onboarding-tid for nye datamodeller, forbedret kjøretider, gjennomført teamopplæring, og muliggjort for analysesporet å levere innsikt raskere og mer effektivt.

– Jobbet med en sanntidsmotor som fanget levende endringer i data og muliggjorde automatiserte forretningsbeslutninger. – Utviklet ETL-data pipeline-prosjekter fokusert på effektiv flytting av data til datavarehuset. – Bygde et sanntidssystem for svindeldeteksjon som identifiserte og blokkerte svindelbrukere som opprettet flere falske kontoer for å utnytte kampanjekoder, og sparte omtrent en halv million pund per måned. Teknologiene som ble brukt inkluderte Debezium, Kafka, Flink og Java. – Implementerte automatiserte datamigrationspipelines for å overføre data fra backend-databaser (MongoDB, PostgreSQL, MySQL) til BigQuery, håndterte skjemendringer sømløst og sikret datakonsistens. Teknologiene som ble brukt inkluderte Debezium, Kafka, Flink, Airflow, Java, Python og React.js.

– Utviklet et nettverksadministrasjonssystem som leverte tjenester som nettverksovervåking, ytelsesanalyse, konfigurasjonshåndtering og fjernkontroll av enheter basert på spesifiserte utløserhendelser. – Implementerte prioriteringsbasert oppgaveplanlegging for å forbedre systemgjennomstrømning og effektivitet. – Utviklet funksjoner for sporing av brukeraktivitet for å overvåke systemproblemer og analysere brukeratferd og preferanser for forbedrede innsikter.