Data Engineer

– Forbedrede dataindtegration, overvågning og automatiseringsprocesser ved at implementere CI/CD-pipelines, opgradere service-miljøer og optimere ETL-arbejdsgange. – Udnyttede cloud-orchestration-værktøjer til at administrere hele datacyklussen, fra udvinding til normalisering og injektion i Snowflake og Kafka.

• Udviklede Kubernetes-baserede overvågningsjobs ved hjælp af Datadog, Snowflake, Python, Prefect Dataflow Automation og PagerDuty for at spore og løse datalags og manglende registreringer i ETL-jobs, hvilket betydeligt forbedrede datapræcision og systemstabilitet.
• Opsatte og automatiserede CI/CD-pipelines for flere tjenester ved hjælp af GitHub Actions og Python-scripts, hvilket øgede implementeringseffektiviteten og reducerede nedetid.
• Ledte opgraderingen af Python-versioner på tværs af tjenester fra 3.9 til 3.11, hvilket sikrede kompatibilitet, forbedringer af ydeevnen og sikkerhedsforøgelse.
• Migrerede fra dbt Cloud til dbt Open Source, designede og implementerede en skalerbar, modulær arkitektur for Snowflakes datalager, som omfattede:
• Automatiserede metadata-drevne pipelines og robuste CI/CD-arbejdsgange ved hjælp af GitHub Actions og dbt-tests.
• Optimerede forespørgselspræstationer gennem inkrementelle modeller, materialisering og strategisk partitionering.
• Reducerede onboarding-tiden for nye datamodeller, forbedrede udførelsestider, gennemførte teamtræningssessioner og gjorde det muligt for analyseteamet at levere indsigt hurtigere og mere effektivt.

– Arbejdede på en realtidsmotor, der indfangede liveændringer i data og muliggav automatiserede forretningsbeslutninger. – Udviklede ETL-datakildesystemprojekter, der fokuserede på effektivt at flytte data ind i datavarehuset. – Byggede et realtids svindelidentifikationssystem, der identificerede og blokerede svindlere, der oprettede flere falske konti for at udnytte kampodekoder, hvilket sparede cirka en halv million pund om måneden. De anvendte teknologier omfattede Debezium, Kafka, Flink og Java. – Implementerede automatiserede datamigrationspipelines for at overføre data fra backend-databaser (MongoDB, PostgreSQL, MySQL) til BigQuery, håndterede skemaændringer problemfrit og sikrede datakonsistens. De anvendte teknologier omfattede Debezium, Kafka, Flink, Airflow, Java, Python og React.js.

– Udviklede et netværksstyringssystem, der leverede tjenester som netværksovervågning, ydeevneanalyse, konfigurationsstyring og fjernbetjening af enheder baseret på angivne trigger-events. – Implementerede prioriteringsbaseret jobplanlægning for at forbedre systemgennemstrømning og effektivitet. – Udviklede brugeraktivitetssporingsfunktioner for at overvåge systemproblemer og analysere brugeradfærd og præferencer for forbedrede indsigter.