Data Engineer

– Verbessert die Datenintegration, -überwachung und -automatisierungsprozesse, indem CI/CD-Pipelines implementiert, Dienstumgebungen aktualisiert und ETL-Workflows optimiert wurden. – Nutzte Cloud-Orchestrierungstools, um den gesamten Datenlebenszyklus zu verwalten, von der Extraktion über die Normalisierung bis hin zur Einspeisung in Snowflake und Kafka.

• Entwickelte Kubernetes-basierte Überwachungsjobs mit Datadog, Snowflake, Python, Prefect Dataflow Automation und PagerDuty, um Datenverzögerungen und fehlende Datensätze in ETL-Jobs zu verfolgen und zu beheben, was die Datenzuverlässigkeit und die Systemstabilität erheblich verbesserte.
• Richten Sie CI/CD-Pipelines für mehrere Dienste mit GitHub Actions und Python-Skripten ein und automatisiert, um die Effizienz der Bereitstellung zu verbessern und Ausfallzeiten zu reduzieren.
• Führte das Upgrade der Python-Versionen in allen Diensten von 3.9 auf 3.11 durch, um Kompatibilität, Leistungsverbesserungen und Sicherheitsoptimierungen zu gewährleisten.
• Migrierte von dbt Cloud zu dbt Open Source und entwarf sowie implementierte eine skalierbare, modulare Architektur für Snowflake's Data Warehouse, die Folgendes umfasste:
• Automatisierte metadatengetriebene Pipelines und robuste CI/CD-Workflows mit GitHub Actions und dbt-Tests.
• Optimierte die Abfrageleistung durch inkrementelle Modelle, Materialisierungen und strategische Partitionierung.
• Reduzierte die Einarbeitungszeit für neue Datenmodelle, verbesserte die Ausführungszeiten, führte Schulungen im Team durch und ermöglichte dem Analyseteam, schneller und effizienter Erkenntnisse zu liefern.

– Arbeitete an einer Echtzeit-Engine, die live Datenänderungen erfasste und automatisierte Geschäftsentscheidungen ermöglichte. – Entwickelte ETL-Datenpipeline-Projekte, die sich auf effizientes Bewegen von Daten in das Data Warehouse konzentrierten. – Baute ein Echtzeit-B Betrugserkennungssystem, das betrügerische Nutzer identifizierte und blockierte, die mehrere gefälschte Konten zur Ausnutzung von Rabattangeboten erstellten, wodurch etwa eine halbe Million Pfund pro Monat eingespart wurden. Verwendete Technologien umfassten Debezium, Kafka, Flink und Java. – Implementierte automatisierte Datenmigrationspipelines, um Daten aus Backend-Datenbanken (MongoDB, PostgreSQL, MySQL) nach BigQuery zu übertragen, bewältigte nahtlos Schemaänderungen und stellte die Datenkonsistenz sicher. Verwendete Technologien umfassten Debezium, Kafka, Flink, Airflow, Java, Python und React.js.

– Entwickelte ein Netzwerkmanagementsystem, das Dienstleistungen wie Netzwerküberwachung, Leistungsanalyse, Konfigurationsmanagement und Fernsteuerung von Geräten basierend auf festgelegten Auslöserereignissen lieferte. – Implementierte prioritätsbasierte Aufgabenplanung zur Verbesserung des Systemdurchsatzes und der Effizienz. – Entwickelte Funktionen zur Nachverfolgung der Benutzeraktivitäten, um Systemprobleme zu überwachen und das Benutzerverhalten und -präferenzen für verbesserte Einsichten zu analysieren.