Data Engineer

• Aufbau des Fundaments für eine Datenanalyseplattform mit Airbyte, Google BigQuery, Apache Airflow, DBT und Looker
• Konfiguration von Airbyte für rationalisierte Data Ingestion
• Nutzung von Google BigQuery als zentrales Data Warehouse
• Integration von Apache Airflow zur Automatisierung und Verwaltung von Datenworkflows
• Nutzung von DBT zur Erstellung und Verwaltung eines rationalisierten Datenmodellierungs- und Transformationsprozesses
• Integration von Looker für die Datenvisualisierung
• Unterstützung bei der Fehlerbehebung und bei technischen Problemen

Joined the data team at its inception, working on building the data platform from scratch. This included selecting the technology stack, setting the foundations, and applying best practices to deliver a platform that drives data-driven initiatives and supports business operations.

• Established Google BigQuery as the core data warehouse, optimizing data storage and retrieval.
• Designed and deployed an ELT pipelines using Airbyte on Kubernetes, facilitating seamless data extraction from sources like PostgreSQL and MongoDB, and leveraging CDC for efficient updates.
• Utilized Airflow for orchestrating jobs and dbt/Dataform for data transformations, ensuring smooth workflow automation.
• Automated CI/CD processes with GitHub Actions and Google Cloud Build, enhancing deployment efficiency.
• Implemented comprehensive data quality checks to ensure data integrity and governance.
• Leveraged Looker for business intelligence and reporting, delivering actionable insights to drive decision- making.

• Mitarbeit an der Entwicklung einer maschinellen Lern- und Datenanalyseplattform mit dem Google Cloud Ecosystem, einschließlich BigQuery, Apache Airflow, Pub/Sub und Google Analytics
• Effiziente Datenspeicherung und -analyse mit BigQuery
• Integration von Apache Airflow zur Automatisierung und Verwaltung von Datenworkflows
• Implementierung von Pub/Sub für zuverlässiges Messaging- und Echtzeit-Datenstreaming
• Einbindung von Google Analytics, um Einblicke aus User-Interaktionen zu gewinnen
• Optimierung der Plattformleistung und -skalierbarkeit

• Mitarbeit an der Entwicklung einer Big-Data-Plattform innerhalb des Cloudera-Ökosystems durch die Einbindung von Apache Spark, Hadoop, Apache Kafka, Apache Flume, Apache Hive und Impala
• Design robuster und skalierbarer Lösungen und Pipelines für die Data Ingestion
• Konzeption und Automatisierung der Vorverarbeitung und Ingestion von Datensätzen und -strömen

• Led the development of an adaptable video processing and analysis platform, enabling seamless integration of numerous Artificial Intelligence and Computer Vision algorithms for efficient real-time video analysis;

• Spearheaded the design and upkeep of the platform's pipeline, leveraging significant big data tools including Apache Storm, gRPC, RabbitMQ, Redis, and Kubernetes;

• Contributed to the creation of a comprehensive Data warehouse aggregating data from diverse sources;

• Conducted data analysis by executing intricate SQL Ad-Hoc Queries in response to business requirements from multiple origins;

• Developed SQL procedures to automate ETL tasks and workflows;

• Managed the complete data warehouse lifecycle, ensuring its continued functionality and relevance;