Data Engineer

• Legde de basis voor Data Analytics Platform met behulp van Airbyte, Google BigQuery, Apache Airflow, DBT en Looker;
• Configureerde Airbyte voor gestroomlijnde gegevensinvoer.
• Maakte gebruik van Google BigQuery als centraal datawarehouse;
• Integreerde Apache Airflow voor het automatiseren en beheren van dataworkflows;
• Gebruikte DBT voor het creëren en onderhouden van een gestroomlijnd proces voor datamodellering en -transformatie;
• Integreerde Looker voor gegevensvisualisatie;
• Ondersteunde bij het opsporen van fouten en het oplossen van technische problemen.

Joined the data team at its inception, working on building the data platform from scratch. This included selecting the technology stack, setting the foundations, and applying best practices to deliver a platform that drives data-driven initiatives and supports business operations.

• Established Google BigQuery as the core data warehouse, optimizing data storage and retrieval.
• Designed and deployed an ELT pipelines using Airbyte on Kubernetes, facilitating seamless data extraction from sources like PostgreSQL and MongoDB, and leveraging CDC for efficient updates.
• Utilized Airflow for orchestrating jobs and dbt/Dataform for data transformations, ensuring smooth workflow automation.
• Automated CI/CD processes with GitHub Actions and Google Cloud Build, enhancing deployment efficiency.
• Implemented comprehensive data quality checks to ensure data integrity and governance.
• Leveraged Looker for business intelligence and reporting, delivering actionable insights to drive decision- making.

• Droeg bij aan de ontwikkeling van een Machine Learning en Data Analytics Platform met behulp van het Google Cloud Ecosysteem, waaronder BigQuery, Apache Airflow, Pub/Sub en Google Analytics;
• Gebruikte BigQuery voor efficiënte gegevensopslag en -analyse;
• Integreerde Apache Airflow voor het automatiseren en beheren van dataworkflows;
• Implementeerde Pub/Sub voor betrouwbare messaging en real-time datastreaming;
• Integreerde Google Analytics om inzichten te verzamelen uit gebruikersinteracties;
• Werkte aan het optimaliseren van de resultaten en schaalbaarheid van het platform.

• Droeg bij aan de ontwikkeling van een Big Data-platform binnen het Cloudera-ecosysteem, met daarin Apache Spark, Hadoop, Apache Kafka, Apache Flume, Apache Hive en Impala;
• Ontwierp krachtige en schaalbare oplossingen voor data-invoer en pipelines;
• Formuleerde en automatiseerde preprocessing en invoer van databatches en -stromen.

• Led the development of an adaptable video processing and analysis platform, enabling seamless integration of numerous Artificial Intelligence and Computer Vision algorithms for efficient real-time video analysis;

• Spearheaded the design and upkeep of the platform's pipeline, leveraging significant big data tools including Apache Storm, gRPC, RabbitMQ, Redis, and Kubernetes;

• Contributed to the creation of a comprehensive Data warehouse aggregating data from diverse sources;

• Conducted data analysis by executing intricate SQL Ad-Hoc Queries in response to business requirements from multiple origins;

• Developed SQL procedures to automate ETL tasks and workflows;

• Managed the complete data warehouse lifecycle, ensuring its continued functionality and relevance;