Data Engineer

• A mis en place une plateforme d’analyse de données en utilisant Airbyte, Google BigQuery, Apache Airflow, DBT, et Looker ;
• A configuré Airbyte pour une ingestion rationalisée des données.
• A utilisé Google BigQuery comme entrepôt de données central ;
• A intégré Apache Airflow pour automatiser et gérer les flux de données ;
• A utilisé DBT pour créer et maintenir un processus rationalisé de modélisation et de transformation des données ;
• A intégré Looker pour la visualisation des données ;
• A pris en charge le dépannage et les problèmes techniques .

Joined the data team at its inception, working on building the data platform from scratch. This included selecting the technology stack, setting the foundations, and applying best practices to deliver a platform that drives data-driven initiatives and supports business operations.

• Established Google BigQuery as the core data warehouse, optimizing data storage and retrieval.
• Designed and deployed an ELT pipelines using Airbyte on Kubernetes, facilitating seamless data extraction from sources like PostgreSQL and MongoDB, and leveraging CDC for efficient updates.
• Utilized Airflow for orchestrating jobs and dbt/Dataform for data transformations, ensuring smooth workflow automation.
• Automated CI/CD processes with GitHub Actions and Google Cloud Build, enhancing deployment efficiency.
• Implemented comprehensive data quality checks to ensure data integrity and governance.
• Leveraged Looker for business intelligence and reporting, delivering actionable insights to drive decision- making.

• A contribué au développement d’une plateforme de machine learning et d’analyse de données utilisant l’écosystème Google Cloud, notamment BigQuery, Apache Airflow, Pub/Sub, et Google Analytics ;
• A utilisé BigQuery pour un stockage et une analyse efficaces des données ;
• A intégré Apache Airflow pour automatiser et gérer les flux de données ;
• A mis en œuvre Pub/Sub pour une transmission fiable des messages et un flux de données en temps réel ;
• A intégré Google Analytics pour recueillir des informations sur les interactions avec les utilisateurs ;
• A travaillé à l’optimisation des performances et de l’évolutivité de la plateforme .

• A contribué au développement d’une plateforme Big Data au sein de l’écosystème Cloudera, intégrant Apache Spark, Hadoop, Apache Kafka, Apache Flume, Apache Hive, et Impala ;
• A conçu des solutions et des pipelines d’ingestion de données robustes et évolutifs ;
• A formulé et automatisé le prétraitement et l’ingestion de lots et de flux de données .

• Led the development of an adaptable video processing and analysis platform, enabling seamless integration of numerous Artificial Intelligence and Computer Vision algorithms for efficient real-time video analysis;

• Spearheaded the design and upkeep of the platform's pipeline, leveraging significant big data tools including Apache Storm, gRPC, RabbitMQ, Redis, and Kubernetes;

• Contributed to the creation of a comprehensive Data warehouse aggregating data from diverse sources;

• Conducted data analysis by executing intricate SQL Ad-Hoc Queries in response to business requirements from multiple origins;

• Developed SQL procedures to automate ETL tasks and workflows;

• Managed the complete data warehouse lifecycle, ensuring its continued functionality and relevance;