Data Engineer

• Vakiintunut data-analytiikka-alustan perusta, jossa käytetään Airbytea, Google BigQueryä, Apache Airflowta, DBT: tä ja Lookeria;
• Konfiguroi Airbyten virtaviivaistettua tiedonkeruuta varten.
• Hyödynsi Google BigQuerya keskeisenä tietovarastona;
• Integroi Apache Airflowin datatyönkulkujen automatisointiin ja hallintaan;
• Loi ja ylläpiti virtaviivaista tietomallinnus- ja muutosprosessia hyödyntämällä DBT:tä;
• Integroi Lookerin tietojen visualisointia varten;
• Tarjosi tukea vianmääritystä ja teknisiä kysymyksiä varten.

Joined the data team at its inception, working on building the data platform from scratch. This included selecting the technology stack, setting the foundations, and applying best practices to deliver a platform that drives data-driven initiatives and supports business operations.

• Established Google BigQuery as the core data warehouse, optimizing data storage and retrieval.
• Designed and deployed an ELT pipelines using Airbyte on Kubernetes, facilitating seamless data extraction from sources like PostgreSQL and MongoDB, and leveraging CDC for efficient updates.
• Utilized Airflow for orchestrating jobs and dbt/Dataform for data transformations, ensuring smooth workflow automation.
• Automated CI/CD processes with GitHub Actions and Google Cloud Build, enhancing deployment efficiency.
• Implemented comprehensive data quality checks to ensure data integrity and governance.
• Leveraged Looker for business intelligence and reporting, delivering actionable insights to drive decision- making.

• Osallistui koneoppimisen ja data-analytiikan alustan kehittämiseen käyttäen Google Cloud Ecosystemiä, mukaan lukien BigQuery, Apache Airflow, Pub/Sub ja Google Analytics; – Hyödynsi BigQuerya tehokkaaseen tietojen tallentamiseen ja analysointiin; – Integroi Apache Airflowin datatyönkulkujen automatisointiin ja hallintaan; – Toteutti Pub/Sub-järjestelmän luotettavaa viestinvälitystä ja reaaliaikaista tiedonsiirtoa varten; – Sisällytti Google Analyticsin kerätäkseen tietoa käyttäjien vuorovaikutuksesta; – Työskenteli alustan suorituskyvyn ja skaalautuvuuden optimoimiseksi.

• Osallistui Big Data -alustan kehittämiseen Cloudera Ecosystemissä, johon kuuluu Apache Spark, Hadoop, Apache Kafka, Apache Flume, Apache Hive ja Impala;
• Suunnitteli vankkoja ja skaalautuvia tiedonsiirtoratkaisuja ja -putkia;
• Tietoerien ja -virtojen esikäsittelyn ja sisäänsyötön muotoilu ja automatisointi.

• Led the development of an adaptable video processing and analysis platform, enabling seamless integration of numerous Artificial Intelligence and Computer Vision algorithms for efficient real-time video analysis;

• Spearheaded the design and upkeep of the platform's pipeline, leveraging significant big data tools including Apache Storm, gRPC, RabbitMQ, Redis, and Kubernetes;

• Contributed to the creation of a comprehensive Data warehouse aggregating data from diverse sources;

• Conducted data analysis by executing intricate SQL Ad-Hoc Queries in response to business requirements from multiple origins;

• Developed SQL procedures to automate ETL tasks and workflows;

• Managed the complete data warehouse lifecycle, ensuring its continued functionality and relevance;