Data Engineer

• Etablerade grunden för en dataanalysplattform med hjölp av Airbyte, Google BigQuery, Apache Airflow, DBT och Looker.
• Konfigurerade Airbyte för effektivt dataintag.
• Använde Google BigQuery som centralt data warehouse.
• Integrerade Apache Airflow för att automatisera och hantera dataarbetsflöden.
• Använde DBT för att skapa och underhålla en strömlinjeformad process för datamodellering och -transformation.
• Integrerade Looker för datavisualisering.
• Hjälpte till med felsökning och löste tekniska problem.

Joined the data team at its inception, working on building the data platform from scratch. This included selecting the technology stack, setting the foundations, and applying best practices to deliver a platform that drives data-driven initiatives and supports business operations.

• Established Google BigQuery as the core data warehouse, optimizing data storage and retrieval.
• Designed and deployed an ELT pipelines using Airbyte on Kubernetes, facilitating seamless data extraction from sources like PostgreSQL and MongoDB, and leveraging CDC for efficient updates.
• Utilized Airflow for orchestrating jobs and dbt/Dataform for data transformations, ensuring smooth workflow automation.
• Automated CI/CD processes with GitHub Actions and Google Cloud Build, enhancing deployment efficiency.
• Implemented comprehensive data quality checks to ensure data integrity and governance.
• Leveraged Looker for business intelligence and reporting, delivering actionable insights to drive decision- making.

• Bidrog till utvecklingen av en plattform för maskinlärning och dataanalys med hjälp av Google Cloud Ecosystem, som inkluderade BigQuery, Apache Airflow, Pub/Sub och Google Analytics;
• Använde BigQuery för effektv datalagring och -analys.
• Integrerade Airflow för att automatisera och hantera dataarbetsflöden.
• Implementerade Pub/Sub för att skicka tillförlitliga meddelanden och realtidsdataströmning.
• Implementerade Google Analytics för att hämta insikter från användarinteraktioner.
• Arbetade på att optimera plattformens prestanda och skalbarhet.

• Bidrog till utvecklingen av en Big Data-plattform i ekosystemet Cloudera, och införlivade Apache Spark, Hadoop, Apache Kafka, Apache Flume, Apache Hive och Impala.
• Designade robusta och skalbara lösningar och pipelines för dataintag.
• Skapade robust och automatiserad förbehandling och intag av databatchar och dataströmmar.

• Led the development of an adaptable video processing and analysis platform, enabling seamless integration of numerous Artificial Intelligence and Computer Vision algorithms for efficient real-time video analysis;

• Spearheaded the design and upkeep of the platform's pipeline, leveraging significant big data tools including Apache Storm, gRPC, RabbitMQ, Redis, and Kubernetes;

• Contributed to the creation of a comprehensive Data warehouse aggregating data from diverse sources;

• Conducted data analysis by executing intricate SQL Ad-Hoc Queries in response to business requirements from multiple origins;

• Developed SQL procedures to automate ETL tasks and workflows;

• Managed the complete data warehouse lifecycle, ensuring its continued functionality and relevance;