Data Engineer

• Vastuussa tehokkaan, useista toimipaikoista koostuvan datatiimin kokoamisesta, uusien työntekijöiden palkkaamisesta, johtamisesta ja valmentamisesta.
• Uusien dataputkien suunnittelu ja osallistuminen arkkitehtuuripäätösten tekemiseen.
• Hadoop, Spark/Spark Streaming, Kafka, Kafka Streams, Parquet, Avro, Airflow, Delta Lake, Scala, Agile.

• Data Engineer, responsible for the implementation of Analytical System, leading a team of 4 engineers and in close cooperation with stakeholders. The main objective is to design, supply, and build big data infrastructure on top of Hadoop with batch, real-time data processing pipelines, data lakes, and data warehouses.

○ Hadoop, Ambari, Spark, Kafka, Airflow, Trino, Parquet, Avro, CDC/Debezium, Apache Atlas, Scala, Agile.

• Käyttäjien käyttäytymistietoihin perustuvan CCPA:n mukaisen analyyttisen järjestelmän toteutus.
• AWS, EMR/Spark, Kinesis, KDA/Flink, S3, Lambda, Redshift, RDS, Airflow, Parquet, Avro, Scala, Agile.

• Data Engineer responsible for the implementation of an Analytical System based on transactional data and in close cooperation with stakeholders. The main objective is to design, supply, and build big data infrastructure on top of Hadoop with batch, real-time data processing pipelines, data lakes, and data warehouses.

○ Hadoop, Cloudera, Kafka, Oozie, Impala, Java

• Vanhempi insinööri, Big Data, vastuussa IoT-projektin toteuttamisesta ja kolmen insinöörin tiimin johtamisesta tiiviissä yhteistyössä sidosryhmien kanssa.
• GDPR:n mukaisen big data -infrastruktuurin suunnittelu, toimitus ja rakentaminen reaaliaikaisilla tietojenkäsittelyputkistoilla ja tietovarastoilla.
• Seurantahankkeen sääntömoduulin toteuttaminen tiiviissä yhteistyössä sidosryhmien kanssa.