Ivan P.

Data Engineer

Ivan est un ingénieur en données expérimenté, avec plus de 10 ans d'expérience commerciale dans le développement de logiciels et de solutions basées sur les données. Il possède une expertise approfondie des services cloud AWS, de Kafka, Snowflake et Airflow, ainsi que de solides compétences en programmation en Java, Scala et Python.

L'une de ses réalisations les plus importantes a été la conception et la mise en œuvre d'un pipeline de données entièrement sans serveur pour l'analyse web et le suivi des clients - un projet qu'il considère comme déterminant pour l'orientation de sa carrière en tant qu'ingénieur de données. Grâce à cet engagement, Ivan a acquis une vaste expérience en Python, en services de données AWS, en streaming de données, en lacs de données et en provisionnement d'infrastructure à l'aide de code basé sur des modèles.

Ivan est reconnu pour sa capacité d'adaptation, son engagement dans l'apprentissage continu et sa capacité à fournir des solutions de données évolutives, efficaces et performantes qui ont un impact réel sur l'entreprise.

Principale expertise

  • Snowflake
    Snowflake 3 ans
  • Apache Airflow
    Apache Airflow 5 ans
  • Python
    Python 5 ans

Autres compétences

    Ivan

    Ivan P.

    North Macedonia

    Commencer

    Expérience sélectionnée

    Emploi

    • Data Engineer

      JW Player (InPlayer) - 3 années

      • J'ai contribué à l'équipe d'ingénierie des données de JW Player, en développant des pipelines de données et des analyses intégrées pour le domaine des paiements et des abonnements.
      • Implémentation de pipelines CDC avec AWS DMS, intégration de données de PostgreSQL, MariaDB, Kinesis, et Kafka dans S3.
      • Traitement et orchestration de données dans Snowflake en utilisant Airflow et Snowflake Tasks, et gestion de l'évolution des schémas avec Sqitch.
      • Activation de la visualisation des données via ThoughtSpot et Looker, améliorant l'accessibilité des données et la fourniture d'informations.
      • Le site web de l'entreprise est un outil de gestion de l'information et d'aide à la décision pour les entreprises.

      Les technologies:

      • Les technologies:
      • PostgreSQL PostgreSQL
      • AWS AWS
      • Apache Kafka Apache Kafka
      • SQL SQL
      • AWS Kinesis AWS Kinesis
      • DataDog DataDog
      • Apache Airflow Apache Airflow
      • Snowflake Snowflake
      • Dimensional modeling
      • Fact Data Modeling
      • ThoughtSpot
      • AWS RDS AWS RDS
      • AWS CloudFormation AWS CloudFormation

    • Data Engineer

      Slice - 1 an 10 mois

      • J'ai contribué à l'équipe d'ingénierie des données de Slice, une plateforme B2B2C en plein essor qui soutient plus de 20 000 entreprises américaines. pizzerias.
      • Conception et maintenance de pipelines de données en direct, intégration des données CDC pour les utilisateurs et les commandes dans Databricks Delta Lake, DynamoDB (via OData), et S3.
      • Utilisation de la plateforme Confluent Kafka avec Schema Registry pour l'évolution des schémas de flux (AVRO).
      • Application de KsqlDB et Kafka Streams (Scala) pour le traitement de flux en temps réel.
      • Mise en œuvre de Kafka Connect pour les intégrations de systèmes et la capture de données de changement.
      • Les Notebooks de Databricks ont été utilisés pour le traitement par lots de Spark en SQL, Scala et Python.
      • Orchestration des jobs Databricks avec Airflow pour l'automatisation des flux de travail.
      • Employé GitLab CI/CD, Docker, et Terraform pour le déploiement et la gestion de l'infrastructure.

      Les technologies:

      • Les technologies:
      • AWS AWS
      • Databricks Databricks
      • Apache Spark Apache Spark
      • Java Java
      • Python Python
      • Apache Kafka Apache Kafka
      • SQL SQL
      • Scala Scala
      • Apache Airflow Apache Airflow
      • Confluent Confluent

    • Data Engineer

      Global Savings Group (for intertec.io) - 2 années 3 mois

      • Architecte et développeur principal au sein de l'équipe chargée de l'analyse et du suivi des sites web chez Global Saving Group, une plateforme reliant les acheteurs en ligne aux détaillants et desservant plus de 100 clients numériques dans le monde entier.
      • Conception, développement et maintenance de produits internes pour le suivi des clients, l'analyse du web et le suivi des conversions et des transactions entre domaines.
      • Construit des implémentations IaC entièrement sans serveur sur AWS, permettant une infrastructure évolutive et rentable.
      • Développement et orchestration de pipelines de données pour l'ingestion de données par événement et par lot en utilisant une approche de lac de données.
      • Traitement de grands volumes de données brutes et non structurées, en effectuant des transformations, des agrégations et des entrepôts de données.
      • Fournir des analyses en temps réel sur les utilisateurs actifs, les sessions et les canaux pour soutenir les perspectives commerciales.

      Les technologies:

      • Les technologies:
      • MySQL MySQL
      • AWS AWS
      • Java Java
      • Python Python
      • SQL SQL
      • DynamoDB DynamoDB
      • AWS Kinesis AWS Kinesis
      • AWS Athena AWS Athena
      • Redshift Redshift
      • Apache Flink Apache Flink
      • AWS CloudFormation AWS CloudFormation
      • AWS Data Catalog AWS Data Catalog

    • Développeur Mulesoft

      Admios - 1 an 10 mois

      • J'ai dirigé le développement Java de plusieurs projets d'intégration de données utilisant la plateforme Anypoint Mulesoft ESB, et j'ai développé des connecteurs personnalisés certifiés publiés sur la place de marché Mulesoft, prenant en charge des systèmes d'entreprise tels que Salesforce, Anaplan, Coupa et CallidusCloud.
      • Définir et rassembler les exigences commerciales directement avec les propriétaires de produits, les architectes et les gestionnaires du client.
      • Préparer la documentation sur la conception de l'architecture et les propositions de solutions pour guider la mise en œuvre du projet.
      • Mise en œuvre de solutions d'intégration de bout en bout garantissant l'évolutivité et la maintenabilité.
      • Développer et exécuter des tests fonctionnels et d'intégration pour valider la performance et la fiabilité du système.

      Les technologies:

      • Les technologies:
      • Java Java
      • MuleSoft Anypoint Platform
      • MuleSoft MuleSoft

    Éducation

    • License ès sciencesSoftware Engineering

      European University - Faculty of informatics · 2005 - 2011

    Trouvez votre prochain développeur en quelques jours et non sur plusieurs mois

    Dans un court appel de 25 minutes, nous voulons:

    • Comprendre vos besoins en développement
    • Vous expliquez comment nous allons vous mettre en relation avec le développeur le mieux qualifié pour votre projet, sélectionné avec soin
    • Vous indiquez nos prochaines démarches afin de vous trouver le meilleur développeur, souvent en moins d'une semaine

    Contactez-nous

    Le premier développeur commence en quelques jours. Pas de discours de vente agressif.