Ivan P.
Data Engineer
L'une de ses réalisations les plus importantes a été la conception et la mise en œuvre d'un pipeline de données entièrement sans serveur pour l'analyse web et le suivi des clients - un projet qu'il considère comme déterminant pour l'orientation de sa carrière en tant qu'ingénieur de données. Grâce à cet engagement, Ivan a acquis une vaste expérience en Python, en services de données AWS, en streaming de données, en lacs de données et en provisionnement d'infrastructure à l'aide de code basé sur des modèles.
Ivan est reconnu pour sa capacité d'adaptation, son engagement dans l'apprentissage continu et sa capacité à fournir des solutions de données évolutives, efficaces et performantes qui ont un impact réel sur l'entreprise.
Expertise principale
Snowflake3 ans
Apache Airflow5 ans
Python5 ans
Java5 ansExpérience6
Data Engineer
- J'ai contribué à l'équipe d'ingénierie des données de JW Player, en développant des pipelines de données et des analyses intégrées pour le domaine des paiements et des abonnements.
- Implémentation de pipelines CDC avec AWS DMS, intégration de données de PostgreSQL, MariaDB, Kinesis, et Kafka dans S3.
- Traitement et orchestration de données dans Snowflake en utilisant Airflow et Snowflake Tasks, et gestion de l'évolution des schémas avec Sqitch.
- Activation de la visualisation des données via ThoughtSpot et Looker, améliorant l'accessibilité des données et la fourniture d'informations.
- Le site web de l'entreprise est un outil de gestion de l'information et d'aide à la décision pour les entreprises.
PostgreSQL
AWS
Apache Kafka
SQL
AWS Kinesis
Data Engineer
- J'ai contribué à l'équipe d'ingénierie des données de Slice, une plateforme B2B2C en plein essor qui soutient plus de 20 000 entreprises américaines. pizzerias.
- Conception et maintenance de pipelines de données en direct, intégration des données CDC pour les utilisateurs et les commandes dans Databricks Delta Lake, DynamoDB (via OData), et S3.
- Utilisation de la plateforme Confluent Kafka avec Schema Registry pour l'évolution des schémas de flux (AVRO).
- Application de KsqlDB et Kafka Streams (Scala) pour le traitement de flux en temps réel.
- Mise en œuvre de Kafka Connect pour les intégrations de systèmes et la capture de données de changement.
- Les Notebooks de Databricks ont été utilisés pour le traitement par lots de Spark en SQL, Scala et Python.
- Orchestration des jobs Databricks avec Airflow pour l'automatisation des flux de travail.
- Employé GitLab CI/CD, Docker, et Terraform pour le déploiement et la gestion de l'infrastructure.
AWS
Databricks
Apache SparkJavaPythonData Engineer
- Architecte et développeur principal au sein de l'équipe chargée de l'analyse et du suivi des sites web chez Global Saving Group, une plateforme reliant les acheteurs en ligne aux détaillants et desservant plus de 100 clients numériques dans le monde entier.
- Conception, développement et maintenance de produits internes pour le suivi des clients, l'analyse du web et le suivi des conversions et des transactions entre domaines.
- Construit des implémentations IaC entièrement sans serveur sur AWS, permettant une infrastructure évolutive et rentable.
- Développement et orchestration de pipelines de données pour l'ingestion de données par événement et par lot en utilisant une approche de lac de données.
- Traitement de grands volumes de données brutes et non structurées, en effectuant des transformations, des agrégations et des entrepôts de données.
- Fournir des analyses en temps réel sur les utilisateurs actifs, les sessions et les canaux pour soutenir les perspectives commerciales.
MySQLAWSJavaPythonSQL
Développeur Mulesoft
- J'ai dirigé le développement Java de plusieurs projets d'intégration de données utilisant la plateforme Anypoint Mulesoft ESB, et j'ai développé des connecteurs personnalisés certifiés publiés sur la place de marché Mulesoft, prenant en charge des systèmes d'entreprise tels que Salesforce, Anaplan, Coupa et CallidusCloud.
- Définir et rassembler les exigences commerciales directement avec les propriétaires de produits, les architectes et les gestionnaires du client.
- Préparer la documentation sur la conception de l'architecture et les propositions de solutions pour guider la mise en œuvre du projet.
- Mise en œuvre de solutions d'intégration de bout en bout garantissant l'évolutivité et la maintenabilité.
- Développer et exécuter des tests fonctionnels et d'intégration pour valider la performance et la fiabilité du système.
Java
MuleSoft
Java BI Developer
-
Developed a BI platform involving data integration, ETL, and warehousing for a top 10 mobile game publisher with over 1 billion downloads and 45 million monthly active users;
-
Developed the automated BI system;
-
Collected daily reports from more than 15 ad provider sources;
-
Transformed, enriched, and loaded data into the data warehouse;
-
Ensured data consistency and integrity;
-
Injected missing data and corrected invalid data;
-
Developed and maintained data pipelines;
-
Built an orchestration system for workflow management.
PostgreSQLAWSJava
Spring BootSQL
Java Back-End Developer
-
Developed a BI platform involving data integration, ETL, and warehousing for a top 10 mobile game publisher with over 1 billion downloads and 45 million monthly active users;
-
Developed the automated BI system;
-
Collected daily reports from more than 15 ad provider sources;
-
Transformed, enriched, and loaded data into the data warehouse;
-
Ensured data consistency and integrity;
-
Injected missing data and corrected invalid data;
-
Developed and edited data pipelines;
-
Built an orchestration system for workflow management.
NGINX
CassandraJava
TomcatExcellence en ingénierie
Tous les Data Engineers qui ont postulé chez Proxify sont notés de 0 à 300 en excellence en ingénierie, l'un des cinq paramètres que nous évaluons. Ce score reflète uniquement l'excellence en ingénierie, basée sur des entretiens, des exercices à domicile, des sessions de codage en direct, et/ou des évaluations de performance en poste. La courbe montre comment tous les Data Engineers évalués sont répartis sur cette plage, où se situe notre seuil d'acceptation pour ce paramètre, et où se situe Ivan.
Score 234 · Top 2% of engineers
Certificats 1
Issued Jan 2022 - Expires Jan 2025
Issued Jan 2022 - Expires Jan 2025
Éducation
Arrêtez de naviguer.
Soyez jumelé plus rapidement.
Parlez à un expert et obtenez des correspondances personnalisées de notre réseau en seulement 2 jours.
Accédez à plus de 6 000+ experts
Soyez jumelé avec un développeur en 2 jours en moyenne
Embauchez rapidement et facilement avec un taux de réussite de 94%