Arthur J.
Data Engineer
Ingénieur en données avec plus de 6 ans d'expérience en Python, Apache Spark, Data Engineering, Apache Hive et ETL.
Arthur est un ingénieur data passionné et attaché aux résultats. Il possède dix ans d'expérience dans la mise au point de pipelines de données et de tableaux de bord BI solides et fiables, ainsi que dans la résolution de problèmes par les données pour des entreprises internationales. Il a principalement travaillé sur le Big data et l'apprentissage automatique.
Il a un état d'esprit stratégique axé sur la compréhension du contexte, la vérification des hypothèses, la formulation de conclusions fondées sur des faits et l'établissement d'une culture axée sur les données avec les membres de l'équipe. Analytique et bien organisé, avec une solide formation théorique en ingénierie et en mathématiques, Arthur apprend rapidement les nouvelles technologies.
Il peut jouer un rôle essentiel tout au long du cycle de vie de développement/support de la mission pour garantir des solutions de qualité.
Principale expertise
- Python 8 ans
- Data Engineering 6 ans
- Apache Spark 6 ans
Autres compétences
- Git 6 ans
- Scrum 5 ans
- Java 5 ans
Expérience sélectionnée
Emploi
Ingénieur de données
Thoughtworks - 1 an 9 mois
- Migration des données à l'aide d'Azure Data Factory. Traitement des données à l'aide d'Apache Spark chez Databricks. Automatisation des traitements à l'aide de Python .
Les technologies:
- Les technologies:
- Python
- Apache Spark
- ETL
- Databricks
- Scrum
- Azure Data Factory
IL. Analyste/Ingénieur de données
Grupo Pão de Açúcar - 1 an 5 mois
- ETL de données à partir de Teradata DW en utilisant Sqoop sur Hive, Impala, et Apache Kudu. Traitement de données avec Apache Spark 2 dans un environnement Hadoop. Maintenance des systèmes existants à l'aide de Python, Shell Script (Bash) et Java .
Les technologies:
- Les technologies:
- Apache Spark
- ETL
- Bash
- Apache Hive
- Java
IL. Analyste/Ingénieur de données
Nextel (Stefanini IT Solutions contractor) - 3 mois
- Charger des données depuis PostgreSQL en utilisant Sqoop, Apache Spark 2 et Python 3. Versionner des données sur une table « snapshot » avec Apache Spark 2.
Les technologies:
- Les technologies:
- Python
- Apache Spark
- ETL
- PostgreSQL
IL. Analyste/Ingénieur de données
Semantix - 1 an 1 mois
- Analyse de données avec Hive et Impala (distribution Cloudera). Traitement des données dans l'environnement Hadoop. Développement de scripts d'automatisation à l'aide de Python et de script Shell. Résultat des engagements IdO. Traitement par lots en temps réel à l'aide d'Apache Spark, Kafka et Elasticsearch .
Les technologies:
- Les technologies:
- Python
- Apache Spark
- ETL
- Shell
- Apache Hive
- Apache Kafka
- ElasticSearch
Éducation
License ès sciencesInformatique et sciences de l'information (abandon)
Universidade Federal do ABC · 2015 - 2019
Trouvez votre prochain développeur en quelques jours et non sur plusieurs mois
Dans un court appel de 25 minutes, nous voulons:
- Comprendre vos besoins en développement
- Vous expliquez comment nous allons vous mettre en relation avec le développeur le mieux qualifié pour votre projet, sélectionné avec soin
- Vous indiquez nos prochaines démarches afin de vous trouver le meilleur développeur, souvent en moins d'une semaine