Arthur J.
Data Engineer
Arthur est un ingénieur data passionné et attaché aux résultats. Il possède dix ans d'expérience dans la mise au point de pipelines de données et de tableaux de bord BI solides et fiables, ainsi que dans la résolution de problèmes par les données pour des entreprises internationales. Il a principalement travaillé sur le Big data et l'apprentissage automatique.
Il a un état d'esprit stratégique axé sur la compréhension du contexte, la vérification des hypothèses, la formulation de conclusions fondées sur des faits et l'établissement d'une culture axée sur les données avec les membres de l'équipe. Analytique et bien organisé, avec une solide formation théorique en ingénierie et en mathématiques, Arthur apprend rapidement les nouvelles technologies.
Il peut jouer un rôle essentiel tout au long du cycle de vie de développement/support de la mission pour garantir des solutions de qualité.
Expertise principale
Python8 ans
Apache Spark6 ans
ETL4 ansExpérience12
Python developer/Data Engineer
Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.
Ingénieur de données
- Migration des données à l'aide d'Azure Data Factory. Traitement des données à l'aide d'Apache Spark chez Databricks. Automatisation des traitements à l'aide de Python .
Azure Data FactoryIL. Analyste/Ingénieur de données
- ETL de données à partir de Teradata DW en utilisant Sqoop sur Hive, Impala, et Apache Kudu. Traitement de données avec Apache Spark 2 dans un environnement Hadoop. Maintenance des systèmes existants à l'aide de Python, Shell Script (Bash) et Java .
Data Engineer
- Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.
IL. Analyste/Ingénieur de données
- Charger des données depuis PostgreSQL en utilisant Sqoop, Apache Spark 2 et Python 3. Versionner des données sur une table « snapshot » avec Apache Spark 2.
Data Engineer
- Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.
Data Engineer
- ETL and data processing in the Hadoop environment using Apache Spark to fill business reports
IL. Analyste/Ingénieur de données
- Analyse de données avec Hive et Impala (distribution Cloudera). Traitement des données dans l'environnement Hadoop. Développement de scripts d'automatisation à l'aide de Python et de script Shell. Résultat des engagements IdO. Traitement par lots en temps réel à l'aide d'Apache Spark, Kafka et Elasticsearch .
Data Engineer
- Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.
Java Developer
- Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.
Maven
Hibernate
Oracle
TomcatIT Analyst
- Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix
Java Developer
- Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.
HibernateCertificats 3
Éducation
Arrêtez de naviguer.
Soyez jumelé plus rapidement.
Parlez à un expert et obtenez des correspondances personnalisées de notre réseau en seulement 2 jours.
Accédez à plus de 6 000+ experts
Soyez jumelé avec un développeur en 2 jours en moyenne
Embauchez rapidement et facilement avec un taux de réussite de 94%