Arthur J.

Data Engineer

Ingénieur en données avec plus de 6 ans d'expérience en Python, Apache Spark, Data Engineering, Apache Hive et ETL.

Arthur est un ingénieur data passionné et attaché aux résultats. Il possède dix ans d'expérience dans la mise au point de pipelines de données et de tableaux de bord BI solides et fiables, ainsi que dans la résolution de problèmes par les données pour des entreprises internationales. Il a principalement travaillé sur le Big data et l'apprentissage automatique.

Il a un état d'esprit stratégique axé sur la compréhension du contexte, la vérification des hypothèses, la formulation de conclusions fondées sur des faits et l'établissement d'une culture axée sur les données avec les membres de l'équipe. Analytique et bien organisé, avec une solide formation théorique en ingénierie et en mathématiques, Arthur apprend rapidement les nouvelles technologies.

Il peut jouer un rôle essentiel tout au long du cycle de vie de développement/support de la mission pour garantir des solutions de qualité.

Principale expertise

  • Python
    Python 8 ans
  • Data Engineering 6 ans
  • Apache Spark
    Apache Spark 6 ans

Autres compétences

  • Git
    Git 6 ans
  • Scrum
    Scrum 5 ans
  • Java
    Java 5 ans
Arthur

Arthur J.

Brazil

Commencer

Expérience sélectionnée

Emploi

  • Python developer/Data Engineer

    US-based clinical research company - 1 an

    Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.

  • Ingénieur de données

    Thoughtworks - 1 an 9 mois

    • Migration des données à l'aide d'Azure Data Factory. Traitement des données à l'aide d'Apache Spark chez Databricks. Automatisation des traitements à l'aide de Python .

    Les technologies:

    • Les technologies:
    • Azure Data Factory Azure Data Factory

  • IL. Analyste/Ingénieur de données

    Grupo Pão de Açúcar - 1 an 5 mois

    • ETL de données à partir de Teradata DW en utilisant Sqoop sur Hive, Impala, et Apache Kudu. Traitement de données avec Apache Spark 2 dans un environnement Hadoop. Maintenance des systèmes existants à l'aide de Python, Shell Script (Bash) et Java .

  • Data Engineer

    Grupo Pão de Açúcar - 1 an 5 mois

    • Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.

  • IL. Analyste/Ingénieur de données

    Nextel (Stefanini IT Solutions contractor) - 3 mois

    • Charger des données depuis PostgreSQL en utilisant Sqoop, Apache Spark 2 et Python 3. Versionner des données sur une table « snapshot » avec Apache Spark 2.

  • Data Engineer

    Nextel (Stefanini IT Solutions contractor) - 3 mois

    • Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.

  • Data Engineer

    Banco Santander (everis & BRQ contractor) - 9 mois

    • ETL and data processing in the Hadoop environment using Apache Spark to fill business reports

  • IL. Analyste/Ingénieur de données

    Semantix - 1 an 1 mois

    • Analyse de données avec Hive et Impala (distribution Cloudera). Traitement des données dans l'environnement Hadoop. Développement de scripts d'automatisation à l'aide de Python et de script Shell. Résultat des engagements IdO. Traitement par lots en temps réel à l'aide d'Apache Spark, Kafka et Elasticsearch .

  • Data Engineer

    Semantix - 1 an 1 mois

    • Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.

  • Java Developer

    Stefanini IT Solutions - 6 mois

    • Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.

    Les technologies:

    • Les technologies:
    • Maven Maven
    • Hibernate Hibernate
    • Oracle Oracle
    • Tomcat Tomcat

  • IT Analyst

    CVC Viagens - 8 mois

    • Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix

  • Java Developer

    MAPS Soluções e Serviços - 2 années 10 mois

    • Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.

    Les technologies:

    • Les technologies:
    • Hibernate Hibernate

Éducation

  • FormationAnalysis & Systems Development

    Faculdade de Tecnologia de São Paulo · 2022 - 2022

  • License ès sciencesInformatique et sciences de l'information (abandon)

    Universidade Federal do ABC · 2015 - 2019

Trouvez votre prochain développeur en quelques jours et non sur plusieurs mois

Dans un court appel de 25 minutes, nous voulons:

  • Comprendre vos besoins en développement
  • Vous expliquez comment nous allons vous mettre en relation avec le développeur le mieux qualifié pour votre projet, sélectionné avec soin
  • Vous indiquez nos prochaines démarches afin de vous trouver le meilleur développeur, souvent en moins d'une semaine

Contactez-nous

Le premier développeur commence en quelques jours. Pas de discours de vente agressif.