Arthur J.

Data Engineer

Data engineer med över 6 års erfarenhet av Python, Apache Spark, Data Engineering, Apache Hive och ETL.

Arthur är en passionerad och resultatfokuserad dataingenjör med tio års erfarenhet av att utveckla solida och pålitliga datapipelines och BI-dashboards och lösa problem med hjälp av data åt internationella företag. Han har huvudsakligen arbetat med Big Data och maskininlärning.

Han har ett strategiskt synsätt som fokuserar på att förstå sammanhanget, testa hypoteser, dra slutsatser baserat på fakta och upprätta en datadriven kultur tillsammans med sina kolleger. Arthur tar snabbt till sin nya kunskaper tack vare en analytisk och välorganiserad ådra med stark teoretisk teknik- och matematikbakgrund.

Han kan spela en viktig roll under engagemangets utvecklings-/supportlivscykel för att säkerställa lösningar av hög kvalitet.

Huvudsaklig expertis

  • Python
    Python 8 år
  • Data Engineering 6 år
  • Apache Spark
    Apache Spark 6 år

Andra kompetenser

  • Git
    Git 6 år
  • Scrum
    Scrum 5 år
  • Java
    Java 5 år
Arthur

Arthur J.

Brazil

Hitta en utvecklare

Utvald erfarenhet

Anställningar

  • Python developer/Data Engineer

    US-based clinical research company - 1 år

    Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.

  • Dataingenjör

    Thoughtworks - 1 år 9 månader

    • Datamigrering med Azure Data Factory. Databehandling med Apache Spark at Databricks. Processautomation med Python.

    Teknologier:

    • Teknologier:
    • Azure Data Factory Azure Data Factory

  • DEN. Analytiker/dataingenjör

    Grupo Pão de Açúcar - 1 år 5 månader

    • Data-ETL från Teradata DW med Sqoop on Hive, Impala och Apache Kudu. Databehandling med Apache Spark 2 i en Hadoop-miljö. Underhåll av äldre system med Python, Shell Script (Bash) och Java.

  • Data Engineer

    Grupo Pão de Açúcar - 1 år 5 månader

    • Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.

  • DEN. Analytiker/dataingenjör

    Nextel (Stefanini IT Solutions contractor) - 3 månader

    • Datainläsning från PostgreSQL med Sqoop, Apache Spark 2 och Python 3. Dataversionering på en ”snapshot”-tabell med Apache Spark 2.

  • Data Engineer

    Nextel (Stefanini IT Solutions contractor) - 3 månader

    • Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.

  • Data Engineer

    Banco Santander (everis & BRQ contractor) - 9 månader

    • ETL and data processing in the Hadoop environment using Apache Spark to fill business reports

  • DEN. Analytiker/dataingenjör

    Semantix - 1 år 1 månad

    • Dataanalys med Hive och Impala (Cloudera-distribution). Databehandling i Hadoop-miljön. Automatiseringsskriptutveckling med Python och Shell-skript. Resultat av IoT-engagemang. Batchbearbetning i realtid med Apache Spark, Kafka och Elasticsearch.

  • Data Engineer

    Semantix - 1 år 1 månad

    • Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.

  • Java Developer

    Stefanini IT Solutions - 6 månader

    • Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.

    Teknologier:

    • Teknologier:
    • Maven Maven
    • Hibernate Hibernate
    • Oracle Oracle
    • Tomcat Tomcat

  • IT Analyst

    CVC Viagens - 8 månader

    • Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix

  • Java Developer

    MAPS Soluções e Serviços - 2 år 10 månader

    • Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.

    Teknologier:

    • Teknologier:
    • Hibernate Hibernate

Utbildning

  • Standalone courseAnalysis & Systems Development

    Faculdade de Tecnologia de São Paulo · 2022 - 2022

  • BSc.Data- och informationsvetenskap (bortfall)

    Universidade Federal do ABC · 2015 - 2019

Hitta din nästa utvecklare inom ett par dagar

Ge oss 25 minuter av din tid, så kommer vi att:

  • Sätta oss in i dina utmaningar och behov
  • Berätta om våra seniora och beprövade utvecklare
  • Förklara hur vi kan matcha dig med precis rätt utvecklare

Låt oss ta ett kort digitalt möte.

Ingen aggressiv säljpitch, vi lovar!