Arthur J.

Data Engineer

Dataingeniør med mer enn seks års erfaring innen Python, Apache Spark, Data Engineering, Apache Hive og ETL.

Arthur er en lidenskapelig og resultatfokusert dataingeniør med ti års erfaring med å utvikle solide og pålitelige datapipelines og BI-dashboards, og løser problemer gjennom data for internasjonale selskaper. Han har hovedsakelig jobbet med stamdata og maskinlæring.

Han har et strategisk tankesett fokusert på å forstå kontekst, teste hypoteser, trekke konklusjoner basert på fakta og etablere en datadrevet kultur med teammedlemmer. Arthur er analytisk og velorganisert med sterk teoretisk ingeniørfag og matematisk bakgrunn, og lærer raskt nye teknologier.

Han kan spille en viktig rolle gjennom engasjementets utviklings-/støttelivssyklus for å sikre kvalitetsløsninger.

Hovedekspertise

  • Python
    Python 8 år
  • Data Engineering 6 år
  • Apache Spark
    Apache Spark 6 år

Andre kunnskaper

  • Git
    Git 6 år
  • Scrum
    Scrum 5 år
  • Java
    Java 5 år
Arthur

Arthur J.

Brazil

Kom i gang

Utvalgt opplevelse

Arbeidserfaring

  • Python developer/Data Engineer

    US-based clinical research company - 1 year

    Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.

  • Dataingeniør

    Thoughtworks - 1 year 9 months

    • Datamigrering ved hjelp av Azure Data Factory - Databehandling ved hjelp av Apache Spark hos Databricks - Prosessautomatisering ved hjelp av Python.

    Teknologier:

    • Teknologier:
    • Azure Data Factory Azure Data Factory
  • DEN. Analytiker/dataingeniør

    Grupo Pão de Açúcar - 1 year 5 months

    • Data ETL fra Teradata DW ved å bruke Sqoop på Hive, Impala og Apache Kudu - Databehandling med Apache Spark 2 i et Hadoop-miljø - Vedlikehold av eldre systemer med Python, Shell Script (Bash) og Java.
  • Data Engineer

    Grupo Pão de Açúcar - 1 year 5 months

    • Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.
  • DEN. Analytiker/dataingeniør

    Nextel (Stefanini IT Solutions contractor) - 3 months

    • Last inn data fra PostgreSQL ved hjelp av Sqoop, Apache Spark 2 og Python 3 - Versjonsdata på en "øyeblikkblikkstabell" med Apache Spark 2.
  • Data Engineer

    Nextel (Stefanini IT Solutions contractor) - 3 months

    • Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.
  • Data Engineer

    Banco Santander (everis & BRQ contractor) - 9 months

    • ETL and data processing in the Hadoop environment using Apache Spark to fill business reports
  • DEN. Analytiker/dataingeniør

    Semantix - 1 year 1 month

    • Dataanalyse ved hjelp av Hive og Impala (Cloudera-distribusjon) - Databehandling i Hadoop-miljøet - Utvikling av automatiseringsskript ved bruk av Python- og Shell-skript Resultat av IoT-engasjementer: - Sanntids batchbehandling ved hjelp av Apache Spark, Kafka og Elasticsearch.
  • Data Engineer

    Semantix - 1 year 1 month

    • Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.
  • Java Developer

    Stefanini IT Solutions - 6 months

    • Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.

    Teknologier:

    • Teknologier:
    • Maven Maven
    • Hibernate Hibernate
    • Oracle Oracle
    • Tomcat Tomcat
  • IT Analyst

    CVC Viagens - 8 months

    • Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix
  • Java Developer

    MAPS Soluções e Serviços - 2 years 10 months

    • Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.

    Teknologier:

    • Teknologier:
    • Hibernate Hibernate

Utdannelse

  • Standalone courseAnalysis & Systems Development

    Faculdade de Tecnologia de São Paulo · 2022 - 2022

  • BSc.Data- og informasjonsvitenskap (frafall)

    Universidade Federal do ABC · 2015 - 2019

Finn din neste utvikler innen dager, ikke måneder

I løpet av en kort 25-minutters samtale ønsker vi å:

  • Forstå dine utviklingsbehov
  • Forklare prosessen vår der vi matcher deg med kvalifiserte, evaluerte utviklere fra vårt nettverk
  • Dele de neste stegene for å finne riktig match, ofte på mindre enn en uke

La oss ta en prat