Arthur J.

Data Engineer

Dataingeniør med over 6 års erfaring inden for Python, Apache Spark, Data Engineering, Apache Hive og ETL.

Arthur er en passioneret og resultatfokuseret dataingeniør med ti års erfaring med udvikling af robuste og pålidelige datapipelines og BI-dashboards samt databaseret problemløsning for internationale virksomheder. Han har primært arbejdet med big data og maskinlæring.

Han tænker strategisk og fokuserer på at forstå sammenhænge, teste hypoteser, drage faktabaserede konklusioner og etablere en datadrevet kultur med teammedlemmerne. Arthur er analytisk og velorganiseret og lærer hurtigt nye teknologier med en stærk teoretisk baggrund inden for teknologi og matematik.

Han kan spille en afgørende rolle med at sikre kvalitetsløsninger gennem hele engagementets livscyklus fra udvikling til support.

Hovedekspertise

  • Python
    Python 8 år
  • Data Engineering 6 år
  • Apache Spark
    Apache Spark 6 år

Andre færdigheder

  • Git
    Git 6 år
  • Scrum
    Scrum 5 år
  • Java
    Java 5 år
Arthur

Arthur J.

Brazil

Match med udvikler her

Udvalgt oplevelse

Beskæftigelse

  • Python developer/Data Engineer

    US-based clinical research company - 1 år

    Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.

  • Dataingeniør

    Thoughtworks - 1 år 9 måneder

    • Dataoverførsel med brug af Azure Data Factory. Databehandling med brug af Apache Spark hos Databricks. Procesautomatisering ved hjælp af Python.

    Teknologier:

    • Teknologier:
    • Azure Data Factory Azure Data Factory

  • DET. Analytiker/dataingeniør

    Grupo Pão de Açúcar - 1 år 5 måneder

    • Data-ETL fra Teradata-DW med brug af Sqoop på Hive, Impala og Apache Kudu. Databehandling med Apache Spark 2 i et Hadoop-miljø. Vedligeholdelse af ældre systemer med brug af Python, Shell Script (Bash) og Java.

  • Data Engineer

    Grupo Pão de Açúcar - 1 år 5 måneder

    • Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.

  • DET. Analytiker/dataingeniør

    Nextel (Stefanini IT Solutions contractor) - 3 måneder

    • Indlæsning af data fra PostgreSQL med Sqoop, Apache Spark 2 og Python 3. Versionsstyring af data i en "snapshot"-tabel med Apache Spark 2.

  • Data Engineer

    Nextel (Stefanini IT Solutions contractor) - 3 måneder

    • Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.

  • Data Engineer

    Banco Santander (everis & BRQ contractor) - 9 måneder

    • ETL and data processing in the Hadoop environment using Apache Spark to fill business reports

  • DET. Analytiker/dataingeniør

    Semantix - 1 år 1 måned

    • Dataanalyse med brug af Hive og Impala (Cloudera-distribution). Databehandling i Hadoop-miljøet. Udvikling af automatiseringsscript med brug af Python og Shell script. Resultater fra IoT-engagementer. Batchbehandling i realtid med brug af Apache Spark, Kafka og Elasticsearch.

  • Data Engineer

    Semantix - 1 år 1 måned

    • Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.

  • Java Developer

    Stefanini IT Solutions - 6 måneder

    • Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.

    Teknologier:

    • Teknologier:
    • Maven Maven
    • Hibernate Hibernate
    • Oracle Oracle
    • Tomcat Tomcat

  • IT Analyst

    CVC Viagens - 8 måneder

    • Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix

  • Java Developer

    MAPS Soluções e Serviços - 2 flere år 10 måneder

    • Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.

    Teknologier:

    • Teknologier:
    • Hibernate Hibernate

Uddannelse

  • Standalone courseAnalysis & Systems Development

    Faculdade de Tecnologia de São Paulo · 2022 - 2022

  • BSc.Computer- og informationsvidenskab (frafald)

    Universidade Federal do ABC · 2015 - 2019

Find din næste udvikler inden for få dage, ikke måneder

Book en 25-minutters samtale, hvor vi:

  • udfører behovsafdækning med fokus på udviklingsopgaver
  • Forklar vores proces, hvor vi matcher dig med kvalificerede, godkendte udviklere fra vores netværk
  • beskriver de næste trin for at finde det perfekte match på få dage

Lad os snakke om det

I kan starte samarbejdet inden for få dage.