Arthur J.

Data Engineer

Data Engineer mit über 6 Jahren Erfahrung bei Python, Apache Spark, Data Engineering, Apache Hive und ETL.

Arthur ist ein leidenschaftlicher und ergebnisorientierter Data Engineer mit zehn Jahren Erfahrung bei der Entwicklung von soliden und zuverlässigen Data Pipelines und BI-Dashboards sowie bei der Lösung von Problemen durch Daten für internationale Unternehmen. Er hat sich hauptsächlich mit Big Data und maschinellem Lernen beschäftigt.

Er hat eine strategische Denkweise, die sich auf Kontextverständnis, das Überprüfen von Hypothesen und Schlussfolgerungen auf der Basis von Fakten sowie die Errichtung einer datengestützten Kultur mit den Teammitgliedern konzentriert. Arthur ist analytisch und gut organisiert mit einem starken theoretischen und mathematischen Background und erlernt rasch neue Technologien.

Während des gesamten Auftragsablaufs und Entwicklungs-/Supportlifecycles kann er eine zentrale Rolle spielen, um hochwertige Lösungen zu gewährleisten.

Hauptkompetenz

  • Python
    Python 8 Jahre
  • Data Engineering 6 Jahre
  • Apache Spark
    Apache Spark 6 Jahre

Andere Fähigkeiten

  • Git
    Git 6 Jahre
  • Scrum
    Scrum 5 Jahre
  • Java
    Java 5 Jahre
Arthur

Arthur J.

Brazil

Erste Schritte

Ausgewählte Erfahrung

Beschäftigung

  • Python developer/Data Engineer

    US-based clinical research company - 1 jahr

    Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.

  • Dateningenieur

    Thoughtworks - 1 jahr 9 monate

    • Datenmigration mit Azure Data Factory. Datenverarbeitung mit Apache Spark auf Databricks. Verarbeitung von Automation mit Python.

    Technologien:

    • Technologien:
    • Azure Data Factory Azure Data Factory

  • ES. Analytiker/Dateningenieur

    Grupo Pão de Açúcar - 1 jahr 5 monate

    • Data ETL von Teradata DW mit Sqoop auf Hive, Impala und Apache Kudu. Datenverarbeitung mit Apache Spark 2 in einer Hadoop-Umgebung. Wartung von alten Systemen mit Python, Shell Script (Bash) und Java.

  • Data Engineer

    Grupo Pão de Açúcar - 1 jahr 5 monate

    • Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.

  • ES. Analytiker/Dateningenieur

    Nextel (Stefanini IT Solutions contractor) - 3 monate

    • Laden von Daten von PostgreSQL mit Sqoop, Apache Spark 2 und Python 3. Versionierung von Daten auf einer „Snapshot“-Tabelle mit Apache Spark 2.

  • Data Engineer

    Nextel (Stefanini IT Solutions contractor) - 3 monate

    • Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.

  • Data Engineer

    Banco Santander (everis & BRQ contractor) - 9 monate

    • ETL and data processing in the Hadoop environment using Apache Spark to fill business reports

  • ES. Analytiker/Dateningenieur

    Semantix - 1 jahr 1 monat

    • Datenanalyse mit Hive und Impala (Cloudera-Distribution). Datenverarbeitung in der Hadoop-Umgebung. Automatisierung der Script-Entwicklung mit Python und Shell-Skript. Ergebnisse von IoT-Aufträgen. Echtzeit-Batch-Verarbeitung mit Apache Spark, Kafka und Elasticsearch.

  • Data Engineer

    Semantix - 1 jahr 1 monat

    • Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.

  • Java Developer

    Stefanini IT Solutions - 6 monate

    • Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.

    Technologien:

    • Technologien:
    • Maven Maven
    • Hibernate Hibernate
    • Oracle Oracle
    • Tomcat Tomcat

  • IT Analyst

    CVC Viagens - 8 monate

    • Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix

  • Java Developer

    MAPS Soluções e Serviços - 2 jahre 10 monate

    • Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.

    Technologien:

    • Technologien:
    • Hibernate Hibernate

Ausbildung

  • FortbildungAnalysis & Systems Development

    Faculdade de Tecnologia de São Paulo · 2022 - 2022

  • BSc.Informatik und Informationswissenschaften (Dropout)

    Universidade Federal do ABC · 2015 - 2019

Finden Sie Ihren nächsten Entwickler innerhalb von Tagen, nicht Monaten

In einem kurzen 25-minütigen Gespräch würden wir gerne:

  • Auf Ihren Bedarf bezüglich des Recruitments von Software-Entwicklern eingehen
  • Unseren Prozess vorstellen und somit wie wir Sie mit talentierten und geprüften Kandidaten aus unserem Netzwerk zusammenbringen können
  • Die nächsten Schritte besprechen, um den richtigen Kandidaten zu finden - oft in weniger als einer Woche

Unterhalten wir uns

Jetzt Entwickler:innen finden, die innerhalb von wenigen Tagen starten können. Ohne Risiko.