Arthur J.

Data Engineer

Data engineer med över 6 års erfarenhet av Python, Apache Spark, Data Engineering, Apache Hive och ETL.

Arthur är en passionerad och resultatfokuserad dataingenjör med tio års erfarenhet av att utveckla solida och pålitliga datapipelines och BI-dashboards och lösa problem med hjälp av data åt internationella företag. Han har huvudsakligen arbetat med Big Data och maskininlärning.

Han har ett strategiskt synsätt som fokuserar på att förstå sammanhanget, testa hypoteser, dra slutsatser baserat på fakta och upprätta en datadriven kultur tillsammans med sina kolleger. Arthur tar snabbt till sin nya kunskaper tack vare en analytisk och välorganiserad ådra med stark teoretisk teknik- och matematikbakgrund.

Han kan spela en viktig roll under engagemangets utvecklings-/supportlivscykel för att säkerställa lösningar av hög kvalitet.

Huvudsaklig expertis

Python 8 år
Data Engineering 6 år
Apache Spark 6 år

Andra kompetenser

Git 6 år
Scrum 5 år
Java 5 år

Arthur J.

Brazil

Hitta en utvecklare

Utvald erfarenhet

Anställningar

Dataingenjör

Thoughtworks - 1 år 9 månader
- Datamigrering med Azure Data Factory. Databehandling med Apache Spark at Databricks. Processautomation med Python.
Teknologier:
- Teknologier:
- Python
- Apache Spark
- ETL
- Databricks
- Scrum
- Azure Data Factory
DEN. Analytiker/dataingenjör

Grupo Pão de Açúcar - 1 år 5 månader
- Data-ETL från Teradata DW med Sqoop on Hive, Impala och Apache Kudu. Databehandling med Apache Spark 2 i en Hadoop-miljö. Underhåll av äldre system med Python, Shell Script (Bash) och Java.
Teknologier:
- Teknologier:
- Apache Spark
- ETL
- Bash
- Apache Hive
- Java
DEN. Analytiker/dataingenjör

Nextel (Stefanini IT Solutions contractor) - 3 månader
- Datainläsning från PostgreSQL med Sqoop, Apache Spark 2 och Python 3. Dataversionering på en ”snapshot”-tabell med Apache Spark 2.
Teknologier:
- Teknologier:
- Python
- Apache Spark
- ETL
- PostgreSQL
DEN. Analytiker/dataingenjör

Semantix - 1 år 1 månad
- Dataanalys med Hive och Impala (Cloudera-distribution). Databehandling i Hadoop-miljön. Automatiseringsskriptutveckling med Python och Shell-skript. Resultat av IoT-engagemang. Batchbearbetning i realtid med Apache Spark, Kafka och Elasticsearch.
Teknologier:
- Teknologier:
- Python
- Apache Spark
- ETL
- Shell
- Apache Hive
- Apache Kafka
- ElasticSearch