Arthur J.
Data Engineer
Arthur is een gepassioneerde en resultaatgerichte Data engineer met tien jaar ervaring in de ontwikkeling van robuuste en betrouwbare data pipelines en BI dashboards en in het oplossen van problemen via data voor internationale bedrijven. Hij heeft voornamelijk gewerkt met Big data en Machine learning.
Hij heeft een strategische mindset, toegespitst op het begrijpen van de context, testen van hypotheses, conclusies trekken op basis van de feiten en een datagestuurde cultuur vast te leggen met de teamleden. Arthur is analytisch en goed georganiseerd, met een stevige theoretisch technische en wiskundige achtergrond waardoor hij nieuwe technologieën snel onder de knie krijgt.
Hij kan een essentiële rol vervullen tijdens de volledige ontwikkeling van de opdracht/ondersteuning van de levenscyclus om hoogwaardige oplossingen te garanderen.
Hoofd expertise
Python8 jaar
Apache Spark6 jaar
ETL4 jaarErvaring12
Python developer/Data Engineer
Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.
Gegevens ingenieur
- Datamigratie met behulp van Azure Data Factory. Dataverwerking met behulp van Apache Spark bij Databricks. Automatisering verwerken met behulp van Python.
Azure Data FactoryHET. Analist/data-engineer
- Data ETL van Teradata DW met behulp van Sqoop op Hive, Impala en Apache Kudu. Dataverwerking met Apache Spark 2 in een Hadoop omgeving. Onderhoud van verouderde systemen met behulp van Python, Shell Script (Bash) en Java.
Data Engineer
- Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.
HET. Analist/data-engineer
- Gegevens laden van PostgreSQL met behulp van Sqoop, Apache Spark 2 en Python 3. Versioning data op een “momentopname” tabel met Apache Spark 2.
Data Engineer
- Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.
Data Engineer
- ETL and data processing in the Hadoop environment using Apache Spark to fill business reports
HET. Analist/data-engineer
- Data-analyse met behulp van Hive en Impala (Cloudera distribution). Dataverwerking in de Hadoop omgeving. Ontwikkeling van automatisering scripts met behulp van Python en Shell script. Resultaat van IoT-opdrachten. Realtime batch verwerking met behulp van Apache Spark, Kafka en Elasticsearch.
Data Engineer
- Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.
Java Developer
- Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.
Maven
Hibernate
Oracle
TomcatIT Analyst
- Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix
Java Developer
- Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.
HibernateCertificaten 3
Educatie
Stop met browsen.
Word sneller gekoppeld.
Praat met een expert en krijg binnen 2 dagen op maat gemaakte matches uit ons netwerk.
Toegang tot meer dan 6.000+ experts
Word binnen gemiddeld 2 dagen gekoppeld aan een ontwikkelaar
Huur snel en eenvoudig in met 94% matchingsucces