Arthur J.
Data Engineer
Arthur ist ein leidenschaftlicher und ergebnisorientierter Data Engineer mit zehn Jahren Erfahrung bei der Entwicklung von soliden und zuverlässigen Data Pipelines und BI-Dashboards sowie bei der Lösung von Problemen durch Daten für internationale Unternehmen. Er hat sich hauptsächlich mit Big Data und maschinellem Lernen beschäftigt.
Er hat eine strategische Denkweise, die sich auf Kontextverständnis, das Überprüfen von Hypothesen und Schlussfolgerungen auf der Basis von Fakten sowie die Errichtung einer datengestützten Kultur mit den Teammitgliedern konzentriert. Arthur ist analytisch und gut organisiert mit einem starken theoretischen und mathematischen Background und erlernt rasch neue Technologien.
Während des gesamten Auftragsablaufs und Entwicklungs-/Supportlifecycles kann er eine zentrale Rolle spielen, um hochwertige Lösungen zu gewährleisten.
Hauptkompetenz
Python8 Jahre
Apache Spark6 Jahre
ETL4 JahreErfahrung12
Python developer/Data Engineer
Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.
Dateningenieur
- Datenmigration mit Azure Data Factory. Datenverarbeitung mit Apache Spark auf Databricks. Verarbeitung von Automation mit Python.
Azure Data FactoryES. Analytiker/Dateningenieur
- Data ETL von Teradata DW mit Sqoop auf Hive, Impala und Apache Kudu. Datenverarbeitung mit Apache Spark 2 in einer Hadoop-Umgebung. Wartung von alten Systemen mit Python, Shell Script (Bash) und Java.
Data Engineer
- Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.
ES. Analytiker/Dateningenieur
- Laden von Daten von PostgreSQL mit Sqoop, Apache Spark 2 und Python 3. Versionierung von Daten auf einer „Snapshot“-Tabelle mit Apache Spark 2.
Data Engineer
- Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.
Data Engineer
- ETL and data processing in the Hadoop environment using Apache Spark to fill business reports
ES. Analytiker/Dateningenieur
- Datenanalyse mit Hive und Impala (Cloudera-Distribution). Datenverarbeitung in der Hadoop-Umgebung. Automatisierung der Script-Entwicklung mit Python und Shell-Skript. Ergebnisse von IoT-Aufträgen. Echtzeit-Batch-Verarbeitung mit Apache Spark, Kafka und Elasticsearch.
Data Engineer
- Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.
Java Developer
- Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.
Maven
Hibernate
Oracle
TomcatIT Analyst
- Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix
Java Developer
- Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.
HibernateZertifikate 3
Ausbildung
Hör auf zu stöbern.
Lass dich schneller matchen.
Sprechen Sie mit einem Experten und erhalten Sie innerhalb von nur 2 Tagen maßgeschneiderte Matches aus unserem Netzwerk.
Zugriff auf über 6.000+ Experten
Werden Sie im Durchschnitt in 2 Tagen mit einem Entwickler zusammengebracht
Schnell und einfach einstellen mit 94% Übereinstimmungserfolg