Arthur J.
Data Engineer
Arthur är en passionerad och resultatfokuserad dataingenjör med tio års erfarenhet av att utveckla solida och pålitliga datapipelines och BI-dashboards och lösa problem med hjälp av data åt internationella företag. Han har huvudsakligen arbetat med Big Data och maskininlärning.
Han har ett strategiskt synsätt som fokuserar på att förstå sammanhanget, testa hypoteser, dra slutsatser baserat på fakta och upprätta en datadriven kultur tillsammans med sina kolleger. Arthur tar snabbt till sin nya kunskaper tack vare en analytisk och välorganiserad ådra med stark teoretisk teknik- och matematikbakgrund.
Han kan spela en viktig roll under engagemangets utvecklings-/supportlivscykel för att säkerställa lösningar av hög kvalitet.
Huvudsaklig expertis
Python8 år
Apache Spark6 år
ETL4 årErfarenhet12
Python developer/Data Engineer
Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.
Dataingenjör
- Datamigrering med Azure Data Factory. Databehandling med Apache Spark at Databricks. Processautomation med Python.
Azure Data FactoryDEN. Analytiker/dataingenjör
- Data-ETL från Teradata DW med Sqoop on Hive, Impala och Apache Kudu. Databehandling med Apache Spark 2 i en Hadoop-miljö. Underhåll av äldre system med Python, Shell Script (Bash) och Java.
Data Engineer
- Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.
DEN. Analytiker/dataingenjör
- Datainläsning från PostgreSQL med Sqoop, Apache Spark 2 och Python 3. Dataversionering på en ”snapshot”-tabell med Apache Spark 2.
Data Engineer
- Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.
Data Engineer
- ETL and data processing in the Hadoop environment using Apache Spark to fill business reports
DEN. Analytiker/dataingenjör
- Dataanalys med Hive och Impala (Cloudera-distribution). Databehandling i Hadoop-miljön. Automatiseringsskriptutveckling med Python och Shell-skript. Resultat av IoT-engagemang. Batchbearbetning i realtid med Apache Spark, Kafka och Elasticsearch.
Data Engineer
- Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.
Java Developer
- Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.
Maven
Hibernate
Oracle
TomcatIT Analyst
- Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix
Java Developer
- Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.
HibernateCertifikat 3
Utbildning
Sluta bläddra.
Få matchad snabbare.
Prata med en expert och få skräddarsydda matchningar från vårt nätverk på bara 2 dagar.
Tillgång till över 6 000+ experter
Hitta en utvecklare i genomsnitt 2 dagar
Anställ snabbt och enkelt med 94% matchningsframgång