Arthur J.
Data Engineer
Arthur on intohimoinen ja tuloskeskeinen datainsinööri, jolla on kymmenen vuoden kokemus vankkojen ja luotettavien tietoputkien ja BI-liittymien kehittämisestä sekä ongelmien ratkaisemisesta datan avulla kansainvälisille yrityksille. Hän on työskennellyt pääasiassa big datan ja koneoppimisen parissa.
Hänellä on strateginen ajattelutapa, joka keskittyy kontekstin ymmärtämiseen, hypoteesien testaamiseen, tosiasioihin perustuvien johtopäätösten tekemiseen ja datapohjaisen kulttuurin luomiseen tiimin sisällä. Analyyttinen ja hyvin organisoitunut, vahva teoreettisen suunnittelun ja matemaattinen tausta, Arthur oppii nopeasti uusia teknologioita.
Hän voi olla tärkeässä roolissa toimeksiannon kaikissa kehitys-/tukitoiminnoissa koko elinkaaren ajan laadukkaiden ratkaisujen varmistamiseksi.
Tärkein asiantuntemus
Python8 vuotta
Apache Spark6 vuotta
ETL4 vuottaKokemus12
Python developer/Data Engineer
Arthur's team was developing a POC to gather medical data from multiple partners and transform it into a research standard to make it available to their clients. In this project, Arthur built some tools to transform and ingest data using Python and Rust. They used an SQL Server as the database and started to develop scripts to run in Azure.
Tietojen insinööri
- Tietojen siirto Azure Data Factoryllä. Tietojen käsittely Apache Sparkilla Databricksissä. Käsittelyautomaatio Pythonilla.
Azure Data FactorySE. Analyytikko/tietosuunnittelija
- Tietojen purkaminen, muunnos ja lataus Teradata DW:stä käyttämällä Sqoopia Hivessa, Impalassa ja Apache Kudussa. Tietojen käsittely Apache Spark 2:lla Hadoop-ympäristössä. Vanhojen järjestelmien ylläpito Pythonilla, Shell Scriptillä (Bash) ja Javalla.
Data Engineer
- Data ETL from Teradata DW using Sqoop on Hive, Impala, and Apache Kudu. Data processing with Apache Spark 2 in a Hadoop environment. Maintenance of legacy systems using Python, Shell Script (Bash), and Java.
SE. Analyytikko/tietosuunnittelija
- Tietojen lataus PostgreSQL:stä Sqoopilla, Apache Spark 2:lla ja Python 3:lla. Eri tietoversioiden luominen “snapshot”-taulukossa Apache Spark 2:lla.
Data Engineer
- Load data from PostgreSQL using Sqoop, Apache Spark 2, and Python 3. Versioning data on a “snapshot” table with Apache Spark 2.
Data Engineer
- ETL and data processing in the Hadoop environment using Apache Spark to fill business reports
SE. Analyytikko/tietosuunnittelija
- Tietojen analysointi Hivellä ja Impalalla (Cloudera-jakelu). Tietojen käsittely Hadoop-ympäristössä. Automaatioskriptien kehitys Python- ja Shell-skriptien avulla. IoT-välitysten tulos. Reaaliaikainen eräkäsittely käyttämällä Apache Sparkia, Kafkaa ja Elasticsearchia.
Data Engineer
- Data analysis using Hive and Impala (Cloudera distribution). Data processing in the Hadoop environment. automation scripts development using Python and Shell script. Result of IoT engagements. Real-time batch processing using Apache Spark, Kafka, and Elasticsearch.
Java Developer
- Maintenance and development using Hibernate, Git, Maven, Tomcat 7, Oracle 10g, and JSP.
Maven
Hibernate
Oracle
TomcatIT Analyst
- Project migration from SVN to Git. Processes Standardization to engagement versioning with automatization using Python and Jenkins. Creation and maintenance of automated tests with Selenium, Python, and Testlink. Automatic monitoring with Python, Selenium, and Zabbix
Java Developer
- Development of mission-critical Java web systems to financial institutions, e.g. Caixa Econômica Federal, with JBoss, Wicket, Hibernate, JUnit, Selenium, continuous integration with Jenkins and Scrum as agile philosophy.
HibernateSertifikaatit 3
Koulutus
Lopeta selaaminen.
Sovitetaan nopeammin.
Keskustele asiantuntijan kanssa ja saat räätälöityjä ehdotuksia verkostostamme vain 2 päivässä.
Pääsy yli 6 000+ asiantuntijaa
Löydä kehittäjä keskimäärin 2 päivässä
Palkkaa nopeasti ja helposti 94% onnistuneella osumalla