Ali E.

• Brukte Airflow, SQL, Python, Bigquery, Cloud Storage og CloudRun
• Arbeide med tredjeparts datasett ved hjelp av GCP
• Opprette og vedlikeholde DAG-er i Airflow 2.3.0 og opprett egendefinerte operatører
• Samle inn data fra tredjeparts APIer som Weather, Covid-19, OECD, etc.
• Lage instrumentbord ved hjelp av Streamlit
• Opprette en selvbetjent pipeline ved å bruke Gitlab CI/CD for å planlegge Jupyter NOTEBOOKS på GCP

• Støtte forsyningskjedeprosjekter
• Importer rådata fra gamle systemer og filer til BigQuery
• Opprette datapipeliner med Composer(Airflow)
• Skriv APIer for å betjene data med Flask og distribuere til GCP
• Eksporter eller dump data til Bucket eller Cloud SQL
• Trene AI-modeller ved å bruke Vertex AI (tilpasset opplæring)

● Hepsiburada is one of the biggest e-commerce companies in Turkey

● Create Reports to Hepsiburada’s CFO and Finance Team

● Import Raw Data from RDBMS to Hadoop with Sqoop Scripts

● Create ETL scripts with Hive Query Language

● Read Raw Data from External API(OMS) and Write to Hive Table with Python3

● Export Final Tables to MySql with Sqoop

● Schedule all jobs with Oozie, Hue

● Borusan Predictive Maintenance Project

● Restore Sensor Data from .bak files to Azure SQL Server

● Clean, Transform, and Combine data for Data Scientists with T-SQL

● Store Final Data in Blob Storage(Gen2)

● Mount Gen2 to Databricks File System

● Get quick insights Using Pyspark (Databricks Notebooks)

• Konfigurer Hadoop Ecosystems HDP 3.1.0
• Installer HDF(3.3)-klyngen på eksisterende HDP
• Klyngeadministrasjon (Aktiver HA, Kerberos)
• Dataoverføring til Hadoop
• Utvikle og justere tabeller
• Datakryptering og maskering (Ranger-policyer)
• Sjekk databaseskriptene til over 40 smidige utviklingsteam
• Definere og vedlikeholde navnestandarder for databaseobjekter

• Overføre data fra RDBMS til HDFS
• Utvikle nye ETL-jobber
• Utvikle og justere Hive-tabeller
• Data- og klyngesikkerhet med Ranger

● Setup Hadoop Ecosystems HDP 2.6.3 ● Maintain additional Services like Solr, Banana ● Cluster Management

● Design, Develop, and Maintenance DWH Architecture

● Create and improve ETL Processes with ODI 11g, ODI 12c

● Develop Business Intelligence Reports with Cognos, Qlikview

● Ad-hoc Reports