Ali E.

• Gebruikte Airflow, SQL, Python, Bigquery, Cloud Storage en CloudRun.
• Werkte aan een dataset van derden met behulp van GCP.
• Creatie en onderhoud van DAG's in Airflow 2.3.0 en maken van aangepaste operatoren.
• Verzamelen van gegevens van API's van derden, zoals het weer, Covid-19, OESO, enz.
• Creatie van dashboards met Streamlit.
• Creatie van een selfservice pipeline met Gitlab CI/CD voor het plannen van Jupyter NOTEBOOKS op GCP.

• Ondersteuning van projecten in de leveringsketen.
• Importeren van ruwe gegevens uit oudere systemen en bestanden in BigQuery.
• Creatie van data-pipelines met Composer (Airflow).
• Schrijven van API's om gegevens te leveren met flask en implementatie in GCP.
• Gegevens exporteren of extraheren naar Bucket of Cloud SQL.
• AI-modellen trainen met Vertex AI (aangepaste training).

● Hepsiburada is one of the biggest e-commerce companies in Turkey

● Create Reports to Hepsiburada’s CFO and Finance Team

● Import Raw Data from RDBMS to Hadoop with Sqoop Scripts

● Create ETL scripts with Hive Query Language

● Read Raw Data from External API(OMS) and Write to Hive Table with Python3

● Export Final Tables to MySql with Sqoop

● Schedule all jobs with Oozie, Hue

● Borusan Predictive Maintenance Project

● Restore Sensor Data from .bak files to Azure SQL Server

● Clean, Transform, and Combine data for Data Scientists with T-SQL

● Store Final Data in Blob Storage(Gen2)

● Mount Gen2 to Databricks File System

● Get quick insights Using Pyspark (Databricks Notebooks)

• Configuratie van ecosystemen in HDP 3.1.0.
• Installatie van een HDF (3.3) cluster op een bestaande HDP.
• Clusterbeheer (HA-activering, Kerberos).
• Overdracht van gegevens naar Hadoop.
• Ontwikkelen en verfijnen van Hive-tabellen.
• Encryptie en maskeren van gegevens (Ranger-beleid).
• Databankscripts verifiëren voor meer dan 40 Agile ontwikkelteams.
• Definiëren en onderhouden van naamgevingsconventies voor databankobjecten.

• Overdracht van RDBMS-gegevens naar HDFS.
• Nieuwe ETL-taken ontwikkelen.
• Ontwikkelen en verfijnen van Hive-tabellen.
• Beveiliging van gegevens en clusters met Ranger.

● Setup Hadoop Ecosystems HDP 2.6.3 ● Maintain additional Services like Solr, Banana ● Cluster Management

● Design, Develop, and Maintenance DWH Architecture

● Create and improve ETL Processes with ODI 11g, ODI 12c

● Develop Business Intelligence Reports with Cognos, Qlikview

● Ad-hoc Reports