Ali E.

• Verwendung von Airflow, SQL, Python, Bigquery, Cloud Storage und CloudRun
• Arbeit an Datensätzen Dritter unter Verwendung von GCP
• Erstellung und Wartung von DAG in Airflow 2.3.0 und Erstellung kundschaftsspezifischer Operatoren
• Datenerhebung aus Drittanbieter-API in den Bereichen Wetter, Covid-19, OECD usw.
• Erstellung vom Dashboards mit Streamlit
• Erstellung einer Selbstbedienungs-Pipeline mit Gitlab CI/CD zur Planung von Jupyter NOTEBOOKS auf GCP

• Unterstützung von Lieferkettenprojekten
• Import von Rohdaten aus Altsystemen und Dateien in BigQuery
• Erstellung von Daten-Pipelines mit Composer (Airflow)
• Erstellung von API zur Vorlegung von Daten mit Flask und Bereitstellung an GCP
• Export oder Auszug von Daten in Bucket oder Cloud SQL
• Training von KI-Modellen mit Vertex AI (kundschaftsspezifisches Training)

● Hepsiburada is one of the biggest e-commerce companies in Turkey

● Create Reports to Hepsiburada’s CFO and Finance Team

● Import Raw Data from RDBMS to Hadoop with Sqoop Scripts

● Create ETL scripts with Hive Query Language

● Read Raw Data from External API(OMS) and Write to Hive Table with Python3

● Export Final Tables to MySql with Sqoop

● Schedule all jobs with Oozie, Hue

● Borusan Predictive Maintenance Project

● Restore Sensor Data from .bak files to Azure SQL Server

● Clean, Transform, and Combine data for Data Scientists with T-SQL

● Store Final Data in Blob Storage(Gen2)

● Mount Gen2 to Databricks File System

● Get quick insights Using Pyspark (Databricks Notebooks)

• Einrichtung von Hadoop-Ökosystemen (HDP 3.1.0)
• Installation von HDF(3.3)-Clustern auf bestehende HDP
• Cluster-Management (Aktivierung von HA, Kerberos)
• Datenübertragung nach Hadoop
• Entwicklung und Optimierung von Hive-Tabellen
• Datenverschlüsselung und -maskierung (Ranger-Richtlinien)
• Kontrolle von Datenbankskripten von über 40 agilen Entwicklungsteams
• Definierung und Aufrechterhaltung von Namenskonventionen von Datenbankobjekten

• Datenübertragung von RDBMS nach HDFS
• Entwicklung neuer ETL-Aufgaben
• Entwicklung und Optimierung von Hive-Tabellen
• Daten- und Cluster-Sicherheit mit Ranger

● Setup Hadoop Ecosystems HDP 2.6.3 ● Maintain additional Services like Solr, Banana ● Cluster Management

● Design, Develop, and Maintenance DWH Architecture

● Create and improve ETL Processes with ODI 11g, ODI 12c

● Develop Business Intelligence Reports with Cognos, Qlikview

● Ad-hoc Reports