Ali E.

• Anvendte Airflow, SQL, Python, Bigquery, Cloud Storage og CloudRun
• Arbejdede med tredjepartsdatasæt ved hjælp af GCP
• Oprettelse og vedligeholdelse af DAG'er i Airflow 2.3.0 og Create Custom Operators
• Indsamling af data fra tredjeparts-API'er som Weather, Covid-19, OECD osv.
• Oprettelse af kontrolpaneler ved hjælp af Streamlit
• Oprettelse af en selvbetjeningspipeline ved hjælp af Gitlab CI/CD til at planlægge Jupyter NOTEBOOKS på GCP

• Support til forsyningskædeprojekter
• Import af rå data fra gamle systemer og filer til BigQuery
• Oprettelse af datapipelines med Composer (Airflow)
• Skrivning af API'er til levering af data med Flask og udrulning til GCP
• Eksport eller dump af data til Bucket eller Cloud SQL
• Træning af AI-modeller ved hjælp af Vertex AI (brugerdefineret træning)

● Hepsiburada is one of the biggest e-commerce companies in Turkey

● Create Reports to Hepsiburada’s CFO and Finance Team

● Import Raw Data from RDBMS to Hadoop with Sqoop Scripts

● Create ETL scripts with Hive Query Language

● Read Raw Data from External API(OMS) and Write to Hive Table with Python3

● Export Final Tables to MySql with Sqoop

● Schedule all jobs with Oozie, Hue

● Borusan Predictive Maintenance Project

● Restore Sensor Data from .bak files to Azure SQL Server

● Clean, Transform, and Combine data for Data Scientists with T-SQL

● Store Final Data in Blob Storage(Gen2)

● Mount Gen2 to Databricks File System

● Get quick insights Using Pyspark (Databricks Notebooks)

• Opsætning af Hadoop Ecosystems HDP 3.1.0.
• Installering af HDF(3.3)-klynger på eksisterende HDP
• Klyngestyring (Enable HA, Kerberos)
• Dataoverførsel til Hadoop
• Udvikling og tilpasning af Hive-tabeller
• Kryptering og maskering af data (Ranger-politikker)
• Kontrol af databasescripts fra over 40 agile udviklingsteams
• Definering og vedligeholdelse af navngivningsstandarder for databaseobjekter

• Dataoverførsel – RDBMS til HDFS
• Udvikling af nye ETL-jobs
• Udvikling og justering af Hive-tabeller
• Data- og klyngesikkerhed med Ranger

● Setup Hadoop Ecosystems HDP 2.6.3 ● Maintain additional Services like Solr, Banana ● Cluster Management

● Design, Develop, and Maintenance DWH Architecture

● Create and improve ETL Processes with ODI 11g, ODI 12c

● Develop Business Intelligence Reports with Cognos, Qlikview

● Ad-hoc Reports