Ali E.

• Använder Airflow, SQL, Python, Bigquery, Cloud Storage, CloudRun.
• Arbete med datauppsättningar från tredje part med hjälp av GCP.
• Skapar och underhåller DAG:er i Airflow 2.3.0 och skapar anpassade operatorer.
• Samla in data från tredjeparts-API:er såsom Weather, Covid-19, OECD och många andra.
• Skapar instrumentpaneler med hjälp av Streamlit.
• Skapar en pipeline för självbetjäning med hjälp av Gitlab CI/CD för att schemalägga Jupyter NOTEBOOKS på GCP.

• Ger support för leveranskedjeprojekt
• Importerar RAW-data från gamla system och filer till BigQuery
• Skapar datapipelines med Composer(Airflow)
• Skriver API:er för att tillhandahålla data med Flask och distribuera till GCP.
• Exporterar eller dumpar data till Bucket eller Cloud SQL.
• Tränar AI-modeller med hjälp av Vertex AI (anpassad träning).

● Hepsiburada is one of the biggest e-commerce companies in Turkey

● Create Reports to Hepsiburada’s CFO and Finance Team

● Import Raw Data from RDBMS to Hadoop with Sqoop Scripts

● Create ETL scripts with Hive Query Language

● Read Raw Data from External API(OMS) and Write to Hive Table with Python3

● Export Final Tables to MySql with Sqoop

● Schedule all jobs with Oozie, Hue

● Borusan Predictive Maintenance Project

● Restore Sensor Data from .bak files to Azure SQL Server

● Clean, Transform, and Combine data for Data Scientists with T-SQL

● Store Final Data in Blob Storage(Gen2)

● Mount Gen2 to Databricks File System

● Get quick insights Using Pyspark (Databricks Notebooks)

• Konfiguration av Hadoop Ecosystems HDP 3.1.0.
• Installation av HDF(3.3)-kluster på existerande HDP.
• Klusterhantering (Enable HA, Kerberos).
• Datatransfer till Hadoop.
• Utvecklar och finjusterar Hive-tabeller.
• Datakryptering och maskning (Ranger Policies).
• Kontroll av dataskript för fler än 40 agila utvecklingsteam.
• Definition och underhåll av namngivningsstandarder för databasobjekt.

• Dataöverföring från RDBMS till HDFS.
• Utvecklar nya ETL-jobb.
• Utvecklar och finjusterar Hive-tabeller.
• Data- och klustersäkerhet med Ranger.

● Setup Hadoop Ecosystems HDP 2.6.3 ● Maintain additional Services like Solr, Banana ● Cluster Management

● Design, Develop, and Maintenance DWH Architecture

● Create and improve ETL Processes with ODI 11g, ODI 12c

● Develop Business Intelligence Reports with Cognos, Qlikview

● Ad-hoc Reports