Ali E.

• a utilisé Airflow, SQL, Python, Bigquery, Cloud Storage, CloudRun
• Travailler sur un ensemble de données de tiers en utilisant GCP
• Créer et maintenir des DAG dans Airflow 2.3.0 et créer des opérateurs personnalisés
• Collecter des données à partir d'API tierces telles que Weather, Covid-19, OCDE, etc.
• Créer des tableaux de bord à l'aide de Streamlit
• Créer un pipeline en libre-service à l'aide de Gitlab CI/CD pour planifier les NOTEBOOKS Jupyter sur GCP

• Soutenir les projets relatifs à la chaîne d'approvisionnement
• Importer des données brutes depuis d'anciens systèmes et fichiers vers BigQuery
• Créer des pipelines de données avec Composer (Airflow)
• Écrire des API pour servir des données avec flask et les déployer sur GCP
• Exporter ou extraire des données vers Bucket ou Cloud SQL
• Entraîner des modèles d'IA à l'aide de Vertex AI (entraînement personnalisé)

● Hepsiburada is one of the biggest e-commerce companies in Turkey

● Create Reports to Hepsiburada’s CFO and Finance Team

● Import Raw Data from RDBMS to Hadoop with Sqoop Scripts

● Create ETL scripts with Hive Query Language

● Read Raw Data from External API(OMS) and Write to Hive Table with Python3

● Export Final Tables to MySql with Sqoop

● Schedule all jobs with Oozie, Hue

● Borusan Predictive Maintenance Project

● Restore Sensor Data from .bak files to Azure SQL Server

● Clean, Transform, and Combine data for Data Scientists with T-SQL

● Store Final Data in Blob Storage(Gen2)

● Mount Gen2 to Databricks File System

● Get quick insights Using Pyspark (Databricks Notebooks)

• Configurer les écosystèmes Hadoop HDP 3.1.0
• Installer un cluster HDF(3.3) sur un HDP existant
• Gestion des clusters (activation de HA, Kerberos)
• Transfert de données vers Hadoop
• Développer et mettre au point des tables Hive
• Chiffrement et masquage des données (politiques de Ranger)
• Vérifier les scripts de base de données de plus de 40 équipes de développement agile
• Définir et maintenir les normes de dénomination des objets de la base de données

• Transfert de données RDBMS vers HDFS
• Développer de nouvelles tâches ETL
• Développer et mettre au point des tables Hive
• Sécurité des données et des clusters avec Ranger

● Setup Hadoop Ecosystems HDP 2.6.3 ● Maintain additional Services like Solr, Banana ● Cluster Management

● Design, Develop, and Maintenance DWH Architecture

● Create and improve ETL Processes with ODI 11g, ODI 12c

● Develop Business Intelligence Reports with Cognos, Qlikview

● Ad-hoc Reports