Patryk K.

• Développement de pipelines de données batch et streaming évolutifs sur Azure Databricks à l'aide de PySpark et Spark SQL
• Conception et maintenance de l'architecture Medallion (Bronze, Silver, Gold) et des pipelines Delta Live Tables (DLT)
• Construction de pipelines d'ingestion en temps réel intégrant Debezium CDC avec Kafka
• Gestion de la gouvernance des données et de l'accès sécurisé avec Unity Catalog et Azure Key Vault
• Orchestration des workflows avec Databricks Workflows et gestion des déploiements à l'aide de Databricks Asset Bundles et Git
• Intégration d'API REST et d'Azure Data Lake Storage (ADLS), avec traitement de jeux de données CSV, JSON et Parquet
• Utilisation des Databricks SQL Warehouses pour la validation des données, le dépannage et les requêtes analytiques

• Contribution au développement d'une plateforme de données open source construite sur des technologies Apache
• Orchestration de pipelines de données avec Apache Airflow s'exécutant sur Kubernetes
• Développement de modèles dbt sur Trino à l'aide de tables Apache Iceberg
• Gestion de pipelines de données sur S3, Hive, Iceberg et Apache Druid
• Traitement d'événements en streaming provenant de Redpanda (compatible Kafka) avec Python
• Travail dans un environnement conteneurisé utilisant Docker et Kubernetes

• Migration de charges de travail SSIS existantes vers Azure Data Factory, avec conception et maintenance de pipelines ETL cloud évolutifs
• Développement de solutions T-SQL pilotées par métadonnées et optimisation des transformations SQL et des processus de chargement de données
• Construction de pipelines Azure Synapse et de procédures stockées pour générer des rapports fiscaux réglementaires JPK à partir des données d'Azure Data Lake
• Développement de pipelines de données par lots dans Azure Databricks à l'aide de PySpark, Spark SQL et Delta Live Tables (DLT)
• Conception de l'architecture Medallion (Bronze, Silver, Gold) et traitement des données CSV, JSON et Parquet stockées dans Azure Data Lake Storage
• Utilisation des Databricks SQL Warehouses pour valider la qualité des données et résoudre les problèmes des pipelines de production

Oracle Data Warehouse

• Development and maintenance of a large-scale Oracle data warehouse.

• Developed and maintained ETL processes using Oracle Data Integrator (ODI) for new and existing mappings.

• Wrote and optimized PL/SQL stored procedures for data transformation.

• Designed and maintained Oracle Database objects.

• Performed data source analysis and supported daily ETL operations.

• Built OLAP cubes for analytical reporting.