Patryk K.

• Ontwikkelde schaalbare batch- en streaming-datapipelines op Azure Databricks met behulp van PySpark en Spark SQL
• Ontwierp en onderhield Medallion-architectuur (Bronze, Silver, Gold) en Delta Live Tables (DLT)-pipelines
• Bouwde real-time ingestiepipelines die Debezium CDC integreerden met Kafka
• Beheerde datagovernance en beveiligde toegang met Unity Catalog en Azure Key Vault
• Orkestreerde workflows met Databricks Workflows en beheerde deployments met behulp van Databricks Asset Bundles en Git
• Integreerde REST API's en Azure Data Lake Storage (ADLS), en verwerkte CSV-, JSON- en Parquet-datasets
• Gebruikte Databricks SQL Warehouses voor datavalidatie, troubleshooting en analytische query's

• Droeg bij aan de ontwikkeling van een open-source dataplatform gebouwd op Apache-technologieën
• Orkestreerde datapipelines met Apache Airflow, draaiend op Kubernetes
• Ontwikkelde dbt-modellen op Trino met behulp van Apache Iceberg-tabellen
• Beheerde datapipelines over S3, Hive, Iceberg en Apache Druid
• Verwerkte streaming-events van Redpanda (Kafka-compatibel) met Python
• Werkte in een gecontaineriseerde omgeving met Docker en Kubernetes

• Migreerde verouderde SSIS-workloads naar Azure Data Factory, waarbij schaalbare cloud-ETL-pipelines werden ontworpen en onderhouden
• Ontwikkelde metadata-gestuurde T-SQL-oplossingen en optimaliseerde SQL-transformaties en data-laadprocessen
• Bouwde Azure Synapse-pipelines en opgeslagen procedures om regelgevende JPK-belastingrapporten te genereren op basis van data uit Azure Data Lake
• Ontwikkelde batch-datapipelines in Azure Databricks met behulp van PySpark, Spark SQL en Delta Live Tables (DLT)
• Ontwierp Medallion-architectuur (Bronze, Silver, Gold) en verwerkte CSV-, JSON- en Parquet-data opgeslagen in Azure Data Lake Storage
• Gebruikte Databricks SQL Warehouses om datakwaliteit te valideren en productiepipelines te troubleshooten

Oracle Data Warehouse

• Development and maintenance of a large-scale Oracle data warehouse.

• Developed and maintained ETL processes using Oracle Data Integrator (ODI) for new and existing mappings.

• Wrote and optimized PL/SQL stored procedures for data transformation.

• Designed and maintained Oracle Database objects.

• Performed data source analysis and supported daily ETL operations.

• Built OLAP cubes for analytical reporting.