Patryk K.

• Utviklet skalerbare batch- og strømmedatapipelines på Azure Databricks ved bruk av PySpark og Spark SQL
• Designet og vedlikeholdt Medallion-arkitektur (Bronze, Silver, Gold) og Delta Live Tables (DLT)-pipelines
• Bygde sanntids-ingestionpipelines som integrerte Debezium CDC med Kafka
• Håndterte datastyring og sikker tilgang med Unity Catalog og Azure Key Vault
• Orkestrerte arbeidsflyter med Databricks Workflows og administrerte utrullinger ved bruk av Databricks Asset Bundles og Git
• Integrerte REST-API-er og Azure Data Lake Storage (ADLS), og behandlet CSV-, JSON- og Parquet-datasett
• Brukte Databricks SQL Warehouses til datavalidering, feilsøking og analytiske spørringer

• Bidro til utviklingen av en åpen kildekode-dataplattform bygget på Apache-teknologier
• Orkestrerte datapipelines med Apache Airflow som kjørte på Kubernetes
• Utviklet dbt-modeller på Trino ved bruk av Apache Iceberg-tabeller
• Administrerte datapipelines på tvers av S3, Hive, Iceberg og Apache Druid
• Behandlet strømmende hendelser fra Redpanda (Kafka-kompatibel) med Python
• Jobbet i et containerisert miljø med Docker og Kubernetes

• Migrerte eldre SSIS-arbeidsbelastninger til Azure Data Factory, og designet og vedlikeholdt skalerbare sky-ETL-pipelines
• Utviklet metadatadrevne T-SQL-løsninger og optimaliserte SQL-transformasjoner og datalastingsprosesser
• Bygde Azure Synapse-pipelines og lagrede prosedyrer for å generere regulatoriske JPK-skatterapporter fra data i Azure Data Lake
• Utviklet batch-datapipelines i Azure Databricks ved bruk av PySpark, Spark SQL og Delta Live Tables (DLT)
• Designet Medallion-arkitektur (Bronze, Silver, Gold) og behandlet CSV-, JSON- og Parquet-data lagret i Azure Data Lake Storage
• Brukte Databricks SQL Warehouses til å validere datakvalitet og feilsøke produksjonspipelines

Oracle Data Warehouse

• Development and maintenance of a large-scale Oracle data warehouse.

• Developed and maintained ETL processes using Oracle Data Integrator (ODI) for new and existing mappings.

• Wrote and optimized PL/SQL stored procedures for data transformation.

• Designed and maintained Oracle Database objects.

• Performed data source analysis and supported daily ETL operations.

• Built OLAP cubes for analytical reporting.