Patryk K.

• Entwicklung skalierbarer Batch- und Streaming-Datenpipelines auf Azure Databricks mit PySpark und Spark SQL
• Entwurf und Pflege der Medallion-Architektur (Bronze, Silver, Gold) sowie von Delta-Live-Tables-(DLT)-Pipelines
• Aufbau von Echtzeit-Ingestion-Pipelines mit Integration von Debezium CDC und Kafka
• Verwaltung von Data Governance und sicherem Zugriff mit Unity Catalog und Azure Key Vault
• Orchestrierung von Workflows mit Databricks Workflows sowie Verwaltung von Deployments mittels Databricks Asset Bundles und Git
• Integration von REST-APIs und Azure Data Lake Storage (ADLS) sowie Verarbeitung von CSV-, JSON- und Parquet-Datensätzen
• Einsatz von Databricks SQL Warehouses zur Datenvalidierung, Fehlerbehebung und für analytische Abfragen

• Mitwirkung an der Entwicklung einer Open-Source-Datenplattform auf Basis von Apache-Technologien
• Orchestrierung von Datenpipelines mit Apache Airflow auf Kubernetes
• Entwicklung von dbt-Modellen auf Trino unter Verwendung von Apache-Iceberg-Tabellen
• Verwaltung von Datenpipelines über S3, Hive, Iceberg und Apache Druid
• Verarbeitung von Streaming-Events von Redpanda (Kafka-kompatibel) mit Python
• Arbeit in einer containerisierten Umgebung mit Docker und Kubernetes

• Migration veralteter SSIS-Workloads zu Azure Data Factory, Entwurf und Wartung skalierbarer Cloud-ETL-Pipelines
• Entwicklung metadatengesteuerter T-SQL-Lösungen sowie Optimierung von SQL-Transformationen und Datenladeprozessen
• Aufbau von Azure-Synapse-Pipelines und gespeicherten Prozeduren zur Erstellung regulatorischer JPK-Steuerberichte aus Daten im Azure Data Lake
• Entwicklung von Batch-Datenpipelines in Azure Databricks mit PySpark, Spark SQL und Delta Live Tables (DLT)
• Entwurf der Medallion-Architektur (Bronze, Silver, Gold) sowie Verarbeitung von CSV-, JSON- und Parquet-Daten im Azure Data Lake Storage
• Einsatz von Databricks SQL Warehouses zur Validierung der Datenqualität und Fehlerbehebung in Produktionspipelines

Oracle Data Warehouse

• Development and maintenance of a large-scale Oracle data warehouse.

• Developed and maintained ETL processes using Oracle Data Integrator (ODI) for new and existing mappings.

• Wrote and optimized PL/SQL stored procedures for data transformation.

• Designed and maintained Oracle Database objects.

• Performed data source analysis and supported daily ETL operations.

• Built OLAP cubes for analytical reporting.