Patryk K.

• Kehitin skaalautuvia eräajo- ja striimausdatapiput Azure Databricksissa käyttäen PySparkia ja Spark SQL:ää
• Suunnittelin ja ylläpidin Medallion-arkkitehtuuria (Bronze, Silver, Gold) sekä Delta Live Tables (DLT) -putkia
• Rakensin reaaliaikaisia tiedonkeruuputkia, jotka integroivat Debezium CDC:n Kafkan kanssa
• Hallinnoin datahallintaa ja suojattua pääsyä Unity Catalogin ja Azure Key Vaultin avulla
• Orkestroin työnkulkuja Databricks Workflowsilla ja hallinnoin käyttöönottoja Databricks Asset Bundlesin ja Gitin avulla
• Integroin REST-rajapintoja ja Azure Data Lake Storagea (ADLS) käsitellen CSV-, JSON- ja Parquet-aineistoja
• Käytin Databricks SQL Warehouseja datan validointiin, vianetsintään ja analyyttisiin kyselyihin

• Osallistuin avoimen lähdekoodin data-alustan kehittämiseen, joka perustuu Apache-teknologioihin
• Orkestroin datapiput Apache Airflow'lla, joka toimi Kubernetesissa
• Kehitin dbt-malleja Trinolla käyttäen Apache Iceberg -tauluja
• Hallinnoin datapiput S3:n, Hiven, Icebergin ja Apache Druidin välillä
• Käsittelin striimattuja tapahtumia Redpandasta (Kafka-yhteensopiva) Pythonilla
• Työskentelin konttiympäristössä käyttäen Dockeria ja Kubernetesia

• Siirsin vanhoja SSIS-työkuormia Azure Data Factoryyn suunnitellen ja ylläpitäen skaalautuvia pilvi-ETL-putkia
• Kehitin metadataohjattuja T-SQL-ratkaisuja ja optimoin SQL-muunnoksia sekä datan latausprosesseja
• Rakensin Azure Synapse -putkia ja tallennettuja proseduureja regulatoristen JPK-veroraporttien luomiseksi Azure Data Lakesta saatavasta datasta
• Kehitin eräajoina toimivia datapiput Azure Databricksissa käyttäen PySparkia, Spark SQL:ää ja Delta Live Tablesia (DLT)
• Suunnittelin Medallion-arkkitehtuurin (Bronze, Silver, Gold) ja käsittelin CSV-, JSON- ja Parquet-dataa, joka on tallennettu Azure Data Lake Storageen
• Käytin Databricks SQL Warehouseja datan laadun validointiin ja tuotantoputkien vianetsintään

Oracle Data Warehouse

• Development and maintenance of a large-scale Oracle data warehouse.

• Developed and maintained ETL processes using Oracle Data Integrator (ODI) for new and existing mappings.

• Wrote and optimized PL/SQL stored procedures for data transformation.

• Designed and maintained Oracle Database objects.

• Performed data source analysis and supported daily ETL operations.

• Built OLAP cubes for analytical reporting.