Data Engineer

-Design and deliver scalable ELT pipelines on Databricks using PySpark, Spark SQL, and medallion architecture (Bronze/Silver/Gold). -Implement data governance practices including Unity Catalog for centralized metadata management and data lineage tracking. -Apply partitioning and caching strategies to optimize query performance and reduce processing times. -Manage CI/CD orchestration with Azure DevOps for automated testing and deployment of data assets. -Integrate Databricks jobs with Airflow DAGs for end-to-end workflow orchestration and dependency management.

-Built scalable ELT pipelines with Databricks using PySpark/Spark SQL for high-volume energy data processing. -Leveraged Delta Lake with time travel and CDC logic to ensure data consistency, auditability, and rollback capabilities. -Applied partitioning and caching strategies for performance optimization across large-scale transformations. -Managed CI/CD pipelines using GitLab for version-controlled deployments across environments. -Conducted code reviews and cross-team collaboration to maintain engineering standards and code quality.

• Verantwortlich für die Durchführung von ETL/ELT-Operationen mit Azure Databricks unter Verwendung von PySpark und Spark SQL. Dabei extrahierte er Daten aus verschiedenen Quellen, wandelte sie in ein verwendbares Format um und lud sie in eine Zieldatenbank oder ein Data Warehouse.
• Design, Entwicklung, Test, Debugging und Implementierung von QlikSense-Lösungen auf der Grundlage der von den professionellen Nutzenden festgelegten Anforderungen in Bezug auf die Dashboard-Ziele. Dies umfasste die Erstellung interaktiver Datenvisualisierungen und Berichte, die Stakeholder bei der fundierten Entscheidungsfindung unterstützten. In dieser Rolle verwendete er u. a. Tools wie Azure Databricks, Apache Spark (PySpark, Spark SQL), Qlik Sense und Qlik NPrinting.

• Verantwortlich für die Analyse, das Design und die Implementierung von ETLs/ELT-Workflows für verschiedene Projekte, wie z. B. das CRM-Projekt, das für die Verwaltung von potenziellen und bestehenden Kund:innen sowie Marketingkampagnen verwendet wurde, und das BI-Projekt zum Verkauf von Zugfahrkarten
• Design und Implementierung automatisierter ETL/ELT-Jobs mit Zeitplanung zur Übertragung von Daten an die zentralisierte Datenbank für Lieferfirmen- und Einkaufsverwaltung aus verschiedenen Datenquellen. In dieser Rolle verwendete er u. a. Tools wie Talend (DI, Big Data, ESB) (Java), Azure Databricks, Hadoop Ecosystem, Apache Spark (Spark SQL, PySpark), Databricks, PostgreSQL und Power BI.

• Performance-Tuning: Optimierung des ETL-Prozesses zur Sicherstellung der Effizienz und Effektivität, Tuning von Datenbankabfragen und Optimierung von Datenströmen
• Verantwortlich für die Analyse detaillierter Funktionsspezifikationen und die Ausarbeitung technischer Spezifikationen für ETL-Projekte. Dies umfasste das Design und die Durchführung von ETL-Projekten zur Erstellung von Berichten und Zieldateien im Einklang mit den Anforderungen der Kundschaft.
• Verantwortung dafür, dass die Validierungs- und Umsetzungsphasen dieser Projekte sorgfältig durchgeführt wurden. In dieser Rolle verwendete er die Tools Talend ETL und PostgreSQL.