Amine T.

• Entwurf und Entwicklung skalierbarer ETL-Pipelines mit AWS Glue und Spark Scala für die Verarbeitung großer Datenmengen.
• Architektur und Wartung der AWS-Infrastruktur (S3, Glue, Lambda, IAM, Step Functions), Gewährleistung von Zuverlässigkeit und Kosteneffizienz.
• Aufbau von CI/CD-Pipelines und Durchsetzung technischer Standards durch Code-Reviews und Governance-Richtlinien.
• Implementierung von Datenqualitätsprüfungen, Nachverfolgung der Datenabfolge und Zugriffskontrollen zur Wahrung der Datenintegrität und der Compliance.
• Leitete ein Team von fünf Dateningenieuren und beaufsichtigte die Bereitstellung von Terraform, Azure DevOps-Pipelines und die Optimierung der Spark-Leistung.
• Zusammenarbeit mit Datenwissenschaftlern bei der Bereitstellung von ML-Modellen zur Verbesserung der Anlageneffizienz und zur Reduzierung von Ausfallzeiten.
• Bereitgestellte QuickSight-Dashboards, die sichere Geschäftseinblicke in Echtzeit ermöglichen.

• Entwurf und Implementierung einer Data-Mesh-Architektur auf Databricks (AWS) und Aufbau von verwalteten Daten-Repositories in Glue und Collibra.
• Entwicklung von Pipelines für Dateneingabe und -austausch in Spark/Scala und PySpark mit vollständiger CI/CD-Automatisierung.
• Erstellung von Databricks Job-Automatisierungstools mit Terraform und Orchestrierung von Workflows über AWS MWAA.
• Entwicklung von Datenpipelines für die vorausschauende Wartung und die Analyse von Passagierströmen mithilfe von Kafka, Spark und AWS Glue.
• Wir haben die Überwachung der Datenqualität mit Airflow und Great Expectations eingeführt, um eine hohe Zuverlässigkeit der Daten zu gewährleisten.
• Zusammenarbeit mit Datenwissenschaftlern zur Operationalisierung von Prognosemodellen für die Serviceoptimierung.

• Migriert Produktionsanwendungen von HDP zu Cloudera, erstellt und konfiguriert mehrere Umgebungen, um einen reibungslosen Übergang zu gewährleisten.
• Entwicklung von CI/CD-Pipelines und Terraform-Jobs zur Bereitstellung und Skalierung von VMs in verschiedenen Umgebungen.
• Unterstützung der technischen Teams während der gesamten Migrationsphase, um minimale Ausfallzeiten zu gewährleisten.
• Entwicklung und Bereitstellung von Spark Scala-Bibliotheken und Orchestrierung von Produktionsaufträgen für hohe Verfügbarkeit.
• Entwurf und Implementierung von NiFi-Pipelines für die Aufnahme von Daten aus externen APIs.
• Entwicklung von Frameworks zur Datenaufnahme und -umwandlung für Markt- und Risikodaten-Pipelines mit Spark und Hadoop.
• Automatisierte Datenqualitätsprüfungen und implementierte Abstammungsverfolgung mit Apache Atlas.
• Zusammenarbeit mit Quant-Teams zur Verbesserung der Datengenauigkeit von Risikomodellen und zur Verringerung der Latenzzeit bei nachgelagerten Analysen.
• Optimierte HDFS- und Hive-basierte Data Lakes, Verbesserung der Leistung und Speichereffizienz.
• Beitrag zur Automatisierung der aufsichtsrechtlichen Berichterstattung, um die Einhaltung der Basel III-Standards zu gewährleisten.

• Erstellung von Spark-basierten Datenpipelines und ETL-Workflows in Talend und Kafka für die Echtzeit-Berichterstattung über gesetzliche Vorschriften und Betrugsbekämpfung.
• Entwicklung einer AWS-basierten Architektur, Umwandlung von CSV-Daten in Parquet und Optimierung von Hive-Tabellen für die Leistung.
• Automatisierte Deployment-Workflows mit Jenkins und Ansible zur Verbesserung der Entwicklungseffizienz.
• Erstellung von Oozie-Bundles und Spark Scala-Jobs zur Implementierung von Geschäftsregeln und Verwaltung von Daten in Cassandra.
• Indizierte Daten mit Solr, um schnelle Suchfunktionen zu ermöglichen und die Produktionsbereitstellung und -überwachung zu unterstützen.

Lansrod is an IT consulting company specializing in big data, business intelligence, and software engineering projects for enterprise clients.

• Designed and implemented data warehouse and BI solutions across multiple industries.

• Built ETL processes in Talend for integrating data from ERP and CRM systems.

• Developed dashboards and KPIs in Power BI and Tableau for client reporting.

• Assisted in data lake design and migration to Hadoop clusters.

• Conducted data audits to ensure consistency and improve reporting accuracy.

Used skills: Talend, Hadoop, Power BI, Tableau, SQL, ETL, Data Warehouse, Business Intelligence

AddVolt is a Portuguese clean technology startup providing electric systems for refrigerated vehicles, enabling emission-free transportation.

• Project management.
• Modeling of problems related to Data Science.
• Interpretation of Machine Learning models applied to real situations.
• Pre-processing of spatio-temporal data, definition of concepts related to the problem, selection of the model and its parameters, modification of some performance metrics, and benchmarking of different classification models.
• Creation of visualization tools for the results obtained through interactive maps and a video explaining the work performed.
• Comparison of different results and analysis of the proposed solutions.
• Recommendation of a new algorithm for the allocation of virtual machines.
• Deployment of the designed project.