Gopal G.

Gopal G.

Data Engineer

India
Vertrauenswürdiges Mitglied seit 2024
8 Jahre Erfahrung

Zu seinen stolzesten Errungenschaften gehören die Erstellung und Optimierung von ETL/ELT-Pipelines in Multi-Cloud-Umgebungen. Gopals Google Cloud-, AWS-, Microsoft Azure- und Snowflake-Zertifizierungen unterstreichen sein Engagement für kontinuierliches Lernen und professionelle Spitzenleistungen.

Er hat einen Master-Abschluss in Computertechnik.

Hauptkompetenz

DatabricksDatabricks1 jahr
Fact Data Modeling8 Jahre
ETLETL8 Jahre
Unix shell7 Jahre
15+

Erfahrung4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2y 4m
  • Entwurf und Implementierung effizienter und skalierbarer Datenpipelines auf der Google Cloud Platform (GCP) zur Erfassung, Verarbeitung und Umwandlung von Rohdaten in brauchbare Formate für Analyse und Nutzung;
  • Leitete und verwaltete Offshore-Teams, um verschiedene Data-Engineering-Aufgaben erfolgreich zu implementieren. Dabei stellte er die Übereinstimmung mit den Projektzielen sicher und sorgte für die Einhaltung hoher Qualitätsstandards durch regelmäßige Kommunikation, klare Dokumentation und effektive Aufgabendelegation;
  • Überwacht die Verwaltung und Einhaltung der in BigQuery gespeicherten Daten und stellt die Einhaltung der britischen und EU GDPR-Vorschriften sicher;
  • Durchführung von Datenschutz-Folgenabschätzungen (Data Privacy Impact Assessments, DPIA) für verschiedene Projekte bei Nissan UK Limited und Umsetzung der erforderlichen Maßnahmen zur Risikominderung;
  • Aufbau und Pflege von Data Warehouses, Data Lakes und Data Lake Houses auf GCP unter Verwendung von Diensten wie BigQuery, Google Cloud Storage (GCS) und Bigtable;
  • Integration von Daten aus verschiedenen Quellen in GCP unter Verwendung von Diensten wie Cloud Storage, Cloud Pub/Sub und Cloud SQL;
  • Implementierung angemessener Data Governance und Sicherheitsmaßnahmen unter Verwendung von GCP Identity and Access Management (IAM) und Data Loss Prevention (DLP) zur Gewährleistung der Compliance;
  • Aufbau von Datenpipelines mit Google Dataflow zur effizienten Verarbeitung großer Datenmengen;
  • Implementierung von ETL/ELT-Prozessen, um Daten aus verschiedenen Quellen zu extrahieren und sie in Data Warehouses oder Data Lakes zu laden;
  • Entwicklung von Streaming-Pipelines für Echtzeit-Dateneingabe unter Verwendung von Kafka und Kafka Connect;
  • Implementierung von Python-basierten Transformationen und BigQuery-Prozeduren und nahtlose Orchestrierung ihrer Ausführung mit Google Cloud Composer;
  • Entwickelte Datentransformationen mit Apache Beam, optimiert für Spitzenleistung auf Google DataProc-Clustern.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2y 7m
  • Entwicklung von ETL-Prozessen unter Verwendung von Python und SQL, um Rohdaten in brauchbare Formate umzuwandeln und sie zur Analyse in BigQuery zu laden;
  • Aufbau und Architektur mehrerer Datenpipelines, Verwaltung von End-to-End-ETL- und ELT-Prozessen für die Datenaufnahme und -umwandlung in GCP sowie Koordinierung von Aufgaben innerhalb des Teams;
  • Entwurf und Implementierung von Datenpipelines mit GCP-Diensten wie Dataflow, Dataproc und Pub/Sub;
  • Migriert Oracle DSR zu BigQuery mit Dataproc, Python, Airflow und Looker;
  • Entwurf und Entwicklung eines Python-Ingestion-Frameworks zum Laden von Daten aus verschiedenen Quellsystemen, einschließlich AR-Modulen, Bestandsmodulen, Dateien und Webservices, in BigQuery;
  • Entwicklung von Pipelines zum Laden von Daten aus vom Kunden in Google Drive abgelegten manuellen Dateien in GCS und anschließend in BigQuery unter Verwendung von BigQuery Stored Procedures;
  • Teilnahme an Code-Reviews und Mitwirkung an der Entwicklung von Best Practices für Data Engineering auf GCP;
  • Implementierung von Datensicherheit und Zugriffskontrollen unter Verwendung des Identitäts- und Zugriffsmanagements (IAM) von GCP und des Cloud Security Command Center.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1y 8m
  • Entwurf und Implementierung von Snowflake Data Warehouses, Entwicklung von Schemata, Tabellen und Ansichten, die für Leistung und Datenzugriff optimiert sind;
  • Extrahieren von Daten aus Oracle-Datenbanken, Umwandeln in CSV-Dateien und Laden dieser Dateien in eine Snowflake-Data-Warehouse-Stufe, die auf AWS S3 gehostet wird, um eine sichere und effiziente Datenübertragung und -speicherung zu gewährleisten;
  • Erstellte und nutzte virtuelle Lager in Snowflake auf der Grundlage von Geschäftsanforderungen, verfolgte effektiv die Kreditnutzung, um Geschäftseinblicke und Ressourcenzuweisung zu verbessern;
  • Entwarf und konfigurierte Snowpipe-Pipelines für nahtloses und nahezu Echtzeit-Datenladen, wodurch manuelle Eingriffe reduziert und die Datenaktualität verbessert wurden;
  • Parsing von XML-Daten und deren Organisation in strukturierten Snowflake-Tabellen für eine effiziente Datenspeicherung und nahtlose Datenanalyse;
  • Entwurf und Implementierung von Pipelines zur Aufnahme von JSON-Daten unter Nutzung der Fähigkeiten von Snowflake zur Verarbeitung verschachtelter und komplexer JSON-Strukturen;
  • Entwurf und Bereitstellung von Amazon Redshift-Clustern, Optimierung von Schemadesign, Verteilungsschlüsseln und Sortierschlüsseln für optimale Abfrageleistung;
  • Nutzung von AWS Lambda-Funktionen und Step Functions zur Orchestrierung von ETL-Workflows zur Gewährleistung der Datengenauigkeit und zeitgerechten Verarbeitung;
  • Erstellung und Pflege von Datenvisualisierungen und Berichten mit Amazon QuickSight zur Erleichterung von Datenanalysen und -einblicken.
OracleOracle
Data Analytics
TableauTableau
Fact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2y 7m
  • Entwicklung und Implementierung von Teradata-Paketen zur Erleichterung nahtloser Datenextraktion, -transformation und -ladung (ETL) aus verschiedenen Quellen in Data Warehouses;
  • Entwicklung interaktiver und dynamischer Berichte mit SSRS, die den Beteiligten zeitnahe und aufschlussreiche Datenvisualisierungen für fundierte Entscheidungen liefern;
  • Strenge Datenvalidierung und Qualitätskontrollen, um die Integrität und Genauigkeit der verarbeiteten Daten zu gewährleisten;
  • Optimierte ETL-Leistung durch den Einsatz fortschrittlicher Techniken, was zu einer Reduzierung der Verarbeitungszeit um 25 % führte;
  • Entwickelte die Ingestion-Strategie für das Laden von Daten aus mehreren Quellsystemen in die operative Schicht im Data Warehouse unter Verwendung von Python, SQL und gespeicherten Prozeduren;
  • Verstehen und entwickeln von Designdokumenten als Ergebnis des Projekts;
  • Implementierte SCD Typ 1 und Typ 2 Funktionalität und entwickelte benutzerdefinierte Skripte in Teradata für die Integration und Funktionsentwicklung für verschiedene Module wie Primavera P6 und Oracle Project Modul;
  • Sie haben als DWH-Analyst Probleme verwaltet und behoben, um den reibungslosen Ablauf der Geschäftsvorgänge zu gewährleisten;
  • Vorbereitung von Unit-Testfällen und Durchführung von End-to-End-Integrationstests;
  • Aktive Teilnahme an Design-Diskussionen und Überprüfung von Lösungen;
  • Teilnahme an Peer-Review-Diskussionen zur Entwicklung vor dem Wechsel in höhere Umgebungen;
  • Laden von Daten aus mehreren Dateien in eine einzige Zieltabelle unter Verwendung von ODI-Variablen;
  • Konfigurierte und entwickelte ETL-Mappings zum Laden von Daten aus XML und komplexen (unstrukturierten/halbstrukturierten) Dateien;
  • Sie haben Power BI genutzt, um aufschlussreiche Visualisierungen und interaktive Dashboards zu entwerfen und zu entwickeln, um datengestützte Entscheidungen für die Beteiligten zu ermöglichen und die gesamten Data-Engineering-Lösungen zu verbessern.
OracleOracle
Data Analytics
XMLXML
TableauTableau
Fact Data Modeling

Eignungstests

Excellence en ingénierie

Gopal Gesamtleistung in einer 90-minütigen Live-Technikbewertung rangiert im top 5% der überprüften Data Engineer bei Proxify.

Zertifikate 3

Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Möchten Sie mehr über die Zertifizierungen von Gopal erfahren?Gespräch buchen

Ausbildung

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Hör auf zu stöbern.
Lass dich schneller matchen.