Gopal G.

Gopal G.

Data Engineer

Spitzenperformer 9/10
India
Verifiziertes Mitglied seit 2024
8 Jahre Erfahrung

Zu seinen stolzesten Errungenschaften gehören die Erstellung und Optimierung von ETL/ELT-Pipelines in Multi-Cloud-Umgebungen. Gopals Google Cloud-, AWS-, Microsoft Azure- und Snowflake-Zertifizierungen unterstreichen sein Engagement für kontinuierliches Lernen und professionelle Spitzenleistungen.

Er hat einen Master-Abschluss in Computertechnik.

Hauptkompetenz

DatabricksDatabricks1 jahr
Fact Data ModelingFact Data Modeling8 Jahre
ETLETL8 Jahre
Unix shell7 Jahre
15+

Erfahrung4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2J 11M
  • Entwurf und Implementierung effizienter und skalierbarer Datenpipelines auf der Google Cloud Platform (GCP) zur Erfassung, Verarbeitung und Umwandlung von Rohdaten in brauchbare Formate für Analyse und Nutzung;
  • Leitete und verwaltete Offshore-Teams, um verschiedene Data-Engineering-Aufgaben erfolgreich zu implementieren. Dabei stellte er die Übereinstimmung mit den Projektzielen sicher und sorgte für die Einhaltung hoher Qualitätsstandards durch regelmäßige Kommunikation, klare Dokumentation und effektive Aufgabendelegation;
  • Überwacht die Verwaltung und Einhaltung der in BigQuery gespeicherten Daten und stellt die Einhaltung der britischen und EU GDPR-Vorschriften sicher;
  • Durchführung von Datenschutz-Folgenabschätzungen (Data Privacy Impact Assessments, DPIA) für verschiedene Projekte bei Nissan UK Limited und Umsetzung der erforderlichen Maßnahmen zur Risikominderung;
  • Aufbau und Pflege von Data Warehouses, Data Lakes und Data Lake Houses auf GCP unter Verwendung von Diensten wie BigQuery, Google Cloud Storage (GCS) und Bigtable;
  • Integration von Daten aus verschiedenen Quellen in GCP unter Verwendung von Diensten wie Cloud Storage, Cloud Pub/Sub und Cloud SQL;
  • Implementierung angemessener Data Governance und Sicherheitsmaßnahmen unter Verwendung von GCP Identity and Access Management (IAM) und Data Loss Prevention (DLP) zur Gewährleistung der Compliance;
  • Aufbau von Datenpipelines mit Google Dataflow zur effizienten Verarbeitung großer Datenmengen;
  • Implementierung von ETL/ELT-Prozessen, um Daten aus verschiedenen Quellen zu extrahieren und sie in Data Warehouses oder Data Lakes zu laden;
  • Entwicklung von Streaming-Pipelines für Echtzeit-Dateneingabe unter Verwendung von Kafka und Kafka Connect;
  • Implementierung von Python-basierten Transformationen und BigQuery-Prozeduren und nahtlose Orchestrierung ihrer Ausführung mit Google Cloud Composer;
  • Entwickelte Datentransformationen mit Apache Beam, optimiert für Spitzenleistung auf Google DataProc-Clustern.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data AnalyticsData Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2J 7M
  • Entwicklung von ETL-Prozessen unter Verwendung von Python und SQL, um Rohdaten in brauchbare Formate umzuwandeln und sie zur Analyse in BigQuery zu laden;
  • Aufbau und Architektur mehrerer Datenpipelines, Verwaltung von End-to-End-ETL- und ELT-Prozessen für die Datenaufnahme und -umwandlung in GCP sowie Koordinierung von Aufgaben innerhalb des Teams;
  • Entwurf und Implementierung von Datenpipelines mit GCP-Diensten wie Dataflow, Dataproc und Pub/Sub;
  • Migriert Oracle DSR zu BigQuery mit Dataproc, Python, Airflow und Looker;
  • Entwurf und Entwicklung eines Python-Ingestion-Frameworks zum Laden von Daten aus verschiedenen Quellsystemen, einschließlich AR-Modulen, Bestandsmodulen, Dateien und Webservices, in BigQuery;
  • Entwicklung von Pipelines zum Laden von Daten aus vom Kunden in Google Drive abgelegten manuellen Dateien in GCS und anschließend in BigQuery unter Verwendung von BigQuery Stored Procedures;
  • Teilnahme an Code-Reviews und Mitwirkung an der Entwicklung von Best Practices für Data Engineering auf GCP;
  • Implementierung von Datensicherheit und Zugriffskontrollen unter Verwendung des Identitäts- und Zugriffsmanagements (IAM) von GCP und des Cloud Security Command Center.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1J 8M
  • Entwurf und Implementierung von Snowflake Data Warehouses, Entwicklung von Schemata, Tabellen und Ansichten, die für Leistung und Datenzugriff optimiert sind;
  • Extrahieren von Daten aus Oracle-Datenbanken, Umwandeln in CSV-Dateien und Laden dieser Dateien in eine Snowflake-Data-Warehouse-Stufe, die auf AWS S3 gehostet wird, um eine sichere und effiziente Datenübertragung und -speicherung zu gewährleisten;
  • Erstellte und nutzte virtuelle Lager in Snowflake auf der Grundlage von Geschäftsanforderungen, verfolgte effektiv die Kreditnutzung, um Geschäftseinblicke und Ressourcenzuweisung zu verbessern;
  • Entwarf und konfigurierte Snowpipe-Pipelines für nahtloses und nahezu Echtzeit-Datenladen, wodurch manuelle Eingriffe reduziert und die Datenaktualität verbessert wurden;
  • Parsing von XML-Daten und deren Organisation in strukturierten Snowflake-Tabellen für eine effiziente Datenspeicherung und nahtlose Datenanalyse;
  • Entwurf und Implementierung von Pipelines zur Aufnahme von JSON-Daten unter Nutzung der Fähigkeiten von Snowflake zur Verarbeitung verschachtelter und komplexer JSON-Strukturen;
  • Entwurf und Bereitstellung von Amazon Redshift-Clustern, Optimierung von Schemadesign, Verteilungsschlüsseln und Sortierschlüsseln für optimale Abfrageleistung;
  • Nutzung von AWS Lambda-Funktionen und Step Functions zur Orchestrierung von ETL-Workflows zur Gewährleistung der Datengenauigkeit und zeitgerechten Verarbeitung;
  • Erstellung und Pflege von Datenvisualisierungen und Berichten mit Amazon QuickSight zur Erleichterung von Datenanalysen und -einblicken.
OracleOracle
Data AnalyticsData Analytics
TableauTableau
Fact Data ModelingFact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2J 7M
  • Entwicklung und Implementierung von Teradata-Paketen zur Erleichterung nahtloser Datenextraktion, -transformation und -ladung (ETL) aus verschiedenen Quellen in Data Warehouses;
  • Entwicklung interaktiver und dynamischer Berichte mit SSRS, die den Beteiligten zeitnahe und aufschlussreiche Datenvisualisierungen für fundierte Entscheidungen liefern;
  • Strenge Datenvalidierung und Qualitätskontrollen, um die Integrität und Genauigkeit der verarbeiteten Daten zu gewährleisten;
  • Optimierte ETL-Leistung durch den Einsatz fortschrittlicher Techniken, was zu einer Reduzierung der Verarbeitungszeit um 25 % führte;
  • Entwickelte die Ingestion-Strategie für das Laden von Daten aus mehreren Quellsystemen in die operative Schicht im Data Warehouse unter Verwendung von Python, SQL und gespeicherten Prozeduren;
  • Verstehen und entwickeln von Designdokumenten als Ergebnis des Projekts;
  • Implementierte SCD Typ 1 und Typ 2 Funktionalität und entwickelte benutzerdefinierte Skripte in Teradata für die Integration und Funktionsentwicklung für verschiedene Module wie Primavera P6 und Oracle Project Modul;
  • Sie haben als DWH-Analyst Probleme verwaltet und behoben, um den reibungslosen Ablauf der Geschäftsvorgänge zu gewährleisten;
  • Vorbereitung von Unit-Testfällen und Durchführung von End-to-End-Integrationstests;
  • Aktive Teilnahme an Design-Diskussionen und Überprüfung von Lösungen;
  • Teilnahme an Peer-Review-Diskussionen zur Entwicklung vor dem Wechsel in höhere Umgebungen;
  • Laden von Daten aus mehreren Dateien in eine einzige Zieltabelle unter Verwendung von ODI-Variablen;
  • Konfigurierte und entwickelte ETL-Mappings zum Laden von Daten aus XML und komplexen (unstrukturierten/halbstrukturierten) Dateien;
  • Sie haben Power BI genutzt, um aufschlussreiche Visualisierungen und interaktive Dashboards zu entwerfen und zu entwickeln, um datengestützte Entscheidungen für die Beteiligten zu ermöglichen und die gesamten Data-Engineering-Lösungen zu verbessern.
OracleOracle
Data AnalyticsData Analytics
XMLXML
TableauTableau
Fact Data ModelingFact Data Modeling

Excellence en ingénierie

Alle Data Engineers, die sich bei Proxify beworben haben, werden auf einer Skala von 0 bis 300 in technischer Exzellenz bewertet, einem der fünf von uns bewerteten Parameter. Diese Bewertung spiegelt ausschließlich die technische Exzellenz wider, basierend auf Interviews, Heimaufgaben, Live-Coding-Sitzungen und/oder Leistungsbewertungen am Arbeitsplatz. Die Kurve zeigt, wie alle bewerteten Data Engineers in diesem Bereich verteilt sind, wo unsere Akzeptanzschwelle für diesen Parameter liegt und wo sich Gopal befindet.

050100150200250300Engineering excellence scoreShare of engineersmedianmeanProxifyacceptancethreshold
Gopal
Score 219 · Top 3% of engineers

Zertifikate 3

Databricks, Inc.
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks, Inc.
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Möchten Sie mehr über die Zertifizierungen von Gopal erfahren?Gespräch buchen

Ausbildung

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Hör auf zu stöbern.
Lass dich schneller matchen.