Gopal G.

Gopal G.

Data Engineer

Toppræstation 9/10
India
Betroet medlem siden 2024
8 års erfaring

Hans stolteste resultater omfatter oprettelse og optimering af ETL/ELT-pipelines på tværs af multi-cloud-miljøer. Gopals certificeringer i Google Cloud, AWS, Microsoft Azure og Snowflake understreger hans engagement i løbende læring og professionel ekspertise.

Han har en kandidatgrad i datateknik.

Hovedekspertise

DatabricksDatabricks1 år
Fact Data ModelingFact Data Modeling8 år
ETLETL8 år
Unix shell7 år
15+

Erfaring4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2å 11m
  • Designet og implementeret effektive og skalerbare datapipelines på Google Cloud Platform (GCP) til at indsamle, behandle og omdanne rådata til brugbare formater til analyse og forbrug;
  • Ledte og administrerede offshore-teams for at implementere forskellige datatekniske opgaver med succes, sikre tilpasning til projektmål og opretholde standarder af høj kvalitet gennem regelmæssig kommunikation, klar dokumentation og effektiv uddelegering af opgaver;
  • Overvågning af styring og overholdelse af data, der er gemt i BigQuery, og sikring af overholdelse af GDPR-reglerne i Storbritannien og EU;
  • Gennemført konsekvensanalyser af databeskyttelse (DPIA) for forskellige projekter hos Nissan UK Limited og implementeret nødvendige foranstaltninger for at afbøde eller reducere risici;
  • Bygget og vedligeholdt datalagre, datasøer og datasøhuse på GCP ved hjælp af tjenester som BigQuery, Google Cloud Storage (GCS) og Bigtable;
  • Integreret data fra forskellige kilder i GCP ved hjælp af tjenester som Cloud Storage, Cloud Pub/Sub og Cloud SQL;
  • Implementeret korrekt datastyring og sikkerhedsforanstaltninger ved hjælp af GCP Identity and Access Management (IAM) og Data Loss Prevention (DLP) for at sikre overholdelse;
  • Bygget datapipelines ved hjælp af Google Dataflow til effektiv håndtering af store datamængder;
  • Implementeret ETL/ELT-processer for at udtrække data fra forskellige kilder og indlæse dem i datavarehuse eller datasøer;
  • Udviklet streaming pipelines til indlæsning af data i realtid ved hjælp af Kafka og Kafka Connect;
  • Implementeret Python-baserede transformationer og BigQuery-procedurer og orkestreret deres udførelse problemfrit ved hjælp af Google Cloud Composer;
  • Konstruerede datatransformationer ved hjælp af Apache Beam, optimeret til maksimal ydeevne på Google DataProc-klynger.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data AnalyticsData Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2å 7m
  • Udviklet ETL-processer ved hjælp af Python og SQL for at omdanne rådata til brugbare formater og indlæse dem i BigQuery til analyse;
  • Byggede og arkitekterede flere datapipelines, styrede end-to-end ETL- og ELT-processer til dataindlæsning og -transformation i GCP og koordinerede opgaver blandt teamet;
  • Designet og implementeret datapipelines ved hjælp af GCP-tjenester som Dataflow, Dataproc og Pub/Sub;
  • Migrerede Oracle DSR til BigQuery ved hjælp af Dataproc, Python, Airflow og Looker;
  • Designede og udviklede en Python-indlæsningsramme til at indlæse data fra forskellige kildesystemer, herunder AR-moduler, lagermoduler, filer og webtjenester, i BigQuery;
  • Udviklet pipelines til at indlæse data fra kundeplacerede manuelle filer i Google Drive til GCS og efterfølgende til BigQuery ved hjælp af BigQuery stored procedures;
  • Deltaget i kodegennemgange og bidraget til udviklingen af bedste praksis for datateknik på GCP;
  • Implementeret datasikkerhed og adgangskontrol ved hjælp af GCP's Identity and Access Management (IAM) og Cloud Security Command Center.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1å 8m
  • Designede og implementerede Snowflake-datalagre og udviklede skemaer, tabeller og visninger, der var optimeret til ydeevne og datatilgængelighed;
  • Udtræk af data fra Oracle-databaser, omdannelse til CSV-filer og indlæsning af disse filer i en Snowflake-datalagerfase, der er hostet på AWS S3, hvilket sikrer sikker og effektiv dataoverførsel og -lagring;
  • Oprettede og brugte virtuelle lagre i Snowflake baseret på forretningskrav, sporede effektivt kreditforbrug for at forbedre forretningsindsigt og ressourceallokering;
  • Designede og konfigurerede Snowpipe-pipelines til problemfri dataindlæsning i næsten realtid, hvilket reducerede manuel indgriben og forbedrede dataenes friskhed;
  • Parsede XML-data og organiserede dem i strukturerede Snowflake-tabeller for effektiv datalagring og problemfri dataanalyse;
  • Designet og implementeret JSON-dataindtagelsespipelines, der udnytter Snowflakes muligheder for at håndtere indlejrede og komplekse JSON-strukturer;
  • Design og implementering af Amazon Redshift-klynger, optimering af skemadesign, fordelingsnøgler og sorteringsnøgler for optimal forespørgselsydelse;
  • Udnyttede AWS Lambda-funktioner og Step Functions til at orkestrere ETL-workflows og sikre datanøjagtighed og rettidig behandling;
  • Oprettet og vedligeholdt datavisualiseringer og rapporter ved hjælp af Amazon QuickSight for at lette dataanalyse og indsigt.
OracleOracle
Data AnalyticsData Analytics
TableauTableau
Fact Data ModelingFact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2å 7m
  • Designede og implementerede Teradata-pakker for at lette problemfri dataudtræk, -transformation og -indlæsning (ETL) fra forskellige kilder til datalagre;
  • Udviklet interaktive og dynamiske rapporter ved hjælp af SSRS, der giver interessenter rettidige og indsigtsfulde datavisualiseringer til informeret beslutningstagning;
  • Udførte streng datavalidering og kvalitetskontrol for at sikre integriteten og nøjagtigheden af de behandlede data;
  • Optimeret ETL-ydelse ved hjælp af avancerede teknikker, hvilket resulterede i en reduktion af behandlingstiden på 25 %;
  • Udviklet indlæsningsstrategien til indlæsning af data fra flere kildesystemer til det operationelle lag i datalageret ved hjælp af Python, SQL og lagrede procedurer;
  • Forstået og udviklet designdokumenter som leverancer til projektet;
  • Implementeret SCD Type 1 og Type 2 funktionalitet og udviklet brugerdefinerede scripts i Teradata til integration og udvikling af funktionalitet til forskellige moduler som Primavera P6 og Oracle Project-modulet;
  • Administrerede og fejlsøgte problemer som DWH-analytiker for at sikre et jævnt flow i forretningsdriften;
  • Forberedte unit test cases og udførte end-to-end integrationstest;
  • Deltog aktivt i designdiskussioner og gennemgik løsninger;
  • Deltaget i peer review-diskussioner om udvikling, før du flyttede til højere miljøer;
  • Indlæsning af data fra flere filer til en enkelt måltabel ved hjælp af ODI-variabler;
  • Konfigureret og udviklet ETL-mappings til at indlæse data fra XML og komplekse (ustrukturerede/semistrukturerede) filer;
  • Brugte Power BI til at designe og udvikle indsigtsfulde visualiseringer og interaktive dashboards, der muliggjorde datadrevet beslutningstagning for interessenter og forbedrede overordnede datatekniske løsninger.
OracleOracle
Data AnalyticsData Analytics
XMLXML
TableauTableau
Fact Data ModelingFact Data Modeling

Ingeniørmæssig fremragendehed

Alle Data Engineerer, der har ansøgt til Proxify, får en score fra 0 til 300 på teknisk dygtighed, en af de fem parametre, vi evaluerer. Denne score afspejler kun teknisk dygtighed baseret på interviews, hjemmeopgaver, live kodningssessioner og/eller vurderinger af præstationer på jobbet. Kurven viser, hvordan alle evaluerede Data Engineerer er fordelt over dette interval, hvor vores acceptgrænse for denne parameter ligger, og hvor Gopal står.

050100150200250300Engineering excellence scoreShare of engineersmedianmeanProxifyacceptancethreshold
Gopal
Score 219 · Top 3% of engineers

Certifikater 3

Databricks, Inc.
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks, Inc.
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Vil du vide mere om Gopal certificeringer?Book et opkald

Uddannelse

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Stop med at søge.
Bliv matchet hurtigere.