Gopal G.

Gopal G.

Data Engineer

India
Betrodd medlem siden 2024
8 år erfaring

Hans stolteste prestasjoner inkluderer å lage og optimalisere ETL/ELT-pipeliner på tvers av multisky-miljøer. Gopals Google Cloud, AWS, Microsoft Azure og Snowflake sertifiseringer fremhever hans forpliktelse til kontinuerlig læring og profesjonell dyktighet.

Han har en mastergrad i datateknikk.

Hovedekspertise

DatabricksDatabricks1 year
Fact Data Modeling8 år
ETLETL8 år
Unix shell7 år
15+

Erfaring4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2y 4m
  • Designet og implementert effektive og skalerbare datapipelines på Google Cloud Platform (GCP) for å samle inn, behandle og transformere rådata til brukbare formater for analyse og forbruk;
  • Ledet og administrert offshore-team for å implementere ulike datatekniske oppgaver, sikre samsvar med prosjektmål og opprettholde høykvalitetsstandarder gjennom regelmessig kommunikasjon, tydelig dokumentasjon og effektiv delegering av oppgaver;
  • Overvåket styring og overholdelse av data lagret i BigQuery, og sørget for at GDPR-regelverket i Storbritannia og EU ble overholdt;
  • Gjennomført konsekvensanalyser av personvernkonsekvenser (DPIA) for ulike prosjekter hos Nissan UK Limited og iverksatt nødvendige tiltak for å redusere risikoen;
  • Bygget og vedlikeholdt datavarehus, datasjøer og datasjøhus på GCP ved hjelp av tjenester som BigQuery, Google Cloud Storage (GCS) og Bigtable;
  • Integrert data fra ulike kilder i GCP ved hjelp av tjenester som Cloud Storage, Cloud Pub/Sub og Cloud SQL;
  • Implementert riktig datastyring og sikkerhetstiltak ved hjelp av GCP Identity and Access Management (IAM) og Data Loss Prevention (DLP) for å sikre samsvar;
  • Bygget datapipelines ved hjelp av Google Dataflow for å håndtere store datamengder på en effektiv måte;
  • Implementert ETL/ELT-prosesser for å hente ut data fra ulike kilder og laste dem inn i datavarehus eller datasjøer;
  • Utviklet strømmepipelines for datainntak i sanntid ved hjelp av Kafka og Kafka Connect;
  • Implementerte Python-baserte transformasjoner og BigQuery-prosedyrer, og orkestrerte kjøringen av dem sømløst ved hjelp av Google Cloud Composer;
  • Konstruerte datatransformasjoner ved hjelp av Apache Beam, optimalisert for topp ytelse på Google DataProc-klynger.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2y 7m
  • Utviklet ETL-prosesser ved hjelp av Python og SQL for å transformere rådata til brukbare formater og laste dem inn i BigQuery for analyse;
  • Bygget og utviklet flere datapipelines, administrert end-to-end ETL- og ELT-prosesser for datainntak og -transformasjon i GCP, og koordinert oppgaver i teamet;
  • Designet og implementert datapipelines ved hjelp av GCP-tjenester som Dataflow, Dataproc og Pub/Sub;
  • Migrerte Oracle DSR til BigQuery ved hjelp av Dataproc, Python, Airflow og Looker;
  • Designet og utviklet et Python-inntaksrammeverk for å laste inn data fra ulike kildesystemer, inkludert AR-moduler, lagermoduler, filer og nettjenester, til BigQuery;
  • Utviklet pipelines for å laste inn data fra kundeplasserte manuelle filer i Google Drive til GCS og deretter til BigQuery ved hjelp av BigQuery-lagrede prosedyrer;
  • Deltatt i kodegjennomganger og bidratt til utviklingen av beste praksis for datateknikk på GCP;
  • Implementert datasikkerhet og tilgangskontroller ved hjelp av GCPs Identity and Access Management (IAM) og Cloud Security Command Center.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1y 8m
  • Designet og implementerte Snowflake-datavarehus, og utviklet skjemaer, tabeller og visninger optimalisert for ytelse og datatilgjengelighet;
  • Hentet ut data fra Oracle-databaser, konverterte dem til CSV-filer og lastet disse filene inn i et Snowflake-datavarehus på AWS S3, noe som sørget for sikker og effektiv dataoverføring og -lagring;
  • Opprettet og benyttet virtuelle varehus i Snowflake basert på forretningskrav, og sporet effektivt kredittbruk for å forbedre forretningsinnsikt og ressursallokering;
  • Designet og konfigurerte Snowpipe-pipelines for sømløs og nesten sanntids datalasting, noe som reduserte manuell inngripen og forbedret datafriskhet;
  • Parset XML-data og organiserte dem i strukturerte Snowflake-tabeller for effektiv datalagring og sømløs dataanalyse;
  • Designet og implementerte JSON-datainntaksrørledninger, og utnyttet Snowflakes evner til å håndtere nestede og komplekse JSON-strukturer;
  • Designet og distribuerte Amazon Redshift-klynger, optimaliserte skjemadesign, distribusjonsnøkler og sorteringsnøkler for optimal spørringsytelse;
  • Utnyttet AWS Lambda-funksjoner og Step Functions for å orkestrere ETL-arbeidsflyter, noe som sikrer datanøyaktighet og rettidig behandling;
  • Opprettet og vedlikeholdt datavisualiseringer og rapporter ved hjelp av Amazon QuickSight for å legge til rette for dataanalyse og innsikt.
OracleOracle
Data Analytics
TableauTableau
Fact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2y 7m
  • Utformet og implementerte Teradata-pakker for å legge til rette for sømløs datautvinning, -transformasjon og -innlasting (ETL) fra ulike kilder til datavarehus;
  • Utviklet interaktive og dynamiske rapporter ved hjelp av SSRS, som gir interessenter innsiktsfulle datavisualiseringer til rett tid, slik at de kan ta informerte beslutninger;
  • Gjennomført strenge datavaliderings- og kvalitetskontroller for å sikre integriteten og nøyaktigheten til de behandlede dataene;
  • Optimalisert ETL-ytelse ved hjelp av avanserte teknikker, noe som resulterte i en 25 % reduksjon i prosesseringstiden;
  • Utviklet en strategi for innlasting av data fra flere kildesystemer til det operative laget i datavarehuset ved hjelp av Python, SQL og lagrede prosedyrer;
  • Forstått og utviklet designdokumenter som leveranse for prosjektet;
  • Implementert SCD Type 1 og Type 2-funksjonalitet og utviklet tilpassede skript i Teradata for integrasjon og utvikling av funksjonalitet for ulike moduler som Primavera P6 og Oracle Project-modulen;
  • Administrert og feilsøkt problemer som DWH-analytiker for å sikre en jevn flyt i forretningsdriften;
  • Utarbeidet enhetstesttilfeller og utført integrasjonstesting fra ende til ende;
  • Delta aktivt i designdiskusjoner og gjennomgå løsninger;
  • Deltatt i fagfellediskusjoner om utvikling før du flyttet til høyere miljøer;
  • Lastet data fra flere filer til en enkelt måltabell ved hjelp av ODI-variabler;
  • Konfigurert og utviklet ETL-kartlegginger for å laste inn data fra XML og komplekse (ustrukturerte/halvstrukturerte) filer;
  • Brukt Power BI til å designe og utvikle innsiktsfulle visualiseringer og interaktive dashbord, noe som muliggjør datadrevet beslutningstaking for interessenter og forbedrer overordnede datatekniske løsninger.
OracleOracle
Data Analytics
XMLXML
TableauTableau
Fact Data Modeling

Vurdering

Ingenieurskunst der Spitzenklasse

Gopal totale ytelse i en 90-minutters live teknisk vurdering rangerer i de top 5% av vurderte Data Engineer hos Proxify.

Sertifikater 3

Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Vil du vite mer om Gopal sertifiseringer?Avtal et møte

Utdannelse

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Slutt å bla.
Bli matchet raskere.