Gopal G.
Data Engineer
Topp prestasjon 9/10
India
Medlem siden 2024
8 år erfaring
Hans stolteste prestasjoner inkluderer å lage og optimalisere ETL/ELT-pipeliner på tvers av multisky-miljøer. Gopals Google Cloud, AWS, Microsoft Azure og Snowflake sertifiseringer fremhever hans forpliktelse til kontinuerlig læring og profesjonell dyktighet.
Han har en mastergrad i datateknikk.
Hovedekspertise
Databricks1 year
Fact Data Modeling8 år
ETL8 årUnix shell7 år
15+
Erfaring4
Data Engineer
Nissan Motor Corporation•
Nov 2023 · 2år 11mAutomotive
- Designet og implementert effektive og skalerbare datapipelines på Google Cloud Platform (GCP) for å samle inn, behandle og transformere rådata til brukbare formater for analyse og forbruk;
- Ledet og administrert offshore-team for å implementere ulike datatekniske oppgaver, sikre samsvar med prosjektmål og opprettholde høykvalitetsstandarder gjennom regelmessig kommunikasjon, tydelig dokumentasjon og effektiv delegering av oppgaver;
- Overvåket styring og overholdelse av data lagret i BigQuery, og sørget for at GDPR-regelverket i Storbritannia og EU ble overholdt;
- Gjennomført konsekvensanalyser av personvernkonsekvenser (DPIA) for ulike prosjekter hos Nissan UK Limited og iverksatt nødvendige tiltak for å redusere risikoen;
- Bygget og vedlikeholdt datavarehus, datasjøer og datasjøhus på GCP ved hjelp av tjenester som BigQuery, Google Cloud Storage (GCS) og Bigtable;
- Integrert data fra ulike kilder i GCP ved hjelp av tjenester som Cloud Storage, Cloud Pub/Sub og Cloud SQL;
- Implementert riktig datastyring og sikkerhetstiltak ved hjelp av GCP Identity and Access Management (IAM) og Data Loss Prevention (DLP) for å sikre samsvar;
- Bygget datapipelines ved hjelp av Google Dataflow for å håndtere store datamengder på en effektiv måte;
- Implementert ETL/ELT-prosesser for å hente ut data fra ulike kilder og laste dem inn i datavarehus eller datasjøer;
- Utviklet strømmepipelines for datainntak i sanntid ved hjelp av Kafka og Kafka Connect;
- Implementerte Python-baserte transformasjoner og BigQuery-prosedyrer, og orkestrerte kjøringen av dem sømløst ved hjelp av Google Cloud Composer;
- Konstruerte datatransformasjoner ved hjelp av Apache Beam, optimalisert for topp ytelse på Google DataProc-klynger.
Google Cloud
Pandas
AWS Athena
BigQuery
Data Analytics7+
Data Engineer
Technovert•
Nov 2020 - Jun 2023 · 2år 7mInformation Technology (IT) and Services
- Utviklet ETL-prosesser ved hjelp av Python og SQL for å transformere rådata til brukbare formater og laste dem inn i BigQuery for analyse;
- Bygget og utviklet flere datapipelines, administrert end-to-end ETL- og ELT-prosesser for datainntak og -transformasjon i GCP, og koordinert oppgaver i teamet;
- Designet og implementert datapipelines ved hjelp av GCP-tjenester som Dataflow, Dataproc og Pub/Sub;
- Migrerte Oracle DSR til BigQuery ved hjelp av Dataproc, Python, Airflow og Looker;
- Designet og utviklet et Python-inntaksrammeverk for å laste inn data fra ulike kildesystemer, inkludert AR-moduler, lagermoduler, filer og nettjenester, til BigQuery;
- Utviklet pipelines for å laste inn data fra kundeplasserte manuelle filer i Google Drive til GCS og deretter til BigQuery ved hjelp av BigQuery-lagrede prosedyrer;
- Deltatt i kodegjennomganger og bidratt til utviklingen av beste praksis for datateknikk på GCP;
- Implementert datasikkerhet og tilgangskontroller ved hjelp av GCPs Identity and Access Management (IAM) og Cloud Security Command Center.
Oracle
Azure Data FactoryPandas
ClouderaBigQuery8+
Data Engineer
Accenture•
Mar 2019 - Nov 2020 · 1år 8mInformation Technology (IT) and Services
- Designet og implementerte Snowflake-datavarehus, og utviklet skjemaer, tabeller og visninger optimalisert for ytelse og datatilgjengelighet;
- Hentet ut data fra Oracle-databaser, konverterte dem til CSV-filer og lastet disse filene inn i et Snowflake-datavarehus på AWS S3, noe som sørget for sikker og effektiv dataoverføring og -lagring;
- Opprettet og benyttet virtuelle varehus i Snowflake basert på forretningskrav, og sporet effektivt kredittbruk for å forbedre forretningsinnsikt og ressursallokering;
- Designet og konfigurerte Snowpipe-pipelines for sømløs og nesten sanntids datalasting, noe som reduserte manuell inngripen og forbedret datafriskhet;
- Parset XML-data og organiserte dem i strukturerte Snowflake-tabeller for effektiv datalagring og sømløs dataanalyse;
- Designet og implementerte JSON-datainntaksrørledninger, og utnyttet Snowflakes evner til å håndtere nestede og komplekse JSON-strukturer;
- Designet og distribuerte Amazon Redshift-klynger, optimaliserte skjemadesign, distribusjonsnøkler og sorteringsnøkler for optimal spørringsytelse;
- Utnyttet AWS Lambda-funksjoner og Step Functions for å orkestrere ETL-arbeidsflyter, noe som sikrer datanøyaktighet og rettidig behandling;
- Opprettet og vedlikeholdt datavisualiseringer og rapporter ved hjelp av Amazon QuickSight for å legge til rette for dataanalyse og innsikt.
OracleData Analytics
TableauFact Data Modeling
BI Consultant, General Electric
Tech Mahindra•
Aug 2016 - Mar 2019 · 2år 7mInformation Technology (IT) and Services
- Utformet og implementerte Teradata-pakker for å legge til rette for sømløs datautvinning, -transformasjon og -innlasting (ETL) fra ulike kilder til datavarehus;
- Utviklet interaktive og dynamiske rapporter ved hjelp av SSRS, som gir interessenter innsiktsfulle datavisualiseringer til rett tid, slik at de kan ta informerte beslutninger;
- Gjennomført strenge datavaliderings- og kvalitetskontroller for å sikre integriteten og nøyaktigheten til de behandlede dataene;
- Optimalisert ETL-ytelse ved hjelp av avanserte teknikker, noe som resulterte i en 25 % reduksjon i prosesseringstiden;
- Utviklet en strategi for innlasting av data fra flere kildesystemer til det operative laget i datavarehuset ved hjelp av Python, SQL og lagrede prosedyrer;
- Forstått og utviklet designdokumenter som leveranse for prosjektet;
- Implementert SCD Type 1 og Type 2-funksjonalitet og utviklet tilpassede skript i Teradata for integrasjon og utvikling av funksjonalitet for ulike moduler som Primavera P6 og Oracle Project-modulen;
- Administrert og feilsøkt problemer som DWH-analytiker for å sikre en jevn flyt i forretningsdriften;
- Utarbeidet enhetstesttilfeller og utført integrasjonstesting fra ende til ende;
- Delta aktivt i designdiskusjoner og gjennomgå løsninger;
- Deltatt i fagfellediskusjoner om utvikling før du flyttet til høyere miljøer;
- Lastet data fra flere filer til en enkelt måltabell ved hjelp av ODI-variabler;
- Konfigurert og utviklet ETL-kartlegginger for å laste inn data fra XML og komplekse (ustrukturerte/halvstrukturerte) filer;
- Brukt Power BI til å designe og utvikle innsiktsfulle visualiseringer og interaktive dashbord, noe som muliggjør datadrevet beslutningstaking for interessenter og forbedrer overordnede datatekniske løsninger.
OracleData Analytics
XMLTableauFact Data ModelingIngenieurskunst der Spitzenklasse
Alle Data Engineerene som har søkt på Proxify vurderes fra 0 til 300 på teknisk dyktighet, en av de fem parameterne vi evaluerer. Denne poengsummen reflekterer kun teknisk dyktighet, basert på intervjuer, hjemmeoppgaver, live kodingsøkter og/eller arbeidsytelsesvurderinger. Kurven viser hvordan alle vurderte Data Engineerene er fordelt i dette området, hvor vår akseptgrense for denne parameteren er, og hvor Gopal står.
Gopal
Score 219 · Top 3% of engineers
Score 219 · Top 3% of engineers
Sertifikater 3
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
Databricks
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
DatabricksVil du vite mer om Gopal sertifiseringer?Avtal et møte
Utdannelse
University of West London
Computer Software Engineering2022 - 2023JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016Slutt å bla.
Bli matchet raskere.
Snakk med en ekspert og få skreddersydde matcher fra vårt nettverk på bare 2 dager.
Få tilgang til over 6 000+ eksperter
Få en utvikler tilpasset dine behov i løpet av gjennomsnittlig 2 dager
Ansett raskt og enkelt med 94% match suksess