Gopal G.
Data Engineer
India
Betroet medlem siden 2024
8 års erfaring
Hans stolteste resultater omfatter oprettelse og optimering af ETL/ELT-pipelines på tværs af multi-cloud-miljøer. Gopals certificeringer i Google Cloud, AWS, Microsoft Azure og Snowflake understreger hans engagement i løbende læring og professionel ekspertise.
Han har en kandidatgrad i datateknik.
Hovedekspertise
Databricks1 årFact Data Modeling8 år
ETL8 årUnix shell7 år
15+
Erfaring4
Data Engineer
Nissan Motor Corporation•
Nov 2023 · 2y 4mAutomotive
- Designet og implementeret effektive og skalerbare datapipelines på Google Cloud Platform (GCP) til at indsamle, behandle og omdanne rådata til brugbare formater til analyse og forbrug;
- Ledte og administrerede offshore-teams for at implementere forskellige datatekniske opgaver med succes, sikre tilpasning til projektmål og opretholde standarder af høj kvalitet gennem regelmæssig kommunikation, klar dokumentation og effektiv uddelegering af opgaver;
- Overvågning af styring og overholdelse af data, der er gemt i BigQuery, og sikring af overholdelse af GDPR-reglerne i Storbritannien og EU;
- Gennemført konsekvensanalyser af databeskyttelse (DPIA) for forskellige projekter hos Nissan UK Limited og implementeret nødvendige foranstaltninger for at afbøde eller reducere risici;
- Bygget og vedligeholdt datalagre, datasøer og datasøhuse på GCP ved hjælp af tjenester som BigQuery, Google Cloud Storage (GCS) og Bigtable;
- Integreret data fra forskellige kilder i GCP ved hjælp af tjenester som Cloud Storage, Cloud Pub/Sub og Cloud SQL;
- Implementeret korrekt datastyring og sikkerhedsforanstaltninger ved hjælp af GCP Identity and Access Management (IAM) og Data Loss Prevention (DLP) for at sikre overholdelse;
- Bygget datapipelines ved hjælp af Google Dataflow til effektiv håndtering af store datamængder;
- Implementeret ETL/ELT-processer for at udtrække data fra forskellige kilder og indlæse dem i datavarehuse eller datasøer;
- Udviklet streaming pipelines til indlæsning af data i realtid ved hjælp af Kafka og Kafka Connect;
- Implementeret Python-baserede transformationer og BigQuery-procedurer og orkestreret deres udførelse problemfrit ved hjælp af Google Cloud Composer;
- Konstruerede datatransformationer ved hjælp af Apache Beam, optimeret til maksimal ydeevne på Google DataProc-klynger.
Google Cloud
Pandas
AWS Athena
BigQueryData Analytics
7+
Data Engineer
Technovert•
Nov 2020 - Jun 2023 · 2y 7mInformation Technology (IT) and Services
- Udviklet ETL-processer ved hjælp af Python og SQL for at omdanne rådata til brugbare formater og indlæse dem i BigQuery til analyse;
- Byggede og arkitekterede flere datapipelines, styrede end-to-end ETL- og ELT-processer til dataindlæsning og -transformation i GCP og koordinerede opgaver blandt teamet;
- Designet og implementeret datapipelines ved hjælp af GCP-tjenester som Dataflow, Dataproc og Pub/Sub;
- Migrerede Oracle DSR til BigQuery ved hjælp af Dataproc, Python, Airflow og Looker;
- Designede og udviklede en Python-indlæsningsramme til at indlæse data fra forskellige kildesystemer, herunder AR-moduler, lagermoduler, filer og webtjenester, i BigQuery;
- Udviklet pipelines til at indlæse data fra kundeplacerede manuelle filer i Google Drive til GCS og efterfølgende til BigQuery ved hjælp af BigQuery stored procedures;
- Deltaget i kodegennemgange og bidraget til udviklingen af bedste praksis for datateknik på GCP;
- Implementeret datasikkerhed og adgangskontrol ved hjælp af GCP's Identity and Access Management (IAM) og Cloud Security Command Center.
Oracle
Azure Data FactoryPandas
ClouderaBigQuery8+
Data Engineer
Accenture•
Mar 2019 - Nov 2020 · 1y 8mInformation Technology (IT) and Services
- Designede og implementerede Snowflake-datalagre og udviklede skemaer, tabeller og visninger, der var optimeret til ydeevne og datatilgængelighed;
- Udtræk af data fra Oracle-databaser, omdannelse til CSV-filer og indlæsning af disse filer i en Snowflake-datalagerfase, der er hostet på AWS S3, hvilket sikrer sikker og effektiv dataoverførsel og -lagring;
- Oprettede og brugte virtuelle lagre i Snowflake baseret på forretningskrav, sporede effektivt kreditforbrug for at forbedre forretningsindsigt og ressourceallokering;
- Designede og konfigurerede Snowpipe-pipelines til problemfri dataindlæsning i næsten realtid, hvilket reducerede manuel indgriben og forbedrede dataenes friskhed;
- Parsede XML-data og organiserede dem i strukturerede Snowflake-tabeller for effektiv datalagring og problemfri dataanalyse;
- Designet og implementeret JSON-dataindtagelsespipelines, der udnytter Snowflakes muligheder for at håndtere indlejrede og komplekse JSON-strukturer;
- Design og implementering af Amazon Redshift-klynger, optimering af skemadesign, fordelingsnøgler og sorteringsnøgler for optimal forespørgselsydelse;
- Udnyttede AWS Lambda-funktioner og Step Functions til at orkestrere ETL-workflows og sikre datanøjagtighed og rettidig behandling;
- Oprettet og vedligeholdt datavisualiseringer og rapporter ved hjælp af Amazon QuickSight for at lette dataanalyse og indsigt.
OracleData Analytics
TableauFact Data Modeling
BI Consultant, General Electric
Tech Mahindra•
Aug 2016 - Mar 2019 · 2y 7mInformation Technology (IT) and Services
- Designede og implementerede Teradata-pakker for at lette problemfri dataudtræk, -transformation og -indlæsning (ETL) fra forskellige kilder til datalagre;
- Udviklet interaktive og dynamiske rapporter ved hjælp af SSRS, der giver interessenter rettidige og indsigtsfulde datavisualiseringer til informeret beslutningstagning;
- Udførte streng datavalidering og kvalitetskontrol for at sikre integriteten og nøjagtigheden af de behandlede data;
- Optimeret ETL-ydelse ved hjælp af avancerede teknikker, hvilket resulterede i en reduktion af behandlingstiden på 25 %;
- Udviklet indlæsningsstrategien til indlæsning af data fra flere kildesystemer til det operationelle lag i datalageret ved hjælp af Python, SQL og lagrede procedurer;
- Forstået og udviklet designdokumenter som leverancer til projektet;
- Implementeret SCD Type 1 og Type 2 funktionalitet og udviklet brugerdefinerede scripts i Teradata til integration og udvikling af funktionalitet til forskellige moduler som Primavera P6 og Oracle Project-modulet;
- Administrerede og fejlsøgte problemer som DWH-analytiker for at sikre et jævnt flow i forretningsdriften;
- Forberedte unit test cases og udførte end-to-end integrationstest;
- Deltog aktivt i designdiskussioner og gennemgik løsninger;
- Deltaget i peer review-diskussioner om udvikling, før du flyttede til højere miljøer;
- Indlæsning af data fra flere filer til en enkelt måltabel ved hjælp af ODI-variabler;
- Konfigureret og udviklet ETL-mappings til at indlæse data fra XML og komplekse (ustrukturerede/semistrukturerede) filer;
- Brugte Power BI til at designe og udvikle indsigtsfulde visualiseringer og interaktive dashboards, der muliggjorde datadrevet beslutningstagning for interessenter og forbedrede overordnede datatekniske løsninger.
OracleData Analytics
XMLTableauFact Data Modeling
Vurderinger
Ingeniørmæssig fremragendehed
Gopal samlede præstation i en 90-minutters teknisk vurdering i realtid er blandt de top 5% bedst kontrollerede Data Engineer hos Proxify.
Certifikater 3
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
Databricks
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
DatabricksVil du vide mere om Gopal certificeringer?Book et opkald
Uddannelse
University of West London
Computer Software Engineering2022 - 2023JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016Stop med at søge.
Bliv matchet hurtigere.
Tal med en ekspert og få skræddersyede matches fra vores netværk på kun 2 dage.
Få adgang til over 6.000+ eksperter
Få matchet med en udvikler på gennemsnitligt 2 dage
Ansæt hurtigt og nemt med 94 % matchsuccess