Gopal G.

Gopal G.

Data Engineer

India
Luotettava jäsen vuodesta 2024
8 vuoden kokemus

Hänen ylpeimpiin saavutuksiinsa kuuluu ETL/ELT-putkien luominen ja optimointi monipilviympäristöissä. Gopalin Google Cloud-, AWS-, Microsoft Azure- ja Snowflake-sertifikaatit korostavat hänen sitoutumistaan jatkuvaan oppimiseen ja ammatilliseen huippuosaamiseen.

Hänellä on tietotekniikan maisterin tutkinto.

Tärkein asiantuntemus

DatabricksDatabricks1 vuosi
Fact Data Modeling8 vuotta
ETLETL8 vuotta
Unix shell7 vuotta
15+

Kokemus4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2y 4m
  • Suunnitellut ja toteuttanut tehokkaita ja skaalautuvia dataputkia Google Cloud Platformilla (GCP) raakadatan keräämiseksi, käsittelemiseksi ja muuntamiseksi käyttökelpoisiin muotoihin analysointia ja kulutusta varten;
  • Johti ja johti offshore-tiimejä, jotka toteuttivat menestyksekkäästi erilaisia tietoteknisiä tehtäviä, varmistamalla yhdenmukaisuuden projektin tavoitteiden kanssa ja ylläpitämällä laadukkaita standardeja säännöllisen viestinnän, selkeän dokumentaation ja tehokkaan tehtävien delegoinnin avulla;
  • Valvoi BigQueryyn tallennettujen tietojen hallintaa ja vaatimustenmukaisuutta varmistaen Yhdistyneen kuningaskunnan ja EU:n GDPR-säännösten noudattamisen;
  • Suoritti tietosuojaan kohdistuvien vaikutusten arviointeja (Data Privacy Impact Assessments, DPIA) Nissan UK Limitedin eri hankkeissa ja toteutti tarvittavat toimenpiteet riskien lieventämiseksi tai vähentämiseksi;
  • Rakensit ja ylläpidit tietovarastoja, data-järviä ja data-järvitaloja GCP:ssä käyttäen palveluja, kuten BigQuery, Google Cloud Storage (GCS) ja Bigtable;
  • Eri lähteistä peräisin olevien tietojen integrointi GCP:hen käyttäen palveluja, kuten Cloud Storage, Cloud Pub/Sub ja Cloud SQL;
  • Toteutti asianmukaiset tiedonhallinta- ja tietoturvatoimenpiteet GCP:n identiteetin- ja pääsynhallinnan (IAM) ja tietojen menetyksen eston (DLP) avulla vaatimustenmukaisuuden varmistamiseksi;
  • Rakensit Google Dataflow'ta käyttäviä dataputkia suurten tietomäärien tehokkaaseen käsittelyyn;
  • Toteutti ETL/ELT-prosessit tietojen poimimiseksi eri lähteistä ja niiden lataamiseksi tietovarastoihin tai datajärviin;
  • Kehitit suoratoistoputkistoja reaaliaikaista datan syöttöä varten hyödyntäen Kafkaa ja Kafka Connectia;
  • Toteutti Python-pohjaisia muunnoksia ja BigQuery-proseduureja ja orkestroi niiden suorituksen saumattomasti Google Cloud Composerin avulla;
  • Suunnitellut tietomuunnokset Apache Beamin avulla, jotka on optimoitu huippusuorituskykyyn Google DataProc -klustereissa.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2y 7m
  • Kehitit ETL-prosesseja Pythonilla ja SQL:llä raakadatan muuntamiseksi käyttökelpoisiin muotoihin ja niiden lataamiseksi BigQueryyn analysointia varten;
  • Rakensi ja arkkitehtoi useita dataputkia, hallinnoi end-to-end ETL- ja ELT-prosesseja GCP:ssä tapahtuvaa tietojen syöttöä ja muuntamista varten ja koordinoi tehtäviä tiimin kesken;
  • Suunnitellut ja toteuttanut dataputkistoja käyttäen GCP-palveluja, kuten Dataflow, Dataproc ja Pub/Sub;
  • Siirrettiin Oracle DSR BigQueryyn Dataprocin, Pythonin, Airflow'n ja Lookerin avulla;
  • Suunnitteli ja kehitti Python-ingestion-kehyksen tietojen lataamiseksi BigQueryyn erilaisista lähdejärjestelmistä, mukaan lukien AR-moduulit, varastomoduulit, tiedostot ja verkkopalvelut;
  • Kehitettiin putkia tietojen lataamiseksi asiakkaan Google Driveen sijoitetuista manuaalisista tiedostoista GCS:ään ja sen jälkeen BigQueryyn BigQueryn tallennettujen proseduurien avulla;
  • Osallistui koodin tarkistuksiin ja osallistui GCP:n tietotekniikan parhaiden käytäntöjen kehittämiseen;
  • Toteutti tietoturvaa ja käyttöoikeuksien valvontaa GCP:n Identity and Access Management (IAM) -järjestelmän ja Cloud Security Command Centerin avulla.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1y 8m
  • Suunnitellut ja toteuttanut Snowflake-tietovarastoja, kehittänyt suorituskyvyn ja tietojen saatavuuden kannalta optimoituja skeemoja, taulukoita ja näkymiä;
  • Poimi tietoja Oracle-tietokannoista, muutti ne CSV-tiedostoiksi ja latasi nämä tiedostot Snowflake-tietovarastovaiheeseen, jota isännöitiin AWS S3:ssa, varmistaen turvallisen ja tehokkaan tiedonsiirron ja tallennuksen;
  • Luotu ja hyödynnetty virtuaalivarastoja Snowflakessa liiketoimintavaatimusten perusteella, seurattu tehokkaasti luoton käyttöä liiketoiminnan näkemysten ja resurssien kohdentamisen parantamiseksi;
  • Suunnittelit ja konfiguroit Snowpipe-putkistoja saumatonta ja lähes reaaliaikaista tietojen lataamista varten, mikä vähentää manuaalisia toimenpiteitä ja parantaa tietojen tuoreutta;
  • Parsittiin XML-tiedot ja järjestettiin ne jäsenneltyihin Snowflake-taulukoihin tietojen tehokasta tallentamista ja saumatonta tietojen analysointia varten;
  • Suunnitellut ja toteuttanut JSON-tietojen sisäänottoputkia hyödyntäen Snowflaken ominaisuuksia käsitellä sisäkkäisiä ja monimutkaisia JSON-rakenteita;
  • Suunnitellut ja ottanut käyttöön Amazon Redshift -klustereita optimoimalla skeemojen suunnittelua, jakeluavaimia ja lajitteluavaimia optimaalisen kyselysuorituskyvyn saavuttamiseksi;
  • Hyödynsi AWS Lambda -toimintoja ja Step Functions -toimintoja ETL-työnkulkujen orkestroimiseksi varmistaen tietojen oikeellisuuden ja oikea-aikaisen käsittelyn;
  • Luonut ja ylläpitänyt tietojen visualisointeja ja raportteja Amazon QuickSightin avulla tietojen analysoinnin ja oivallusten helpottamiseksi.
OracleOracle
Data Analytics
TableauTableau
Fact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2y 7m
  • Suunnitellut ja toteuttanut Teradata-paketteja, joilla helpotetaan saumattomia tietojen louhinta-, muuntamis- ja lataustoimintoja (ETL) eri lähteistä tietovarastoihin;
  • Kehitti vuorovaikutteisia ja dynaamisia raportteja SSRS:n avulla ja tarjosi sidosryhmille ajantasaisia ja oivaltavia tietovisualisointeja tietoon perustuvaa päätöksentekoa varten;
  • Suoritti tiukkaa tietojen validointia ja laatutarkastuksia käsiteltyjen tietojen eheyden ja tarkkuuden varmistamiseksi;
  • Optimoitu ETL-suorituskyky käyttämällä kehittyneitä tekniikoita, minkä ansiosta käsittelyaika lyheni 25 %;
  • Kehitti sisäänottostrategian tietojen lataamiseksi useista lähdejärjestelmistä tietovaraston operatiiviseen kerrokseen Pythonin, SQL:n ja tallennettujen proseduurien avulla;
  • Ymmärretty ja kehitetty suunnitteluasiakirjoja projektin tuotoksina;
  • Toteutti SCD Type 1 ja Type 2 -toiminnallisuuksia ja kehitti mukautettuja skriptejä Teradatassa eri moduuleiden, kuten Primavera P6:n ja Oracle Project -moduulin, integrointia ja toiminnallisuuden kehittämistä varten;
  • Hallinnoi ja korjasi ongelmia DWH-analyytikkona liiketoiminnan sujuvuuden varmistamiseksi;
  • Valmisteli yksikkötestitapauksia ja suoritti päästä päähän -integrointitestauksen;
  • Osallistui aktiivisesti suunnittelukeskusteluihin ja tarkisti ratkaisuja;
  • Osallistunut vertaisarviointikeskusteluihin kehityksestä ennen siirtymistä korkeampiin ympäristöihin;
  • Tietojen lataaminen useista tiedostoista yhteen kohdetaulukkoon ODI-muuttujien avulla;
  • Määrittänyt ja kehittänyt ETL-kartoituksia tietojen lataamiseksi XML-tiedostoista ja monimutkaisista (jäsentymättömistä/puolistrukturoiduista) tiedostoista;
  • Hyödynsi Power BI:tä suunnitellaksesi ja kehittääksesi oivaltavia visualisointeja ja interaktiivisia kojelautoja, jotka mahdollistavat sidosryhmien tietoon perustuvan päätöksenteon ja parantavat yleisiä tietoteknisiä ratkaisuja.
OracleOracle
Data Analytics
XMLXML
TableauTableau
Fact Data Modeling

Arviointi

Tekniikan huippuosaaminen

Gopal yleinen suorituskyky 90 minuutin suorassa teknisessä arvioinnissa on top 5 % Proxifyn tarkastetuista Data Engineer.

Sertifikaatit 3

Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Haluatko tietää enemmän Gopal sertifikaateista?Varaa puhelu

Koulutus

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Lopeta selaaminen.
Sovitetaan nopeammin.