Gopal G.
Data Engineer
Huippusuoritus 9/10
India
Luotettava jäsen vuodesta 2024
8 vuoden kokemus
Hänen ylpeimpiin saavutuksiinsa kuuluu ETL/ELT-putkien luominen ja optimointi monipilviympäristöissä. Gopalin Google Cloud-, AWS-, Microsoft Azure- ja Snowflake-sertifikaatit korostavat hänen sitoutumistaan jatkuvaan oppimiseen ja ammatilliseen huippuosaamiseen.
Hänellä on tietotekniikan maisterin tutkinto.
Tärkein asiantuntemus
Databricks1 vuosi
Fact Data Modeling8 vuotta
ETL8 vuottaUnix shell7 vuotta
15+
Kokemus4
Data Engineer
Nissan Motor Corporation•
Nov 2023 · 2v 11kAutomotive
- Suunnitellut ja toteuttanut tehokkaita ja skaalautuvia dataputkia Google Cloud Platformilla (GCP) raakadatan keräämiseksi, käsittelemiseksi ja muuntamiseksi käyttökelpoisiin muotoihin analysointia ja kulutusta varten;
- Johti ja johti offshore-tiimejä, jotka toteuttivat menestyksekkäästi erilaisia tietoteknisiä tehtäviä, varmistamalla yhdenmukaisuuden projektin tavoitteiden kanssa ja ylläpitämällä laadukkaita standardeja säännöllisen viestinnän, selkeän dokumentaation ja tehokkaan tehtävien delegoinnin avulla;
- Valvoi BigQueryyn tallennettujen tietojen hallintaa ja vaatimustenmukaisuutta varmistaen Yhdistyneen kuningaskunnan ja EU:n GDPR-säännösten noudattamisen;
- Suoritti tietosuojaan kohdistuvien vaikutusten arviointeja (Data Privacy Impact Assessments, DPIA) Nissan UK Limitedin eri hankkeissa ja toteutti tarvittavat toimenpiteet riskien lieventämiseksi tai vähentämiseksi;
- Rakensit ja ylläpidit tietovarastoja, data-järviä ja data-järvitaloja GCP:ssä käyttäen palveluja, kuten BigQuery, Google Cloud Storage (GCS) ja Bigtable;
- Eri lähteistä peräisin olevien tietojen integrointi GCP:hen käyttäen palveluja, kuten Cloud Storage, Cloud Pub/Sub ja Cloud SQL;
- Toteutti asianmukaiset tiedonhallinta- ja tietoturvatoimenpiteet GCP:n identiteetin- ja pääsynhallinnan (IAM) ja tietojen menetyksen eston (DLP) avulla vaatimustenmukaisuuden varmistamiseksi;
- Rakensit Google Dataflow'ta käyttäviä dataputkia suurten tietomäärien tehokkaaseen käsittelyyn;
- Toteutti ETL/ELT-prosessit tietojen poimimiseksi eri lähteistä ja niiden lataamiseksi tietovarastoihin tai datajärviin;
- Kehitit suoratoistoputkistoja reaaliaikaista datan syöttöä varten hyödyntäen Kafkaa ja Kafka Connectia;
- Toteutti Python-pohjaisia muunnoksia ja BigQuery-proseduureja ja orkestroi niiden suorituksen saumattomasti Google Cloud Composerin avulla;
- Suunnitellut tietomuunnokset Apache Beamin avulla, jotka on optimoitu huippusuorituskykyyn Google DataProc -klustereissa.
Google Cloud
Pandas
AWS Athena
BigQuery
Data Analytics7+
Data Engineer
Technovert•
Nov 2020 - Jun 2023 · 2v 7kInformation Technology (IT) and Services
- Kehitit ETL-prosesseja Pythonilla ja SQL:llä raakadatan muuntamiseksi käyttökelpoisiin muotoihin ja niiden lataamiseksi BigQueryyn analysointia varten;
- Rakensi ja arkkitehtoi useita dataputkia, hallinnoi end-to-end ETL- ja ELT-prosesseja GCP:ssä tapahtuvaa tietojen syöttöä ja muuntamista varten ja koordinoi tehtäviä tiimin kesken;
- Suunnitellut ja toteuttanut dataputkistoja käyttäen GCP-palveluja, kuten Dataflow, Dataproc ja Pub/Sub;
- Siirrettiin Oracle DSR BigQueryyn Dataprocin, Pythonin, Airflow'n ja Lookerin avulla;
- Suunnitteli ja kehitti Python-ingestion-kehyksen tietojen lataamiseksi BigQueryyn erilaisista lähdejärjestelmistä, mukaan lukien AR-moduulit, varastomoduulit, tiedostot ja verkkopalvelut;
- Kehitettiin putkia tietojen lataamiseksi asiakkaan Google Driveen sijoitetuista manuaalisista tiedostoista GCS:ään ja sen jälkeen BigQueryyn BigQueryn tallennettujen proseduurien avulla;
- Osallistui koodin tarkistuksiin ja osallistui GCP:n tietotekniikan parhaiden käytäntöjen kehittämiseen;
- Toteutti tietoturvaa ja käyttöoikeuksien valvontaa GCP:n Identity and Access Management (IAM) -järjestelmän ja Cloud Security Command Centerin avulla.
Oracle
Azure Data FactoryPandas
ClouderaBigQuery8+
Data Engineer
Accenture•
Mar 2019 - Nov 2020 · 1v 8kInformation Technology (IT) and Services
- Suunnitellut ja toteuttanut Snowflake-tietovarastoja, kehittänyt suorituskyvyn ja tietojen saatavuuden kannalta optimoituja skeemoja, taulukoita ja näkymiä;
- Poimi tietoja Oracle-tietokannoista, muutti ne CSV-tiedostoiksi ja latasi nämä tiedostot Snowflake-tietovarastovaiheeseen, jota isännöitiin AWS S3:ssa, varmistaen turvallisen ja tehokkaan tiedonsiirron ja tallennuksen;
- Luotu ja hyödynnetty virtuaalivarastoja Snowflakessa liiketoimintavaatimusten perusteella, seurattu tehokkaasti luoton käyttöä liiketoiminnan näkemysten ja resurssien kohdentamisen parantamiseksi;
- Suunnittelit ja konfiguroit Snowpipe-putkistoja saumatonta ja lähes reaaliaikaista tietojen lataamista varten, mikä vähentää manuaalisia toimenpiteitä ja parantaa tietojen tuoreutta;
- Parsittiin XML-tiedot ja järjestettiin ne jäsenneltyihin Snowflake-taulukoihin tietojen tehokasta tallentamista ja saumatonta tietojen analysointia varten;
- Suunnitellut ja toteuttanut JSON-tietojen sisäänottoputkia hyödyntäen Snowflaken ominaisuuksia käsitellä sisäkkäisiä ja monimutkaisia JSON-rakenteita;
- Suunnitellut ja ottanut käyttöön Amazon Redshift -klustereita optimoimalla skeemojen suunnittelua, jakeluavaimia ja lajitteluavaimia optimaalisen kyselysuorituskyvyn saavuttamiseksi;
- Hyödynsi AWS Lambda -toimintoja ja Step Functions -toimintoja ETL-työnkulkujen orkestroimiseksi varmistaen tietojen oikeellisuuden ja oikea-aikaisen käsittelyn;
- Luonut ja ylläpitänyt tietojen visualisointeja ja raportteja Amazon QuickSightin avulla tietojen analysoinnin ja oivallusten helpottamiseksi.
OracleData Analytics
TableauFact Data Modeling
BI Consultant, General Electric
Tech Mahindra•
Aug 2016 - Mar 2019 · 2v 7kInformation Technology (IT) and Services
- Suunnitellut ja toteuttanut Teradata-paketteja, joilla helpotetaan saumattomia tietojen louhinta-, muuntamis- ja lataustoimintoja (ETL) eri lähteistä tietovarastoihin;
- Kehitti vuorovaikutteisia ja dynaamisia raportteja SSRS:n avulla ja tarjosi sidosryhmille ajantasaisia ja oivaltavia tietovisualisointeja tietoon perustuvaa päätöksentekoa varten;
- Suoritti tiukkaa tietojen validointia ja laatutarkastuksia käsiteltyjen tietojen eheyden ja tarkkuuden varmistamiseksi;
- Optimoitu ETL-suorituskyky käyttämällä kehittyneitä tekniikoita, minkä ansiosta käsittelyaika lyheni 25 %;
- Kehitti sisäänottostrategian tietojen lataamiseksi useista lähdejärjestelmistä tietovaraston operatiiviseen kerrokseen Pythonin, SQL:n ja tallennettujen proseduurien avulla;
- Ymmärretty ja kehitetty suunnitteluasiakirjoja projektin tuotoksina;
- Toteutti SCD Type 1 ja Type 2 -toiminnallisuuksia ja kehitti mukautettuja skriptejä Teradatassa eri moduuleiden, kuten Primavera P6:n ja Oracle Project -moduulin, integrointia ja toiminnallisuuden kehittämistä varten;
- Hallinnoi ja korjasi ongelmia DWH-analyytikkona liiketoiminnan sujuvuuden varmistamiseksi;
- Valmisteli yksikkötestitapauksia ja suoritti päästä päähän -integrointitestauksen;
- Osallistui aktiivisesti suunnittelukeskusteluihin ja tarkisti ratkaisuja;
- Osallistunut vertaisarviointikeskusteluihin kehityksestä ennen siirtymistä korkeampiin ympäristöihin;
- Tietojen lataaminen useista tiedostoista yhteen kohdetaulukkoon ODI-muuttujien avulla;
- Määrittänyt ja kehittänyt ETL-kartoituksia tietojen lataamiseksi XML-tiedostoista ja monimutkaisista (jäsentymättömistä/puolistrukturoiduista) tiedostoista;
- Hyödynsi Power BI:tä suunnitellaksesi ja kehittääksesi oivaltavia visualisointeja ja interaktiivisia kojelautoja, jotka mahdollistavat sidosryhmien tietoon perustuvan päätöksenteon ja parantavat yleisiä tietoteknisiä ratkaisuja.
OracleData Analytics
XMLTableauFact Data ModelingTekniikan huippuosaaminen
Kaikki Data Engineert, jotka ovat hakeneet Proxifylle, pisteytetään välillä 0–300 insinööritaidon perusteella, joka on yksi viidestä arvioimastamme parametrista. Tämä pistemäärä heijastaa ainoastaan insinööritaitoa, perustuen haastatteluihin, kotitehtäviin, suorissa koodausistunnoissa sekä työn suorituskyvyn arvioinnissa annettuihin tuloksiin. Kaavio näyttää, miten kaikki arvioidut Data Engineert jakautuvat tässä mittakaavassa, hyväksymisrajamme tälle parametrille sekä missä kohtaa Gopal sijaitsee.
Gopal
Score 219 · Top 3% of engineers
Score 219 · Top 3% of engineers
Sertifikaatit 3
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
Databricks
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
DatabricksHaluatko tietää enemmän Gopal sertifikaateista?Varaa puhelu
Koulutus
University of West London
Computer Software Engineering2022 - 2023JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016Lopeta selaaminen.
Sovitetaan nopeammin.
Keskustele asiantuntijan kanssa ja saat räätälöityjä ehdotuksia verkostostamme vain 2 päivässä.
Pääsy yli 6 000+ asiantuntijaa
Löydä kehittäjä keskimäärin 2 päivässä
Palkkaa nopeasti ja helposti 94% onnistuneella osumalla