Gopal G.
Data Engineer
Bäst presterande 9/10
India
Medlem sedan 2024
8 års erfarenhet
Hans stoltaste prestationer inkluderar skapande och optimering av ETL/ELT-pipelines i multi-cloud-miljöer. Gopals certifieringar inom Google Cloud, AWS, Microsoft Azure och Snowflake visar på hans engagemang för kontinuerligt lärande och professionell excellens.
Han har en magisterexamen i datateknik.
Huvudsaklig expertis
Databricks1 år
Fact Data Modeling8 år
ETL8 årUnix shell7 år
15+
Erfarenhet4
Data Engineer
Nissan Motor Corporation•
Nov 2023 · 2år 11mAutomotive
- Utforma och implementera effektiva och skalbara datapipelines på Google Cloud Platform (GCP) för att samla in, bearbeta och omvandla rådata till användbara format för analys och konsumtion;
- Ledde och hanterade offshore-team för att framgångsrikt genomföra olika datatekniska uppgifter, säkerställa anpassning till projektmål och upprätthålla högkvalitativa standarder genom regelbunden kommunikation, tydlig dokumentation och effektiv uppgiftsdelegering;
- Övervakade styrning och efterlevnad av data som lagras i BigQuery, vilket säkerställde efterlevnad av GDPR-reglerna i Storbritannien och EU;
- Genomfört konsekvensbedömningar av dataskydd (DPIA) för olika projekt på Nissan UK Limited och genomfört nödvändiga åtgärder för att mildra eller minska riskerna;
- Byggt och underhållit datalager, datasjöar och datasjöhus på GCP med hjälp av tjänster som BigQuery, Google Cloud Storage (GCS) och Bigtable;
- Integrerade data från olika källor till GCP med hjälp av tjänster som Cloud Storage, Cloud Pub/Sub och Cloud SQL;
- Implementerade korrekt datastyrning och säkerhetsåtgärder med hjälp av GCP Identity and Access Management (IAM) och Data Loss Prevention (DLP) för att säkerställa efterlevnad;
- Byggde datapipelines med hjälp av Google Dataflow för att effektivt hantera stora volymer data;
- Implementerade ETL/ELT-processer för att extrahera data från olika källor och ladda dem i datalager eller datasjöar;
- Utvecklade strömmande rörledningar för datainmatning i realtid med hjälp av Kafka och Kafka Connect;
- Implementerade Python-baserade transformationer och BigQuery-procedurer och orkestrerade deras exekvering sömlöst med hjälp av Google Cloud Composer;
- Konstruerade datatransformationer med Apache Beam, optimerade för topprestanda på Google DataProc-kluster.
Google Cloud
Pandas
AWS Athena
BigQuery
Data Analytics7+
Data Engineer
Technovert•
Nov 2020 - Jun 2023 · 2år 7mInformation Technology (IT) and Services
- Utvecklade ETL-processer med hjälp av Python och SQL för att omvandla rådata till användbara format och ladda dem i BigQuery för analys;
- Byggde och arkitekterade flera datapipelines, hanterade end-to-end ETL- och ELT-processer för datainmatning och transformation i GCP och samordnade uppgifter bland teamet;
- Utforma och implementera datapipelines med hjälp av GCP-tjänster som Dataflow, Dataproc och Pub/Sub;
- Migrerade Oracle DSR till BigQuery med hjälp av Dataproc, Python, Airflow och Looker;
- Designat och utvecklat ett Python ingestion framework för att ladda data från olika källsystem, inklusive AR-moduler, inventeringsmoduler, filer och webbtjänster, till BigQuery;
- Utvecklade pipelines för att ladda data från kundplacerade manuella filer i Google Drive till GCS och därefter till BigQuery med hjälp av BigQuery-lagrade procedurer;
- Deltog i kodgranskningar och bidrog till utvecklingen av bästa praxis för datateknik på GCP;
- Implementerade datasäkerhet och åtkomstkontroller med hjälp av GCP:s Identity and Access Management (IAM) och Cloud Security Command Center.
Oracle
Azure Data FactoryPandas
ClouderaBigQuery8+
Data Engineer
Accenture•
Mar 2019 - Nov 2020 · 1år 8mInformation Technology (IT) and Services
- Utforma och implementera Snowflake-datalager, utveckla scheman, tabeller och vyer optimerade för prestanda och datatillgänglighet;
- Extraherade data från Oracle-databaser, omvandlade dem till CSV-filer och laddade dessa filer till ett Snowflake-datalagerstadium som var värd på AWS S3, vilket säkerställde säker och effektiv dataöverföring och lagring;
- Skapade och använde virtuella lager i Snowflake baserat på affärskrav, spårade effektivt kreditanvändning för att förbättra affärsinsikter och resursallokering;
- Utformade och konfigurerade Snowpipe-pipelines för sömlös dataladdning i nära realtid, vilket minskade manuella ingrepp och förbättrade datafriskheten;
- Parsade XML-data och organiserade dem i strukturerade Snowflake-tabeller för effektiv datalagring och sömlös dataanalys;
- Utforma och implementera pipelines för JSON-datainmatning genom att utnyttja Snowflakes möjligheter att hantera kapslade och komplexa JSON-strukturer;
- Utformade och distribuerade Amazon Redshift-kluster, optimerade schemadesign, distributionsnycklar och sorteringsnycklar för optimal frågeprestanda;
- Utnyttjade AWS Lambda-funktioner och Step Functions för att orkestrera ETL-arbetsflöden, vilket säkerställde datanoggrannhet och snabb bearbetning;
- Skapar och underhåller datavisualiseringar och rapporter med hjälp av Amazon QuickSight för att underlätta dataanalys och insikter.
OracleData Analytics
TableauFact Data Modeling
BI Consultant, General Electric
Tech Mahindra•
Aug 2016 - Mar 2019 · 2år 7mInformation Technology (IT) and Services
- Utformade och implementerade Teradata-paket för att underlätta sömlös extraktion, omvandling och laddning (ETL) av data från olika källor till datalager;
- Utvecklade interaktiva och dynamiska rapporter med hjälp av SSRS, vilket gav intressenter aktuella och insiktsfulla datavisualiseringar för informerat beslutsfattande;
- Genomförde rigorös datavalidering och kvalitetskontroller för att säkerställa integriteten och noggrannheten i behandlade data;
- Optimerade ETL-prestanda genom att använda avancerade tekniker, vilket resulterade i en minskning av bearbetningstiden med 25%;
- Utvecklade ingångsstrategin för att ladda data från flera källsystem till det operativa lagret i datalagret med hjälp av Python, SQL och lagrade procedurer;
- Förstått och utvecklat designdokument som leverabler för projektet;
- Implementerat SCD typ 1 och typ 2 funktionalitet och utvecklat anpassade skript i Teradata för integration och funktionsutveckling för olika moduler som Primavera P6 och Oracle Project-modulen;
- Hanterade och felsökte problem som DWH-analytiker för att säkerställa ett smidigt flöde av affärsverksamheten;
- Förbereda enhetstestfall och utföra end-to-end integrationstestning;
- Deltog aktivt i designdiskussioner och granskade lösningar;
- Deltagit i peer review-diskussioner om utveckling innan jag flyttade till högre miljöer;
- Laddade data från flera filer till en enda måltabell med hjälp av ODI-variabler;
- Konfigurera och utveckla ETL-mappningar för att ladda data från XML och komplexa (ostrukturerade/semistrukturerade) filer;
- Använder Power BI för att designa och utveckla insiktsfulla visualiseringar och interaktiva instrumentpaneler, vilket möjliggör datadrivet beslutsfattande för intressenter och förbättrar övergripande datatekniska lösningar.
OracleData Analytics
XMLTableauFact Data ModelingIngenjörsexcellens
Alla Data Engineerer som har ansökt till Proxify får ett betyg från 0 till 300 på ingenjörskompetens, en av de fem parametrar vi utvärderar. Detta betyg speglar endast ingenjörskompetens och baseras på intervjuer, hemuppgifter, live-kodningssessioner och/eller prestationer på jobbet. Kurvan visar hur alla utvärderade Data Engineerer är fördelade över det intervallet, var vår accepteringsgräns för denna parameter ligger och var Gopal befinner sig.
Gopal
Score 219 · Top 3% of engineers
Score 219 · Top 3% of engineers
Certifikat 3
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
Databricks
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
DatabricksVill du veta mer om Gopal certifieringar?Boka ett möte
Utbildning
University of West London
Computer Software Engineering2022 - 2023JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016Sluta bläddra.
Få matchad snabbare.
Prata med en expert och få skräddarsydda matchningar från vårt nätverk på bara 2 dagar.
Tillgång till över 6 000+ experter
Hitta en utvecklare i genomsnitt 2 dagar
Anställ snabbt och enkelt med 94% matchningsframgång