Gopal G.

Gopal G.

Data Engineer

India
Betrodd medlem sedan 2024
8 års erfarenhet

Hans stoltaste prestationer inkluderar skapande och optimering av ETL/ELT-pipelines i multi-cloud-miljöer. Gopals certifieringar inom Google Cloud, AWS, Microsoft Azure och Snowflake visar på hans engagemang för kontinuerligt lärande och professionell excellens.

Han har en magisterexamen i datateknik.

Huvudsaklig expertis

DatabricksDatabricks1 år
Fact Data Modeling8 år
ETLETL8 år
Unix shell7 år
15+

Erfarenhet4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2y 4m
  • Utforma och implementera effektiva och skalbara datapipelines på Google Cloud Platform (GCP) för att samla in, bearbeta och omvandla rådata till användbara format för analys och konsumtion;
  • Ledde och hanterade offshore-team för att framgångsrikt genomföra olika datatekniska uppgifter, säkerställa anpassning till projektmål och upprätthålla högkvalitativa standarder genom regelbunden kommunikation, tydlig dokumentation och effektiv uppgiftsdelegering;
  • Övervakade styrning och efterlevnad av data som lagras i BigQuery, vilket säkerställde efterlevnad av GDPR-reglerna i Storbritannien och EU;
  • Genomfört konsekvensbedömningar av dataskydd (DPIA) för olika projekt på Nissan UK Limited och genomfört nödvändiga åtgärder för att mildra eller minska riskerna;
  • Byggt och underhållit datalager, datasjöar och datasjöhus på GCP med hjälp av tjänster som BigQuery, Google Cloud Storage (GCS) och Bigtable;
  • Integrerade data från olika källor till GCP med hjälp av tjänster som Cloud Storage, Cloud Pub/Sub och Cloud SQL;
  • Implementerade korrekt datastyrning och säkerhetsåtgärder med hjälp av GCP Identity and Access Management (IAM) och Data Loss Prevention (DLP) för att säkerställa efterlevnad;
  • Byggde datapipelines med hjälp av Google Dataflow för att effektivt hantera stora volymer data;
  • Implementerade ETL/ELT-processer för att extrahera data från olika källor och ladda dem i datalager eller datasjöar;
  • Utvecklade strömmande rörledningar för datainmatning i realtid med hjälp av Kafka och Kafka Connect;
  • Implementerade Python-baserade transformationer och BigQuery-procedurer och orkestrerade deras exekvering sömlöst med hjälp av Google Cloud Composer;
  • Konstruerade datatransformationer med Apache Beam, optimerade för topprestanda på Google DataProc-kluster.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2y 7m
  • Utvecklade ETL-processer med hjälp av Python och SQL för att omvandla rådata till användbara format och ladda dem i BigQuery för analys;
  • Byggde och arkitekterade flera datapipelines, hanterade end-to-end ETL- och ELT-processer för datainmatning och transformation i GCP och samordnade uppgifter bland teamet;
  • Utforma och implementera datapipelines med hjälp av GCP-tjänster som Dataflow, Dataproc och Pub/Sub;
  • Migrerade Oracle DSR till BigQuery med hjälp av Dataproc, Python, Airflow och Looker;
  • Designat och utvecklat ett Python ingestion framework för att ladda data från olika källsystem, inklusive AR-moduler, inventeringsmoduler, filer och webbtjänster, till BigQuery;
  • Utvecklade pipelines för att ladda data från kundplacerade manuella filer i Google Drive till GCS och därefter till BigQuery med hjälp av BigQuery-lagrade procedurer;
  • Deltog i kodgranskningar och bidrog till utvecklingen av bästa praxis för datateknik på GCP;
  • Implementerade datasäkerhet och åtkomstkontroller med hjälp av GCP:s Identity and Access Management (IAM) och Cloud Security Command Center.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1y 8m
  • Utforma och implementera Snowflake-datalager, utveckla scheman, tabeller och vyer optimerade för prestanda och datatillgänglighet;
  • Extraherade data från Oracle-databaser, omvandlade dem till CSV-filer och laddade dessa filer till ett Snowflake-datalagerstadium som var värd på AWS S3, vilket säkerställde säker och effektiv dataöverföring och lagring;
  • Skapade och använde virtuella lager i Snowflake baserat på affärskrav, spårade effektivt kreditanvändning för att förbättra affärsinsikter och resursallokering;
  • Utformade och konfigurerade Snowpipe-pipelines för sömlös dataladdning i nära realtid, vilket minskade manuella ingrepp och förbättrade datafriskheten;
  • Parsade XML-data och organiserade dem i strukturerade Snowflake-tabeller för effektiv datalagring och sömlös dataanalys;
  • Utforma och implementera pipelines för JSON-datainmatning genom att utnyttja Snowflakes möjligheter att hantera kapslade och komplexa JSON-strukturer;
  • Utformade och distribuerade Amazon Redshift-kluster, optimerade schemadesign, distributionsnycklar och sorteringsnycklar för optimal frågeprestanda;
  • Utnyttjade AWS Lambda-funktioner och Step Functions för att orkestrera ETL-arbetsflöden, vilket säkerställde datanoggrannhet och snabb bearbetning;
  • Skapar och underhåller datavisualiseringar och rapporter med hjälp av Amazon QuickSight för att underlätta dataanalys och insikter.
OracleOracle
Data Analytics
TableauTableau
Fact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2y 7m
  • Utformade och implementerade Teradata-paket för att underlätta sömlös extraktion, omvandling och laddning (ETL) av data från olika källor till datalager;
  • Utvecklade interaktiva och dynamiska rapporter med hjälp av SSRS, vilket gav intressenter aktuella och insiktsfulla datavisualiseringar för informerat beslutsfattande;
  • Genomförde rigorös datavalidering och kvalitetskontroller för att säkerställa integriteten och noggrannheten i behandlade data;
  • Optimerade ETL-prestanda genom att använda avancerade tekniker, vilket resulterade i en minskning av bearbetningstiden med 25%;
  • Utvecklade ingångsstrategin för att ladda data från flera källsystem till det operativa lagret i datalagret med hjälp av Python, SQL och lagrade procedurer;
  • Förstått och utvecklat designdokument som leverabler för projektet;
  • Implementerat SCD typ 1 och typ 2 funktionalitet och utvecklat anpassade skript i Teradata för integration och funktionsutveckling för olika moduler som Primavera P6 och Oracle Project-modulen;
  • Hanterade och felsökte problem som DWH-analytiker för att säkerställa ett smidigt flöde av affärsverksamheten;
  • Förbereda enhetstestfall och utföra end-to-end integrationstestning;
  • Deltog aktivt i designdiskussioner och granskade lösningar;
  • Deltagit i peer review-diskussioner om utveckling innan jag flyttade till högre miljöer;
  • Laddade data från flera filer till en enda måltabell med hjälp av ODI-variabler;
  • Konfigurera och utveckla ETL-mappningar för att ladda data från XML och komplexa (ostrukturerade/semistrukturerade) filer;
  • Använder Power BI för att designa och utveckla insiktsfulla visualiseringar och interaktiva instrumentpaneler, vilket möjliggör datadrivet beslutsfattande för intressenter och förbättrar övergripande datatekniska lösningar.
OracleOracle
Data Analytics
XMLXML
TableauTableau
Fact Data Modeling

Granskning

Ingenjörsexcellens

Gopal totala prestation i en 90-minuters live-teknisk bedömning rankas inom top 5% av granskade Data Engineer på Proxify.

Certifikat 3

Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Vill du veta mer om Gopal certifieringar?Boka ett möte

Utbildning

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Sluta bläddra.
Få matchad snabbare.