Gopal G.

Gopal G.

Data Engineer

India
Vertrouwd lid sinds 2024
8 jaar ervaring

Tot zijn meest trotse prestaties behoren het creëren en optimaliseren van ETL/ELT-pijplijnen in multi-cloudomgevingen. Gopals Google Cloud-, AWS-, Microsoft Azure- en Snowflake-certificeringen onderstrepen zijn streven naar continu leren en professionele uitmuntendheid.

Hij heeft een mastergraad in Computer Engineering.

Hoofd expertise

DatabricksDatabricks1 jaar
Fact Data Modeling8 jaar
ETLETL8 jaar
Unix shell7 jaar
15+

Ervaring4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2y 4m
  • Ontwerpen en implementeren van efficiënte en schaalbare data pipelines op Google Cloud Platform (GCP) voor het verzamelen, verwerken en transformeren van ruwe data naar bruikbare formaten voor analyse en consumptie;
  • Je hebt offshore teams geleid en gemanaged om verschillende data-engineeringstaken succesvol uit te voeren, waarbij je hebt gezorgd voor afstemming op projectdoelen en handhaving van hoge kwaliteitsnormen door regelmatige communicatie, duidelijke documentatie en effectieve taakdelegatie;
  • Je hield toezicht op de governance en compliance van gegevens die waren opgeslagen in BigQuery en zorgde ervoor dat de GDPR-regelgeving van het Verenigd Koninkrijk en de EU werd nageleefd;
  • Voerde privacyeffectbeoordelingen (DPIA) uit voor verschillende projecten bij Nissan UK Limited en implementeerde noodzakelijke maatregelen om risico's te beperken of te verminderen;
  • Het bouwen en onderhouden van datawarehouses, data lakes en data lake houses op GCP met behulp van diensten als BigQuery, Google Cloud Storage (GCS) en Bigtable;
  • Gegevens uit verschillende bronnen geïntegreerd in GCP met behulp van diensten als Cloud Storage, Cloud Pub/Sub en Cloud SQL;
  • Implementeerde de juiste data governance en beveiligingsmaatregelen met behulp van GCP Identity and Access Management (IAM) en Data Loss Prevention (DLP) om compliance te waarborgen;
  • Datapijplijnen gebouwd met behulp van Google Dataflow om grote hoeveelheden gegevens efficiënt te verwerken;
  • ETL/ELT-processen geïmplementeerd om gegevens uit verschillende bronnen te extraheren en in datawarehouses of data lakes te laden;
  • Ontwikkelde streaming pipelines voor real-time data ingestion met behulp van Kafka en Kafka Connect;
  • Python-gebaseerde transformaties en BigQuery-procedures geïmplementeerd en de uitvoering ervan naadloos georkestreerd met behulp van Google Cloud Composer;
  • Ontworpen datatransformaties met Apache Beam, geoptimaliseerd voor topprestaties op Google DataProc-clusters.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2y 7m
  • ETL-processen ontwikkeld met Python en SQL om ruwe gegevens om te zetten in bruikbare formaten en deze in BigQuery te laden voor analyse;
  • Bouwde en ontwierp meerdere data pipelines, beheerde end-to-end ETL en ELT processen voor data ingestion en transformatie in GCP, en coördineerde taken tussen het team;
  • Ontwerpen en implementeren van data pipelines met behulp van GCP services zoals Dataflow, Dataproc en Pub/Sub;
  • Oracle DSR gemigreerd naar BigQuery met behulp van Dataproc, Python, Airflow en Looker;
  • Ontwierp en ontwikkelde een Python ingestion framework om gegevens uit verschillende bronsystemen, waaronder AR-modules, voorraadmodules, bestanden en webservices, in BigQuery te laden;
  • Ontwikkelde pijplijnen om gegevens te laden van door de klant geplaatste handmatige bestanden in Google Drive naar GCS en vervolgens naar BigQuery met behulp van BigQuery stored procedures;
  • Deelgenomen aan code reviews en bijgedragen aan de ontwikkeling van best practices voor data engineering op GCP;
  • Gegevensbeveiliging en toegangscontrole geïmplementeerd met behulp van Identity and Access Management (IAM) en Cloud Security Command Center van GCP.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1y 8m
  • Ontwerpen en implementeren van Snowflake datawarehouses, ontwikkelen van schema's, tabellen en weergaven geoptimaliseerd voor prestaties en toegankelijkheid van gegevens;
  • Gegevens geëxtraheerd uit Oracle-databases, getransformeerd naar CSV-bestanden en deze bestanden geladen in een Snowflake-datawarehousestage die wordt gehost op AWS S3, waarbij wordt gezorgd voor veilige en efficiënte gegevensoverdracht en -opslag;
  • Creëerde en gebruikte virtuele magazijnen in Snowflake op basis van bedrijfsvereisten, hield het kredietgebruik effectief bij om bedrijfsinzichten en de toewijzing van middelen te verbeteren;
  • Ontwierp en configureerde Snowpipe pipelines voor naadloos en bijna-realtime laden van gegevens, waardoor handmatige interventie werd verminderd en de versheid van gegevens werd verbeterd;
  • XML-gegevens geparsed en georganiseerd in gestructureerde Snowflake-tabellen voor efficiënte gegevensopslag en naadloze gegevensanalyse;
  • Ontwerpen en implementeren van JSON data ingestion pipelines, gebruikmakend van Snowflake's mogelijkheden om geneste en complexe JSON-structuren te verwerken;
  • Ontwerpen en implementeren van Amazon Redshift-clusters, optimaliseren van schemaontwerp, verdeelsleutels en sorteersleutels voor optimale queryprestaties;
  • Maakte gebruik van AWS Lambda-functies en Step Functions om ETL-workflows te orkestreren, waarbij de nauwkeurigheid van gegevens en tijdige verwerking werden gewaarborgd;
  • Maakte en onderhield datavisualisaties en rapporten met behulp van Amazon QuickSight om data-analyse en inzichten te vergemakkelijken.
OracleOracle
Data Analytics
TableauTableau
Fact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2y 7m
  • Ontwerpen en implementeren van Teradata-pakketten om naadloze gegevensextractie, -transformatie en -lading (ETL) vanuit verschillende bronnen naar datawarehouses mogelijk te maken;
  • Het ontwikkelen van interactieve en dynamische rapporten met behulp van SSRS, om belanghebbenden te voorzien van tijdige en inzichtelijke datavisualisaties voor geïnformeerde besluitvorming;
  • Voer strenge gegevensvalidatie en kwaliteitscontroles uit om de integriteit en nauwkeurigheid van de verwerkte gegevens te garanderen;
  • ETL-prestaties geoptimaliseerd door geavanceerde technieken toe te passen, wat resulteerde in een verlaging van de verwerkingstijd met 25%;
  • Ontwikkelde de ingestiestrategie voor het laden van gegevens uit meerdere bronsystemen naar de operationele laag in het datawarehouse met behulp van Python, SQL en stored procedures;
  • Begrijpen en ontwikkelen van ontwerpdocumenten als deliverables voor het project;
  • Implementeerde SCD Type 1 en Type 2 functionaliteit en ontwikkelde aangepaste scripts in Teradata voor integratie en functionaliteitsontwikkeling voor verschillende modules zoals Primavera P6 en Oracle Project module;
  • Als DWH-analist problemen beheerd en opgelost om een soepel verloop van de bedrijfsvoering te garanderen;
  • Het voorbereiden van unit test cases en het uitvoeren van end-to-end integratietesten;
  • Actief deelgenomen aan ontwerpdiscussies en oplossingen beoordeeld;
  • Deelgenomen aan peer review discussies over ontwikkeling voordat je naar een hogere omgeving ging;
  • Gegevens uit meerdere bestanden naar één doeltabel laden met behulp van ODI-variabelen;
  • Configureerde en ontwikkelde ETL mappings om gegevens uit XML en complexe (ongestructureerde/semi-gestructureerde) bestanden te laden;
  • Gebruikte Power BI om inzichtelijke visualisaties en interactieve dashboards te ontwerpen en te ontwikkelen, waardoor datagestuurde besluitvorming voor belanghebbenden mogelijk werd en algemene data-engineeringoplossingen werden verbeterd.
OracleOracle
Data Analytics
XMLXML
TableauTableau
Fact Data Modeling

Beoordeling

Uitmuntendheid in techniek

Gopal algemene prestaties in een 90-minuten durende technische beoordeling zijn in de top 5% van de gescreende Data Engineer bij Proxify.

Certificaten 3

Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Wil je meer weten over de certificeringen van Gopal?Boek een gesprek

Educatie

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Stop met browsen.
Word sneller gekoppeld.