Gopal G.

Gopal G.

Data Engineer

India
Membre de confiance depuis 2024
8 années d'expérience

Il est notamment fier d'avoir créé et optimisé des pipelines ETL/ELT dans des environnements multicloud. Les certifications Google Cloud, AWS, Microsoft Azure et Snowflake de Gopal soulignent son engagement en faveur de la formation continue et de l'excellence professionnelle.

Il est titulaire d'une maîtrise en ingénierie informatique.

Expertise principale

DatabricksDatabricks1 an
Fact Data Modeling8 ans
ETLETL8 ans
Unix shell7 ans
15+

Expérience4

Nissan Motor Corporation

Data Engineer

Nissan Motor Corporation
Automotive
Nov 2023 · 2y 4m
  • Concevoir et mettre en œuvre des pipelines de données efficaces et évolutifs sur Google Cloud Platform (GCP) pour collecter, traiter et transformer des données brutes dans des formats utilisables pour l'analyse et la consommation ;
  • Diriger et gérer des équipes offshore pour mettre en œuvre avec succès diverses tâches d'ingénierie des données, en veillant à l'alignement sur les objectifs du projet et au maintien de normes de haute qualité grâce à une communication régulière, une documentation claire et une délégation efficace des tâches ;
  • Superviser la gouvernance et la conformité des données stockées dans BigQuery, en veillant au respect des réglementations GDPR du Royaume-Uni et de l'UE ;
  • Conduite d'évaluations de l'impact sur la confidentialité des données (DPIA) pour divers projets chez Nissan UK Limited et mise en œuvre des mesures nécessaires à l'atténuation ou à la réduction des risques ;
  • Construire et maintenir des entrepôts de données, des lacs de données et des maisons de lacs de données sur GCP en utilisant des services tels que BigQuery, Google Cloud Storage (GCS), et Bigtable ;
  • Intégration de données provenant de diverses sources dans GCP à l'aide de services tels que Cloud Storage, Cloud Pub/Sub et Cloud SQL ;
  • Mise en œuvre d'une gouvernance des données et de mesures de sécurité appropriées à l'aide de GCP Identity and Access Management (IAM) et de Data Loss Prevention (DLP) pour garantir la conformité ;
  • Construire des pipelines de données en utilisant Google Dataflow pour traiter efficacement de grands volumes de données ;
  • Mise en œuvre de processus ETL/ELT pour extraire des données de diverses sources et les charger dans des entrepôts de données ou des lacs de données ;
  • Développement de pipelines de streaming pour l'ingestion de données en temps réel en utilisant Kafka et Kafka Connect ;
  • Mise en œuvre de transformations basées sur Python et de procédures BigQuery, orchestrant leur exécution de manière transparente à l'aide de Google Cloud Composer ;
  • Transformations de données à l'aide d'Apache Beam, optimisées pour des performances maximales sur les clusters Google DataProc.
Google CloudGoogle Cloud
PandasPandas
AWS AthenaAWS Athena
BigQueryBigQuery
Data Analytics
7+
Technovert

Data Engineer

Technovert
Information Technology (IT) and Services
Nov 2020 - Jun 2023 · 2y 7m
  • Développé des processus ETL en utilisant Python et SQL pour transformer les données brutes en formats utilisables et les charger dans BigQuery pour l'analyse ;
  • Vous avez construit et architecturé de multiples pipelines de données, géré des processus ETL et ELT de bout en bout pour l'ingestion et la transformation de données dans GCP, et coordonné des tâches au sein de l'équipe ;
  • Conception et mise en œuvre de pipelines de données à l'aide de services GCP tels que Dataflow, Dataproc et Pub/Sub ;
  • Migration d'Oracle DSR vers BigQuery en utilisant Dataproc, Python, Airflow, et Looker ;
  • Conception et développement d'un cadre d'ingestion Python pour charger dans BigQuery des données provenant de divers systèmes sources, y compris des modules AR, des modules d'inventaire, des fichiers et des services web ;
  • Développement de pipelines pour charger des données à partir de fichiers manuels placés par le client dans Google Drive vers GCS et ensuite vers BigQuery en utilisant des procédures stockées BigQuery ;
  • Participation aux revues de code et contribution au développement des meilleures pratiques pour l'ingénierie des données sur GCP ;
  • Mise en œuvre de la sécurité des données et des contrôles d'accès à l'aide de la gestion de l'identité et de l'accès (IAM) de GCP et du Cloud Security Command Center.
OracleOracle
Azure Data FactoryAzure Data Factory
PandasPandas
ClouderaCloudera
BigQueryBigQuery
8+
Accenture

Data Engineer

Accenture
Information Technology (IT) and Services
Mar 2019 - Nov 2020 · 1y 8m
  • Conception et mise en œuvre d'entrepôts de données Snowflake, développement de schémas, de tables et de vues optimisés pour la performance et l'accessibilité des données ;
  • Extraire des données des bases de données Oracle, les transformer en fichiers CSV, et charger ces fichiers dans un entrepôt de données Snowflake hébergé sur AWS S3, en assurant un transfert et un stockage de données sûrs et efficaces ;
  • Création et utilisation d'entrepôts virtuels dans Snowflake en fonction des besoins de l'entreprise, suivi efficace de l'utilisation des crédits pour améliorer la compréhension de l'entreprise et l'allocation des ressources ;
  • Conception et configuration de pipelines Snowpipe pour un chargement de données transparent et en temps quasi réel, réduisant les interventions manuelles et améliorant la fraîcheur des données ;
  • Analyse des données XML et organisation en tableaux structurés Snowflake pour un stockage efficace des données et une analyse transparente des données ;
  • Conception et mise en œuvre de pipelines d'ingestion de données JSON, en tirant parti des capacités de Snowflake à gérer des structures JSON imbriquées et complexes ;
  • Conception et déploiement de clusters Amazon Redshift, optimisation de la conception des schémas, des clés de distribution et des clés de tri pour une performance optimale des requêtes ;
  • Lever les fonctions AWS Lambda et Step Functions pour orchestrer les flux de travail ETL, en assurant l'exactitude des données et le traitement en temps opportun ;
  • Création et mise à jour de visualisations de données et de rapports à l'aide d'Amazon QuickSight pour faciliter l'analyse et la compréhension des données.
OracleOracle
Data Analytics
TableauTableau
Fact Data Modeling
Tech Mahindra

BI Consultant, General Electric

Tech Mahindra
Information Technology (IT) and Services
Aug 2016 - Mar 2019 · 2y 7m
  • Conception et mise en œuvre de progiciels Teradata pour faciliter les opérations d'extraction, de transformation et de chargement de données (ETL) à partir de diverses sources vers des entrepôts de données ;
  • Développement de rapports interactifs et dynamiques à l'aide de SSRS, fournissant aux parties prenantes des visualisations de données opportunes et perspicaces pour une prise de décision éclairée ;
  • Validation rigoureuse des données et contrôles de qualité pour garantir l'intégrité et l'exactitude des données traitées ;
  • Optimisation des performances de l'ETL par l'utilisation de techniques avancées, ce qui a permis de réduire le temps de traitement de 25 % ;
  • Développement de la stratégie d'ingestion pour le chargement des données à partir de systèmes sources multiples vers la couche opérationnelle de l'entrepôt de données en utilisant Python, SQL et des procédures stockées ;
  • Comprendre et développer les documents de conception en tant que produits livrables pour le projet ;
  • Implémentation des fonctionnalités SCD Type 1 et Type 2 et développement de scripts personnalisés dans Teradata pour l'intégration et le développement de fonctionnalités pour différents modules tels que Primavera P6 et Oracle Project ;
  • En tant qu'analyste DWH, j'ai géré et résolu des problèmes afin d'assurer le bon déroulement des opérations commerciales ;
  • Préparer des cas de tests unitaires et effectuer des tests d'intégration de bout en bout ;
  • Participation active aux discussions sur la conception et examen des solutions ;
  • Participation à des discussions d'évaluation par les pairs sur le développement avant de passer à des environnements plus élevés ;
  • Chargement de données à partir de plusieurs fichiers vers une seule table cible à l'aide de variables ODI ;
  • Configurer et développer des mappings ETL pour charger des données à partir de fichiers XML et complexes (non structurés/semi-structurés) ;
  • Utilisation de Power BI pour concevoir et développer des visualisations perspicaces et des tableaux de bord interactifs, permettant aux parties prenantes de prendre des décisions fondées sur des données et améliorant les solutions globales d'ingénierie des données.
OracleOracle
Data Analytics
XMLXML
TableauTableau
Fact Data Modeling

Évaluations

Excellence en ingénierie

Les performances globales de Gopal lors d'une évaluation technique en direct de 90 minutes se classent dans le top 5% des Data Engineer évalués chez Proxify.

Certificats 3

Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Oracle
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.

Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779

DatabricksDatabricks
Souhaitez-vous en savoir plus sur les certifications de Gopal ?Planifier un appel

Éducation

University of West London
University of West London
Computer Software Engineering2022 - 2023
JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016

Arrêtez de naviguer.
Soyez jumelé plus rapidement.