Gopal G.
Data Engineer
Meilleur performeur 9/10
India
Membre de confiance depuis 2024
8 années d'expérience
Il est notamment fier d'avoir créé et optimisé des pipelines ETL/ELT dans des environnements multicloud. Les certifications Google Cloud, AWS, Microsoft Azure et Snowflake de Gopal soulignent son engagement en faveur de la formation continue et de l'excellence professionnelle.
Il est titulaire d'une maîtrise en ingénierie informatique.
Expertise principale
Databricks1 an
Fact Data Modeling8 ans
ETL8 ansUnix shell7 ans
15+
Expérience4
Data Engineer
Nissan Motor Corporation•
Nov 2023 · 2a 11mAutomotive
- Concevoir et mettre en œuvre des pipelines de données efficaces et évolutifs sur Google Cloud Platform (GCP) pour collecter, traiter et transformer des données brutes dans des formats utilisables pour l'analyse et la consommation ;
- Diriger et gérer des équipes offshore pour mettre en œuvre avec succès diverses tâches d'ingénierie des données, en veillant à l'alignement sur les objectifs du projet et au maintien de normes de haute qualité grâce à une communication régulière, une documentation claire et une délégation efficace des tâches ;
- Superviser la gouvernance et la conformité des données stockées dans BigQuery, en veillant au respect des réglementations GDPR du Royaume-Uni et de l'UE ;
- Conduite d'évaluations de l'impact sur la confidentialité des données (DPIA) pour divers projets chez Nissan UK Limited et mise en œuvre des mesures nécessaires à l'atténuation ou à la réduction des risques ;
- Construire et maintenir des entrepôts de données, des lacs de données et des maisons de lacs de données sur GCP en utilisant des services tels que BigQuery, Google Cloud Storage (GCS), et Bigtable ;
- Intégration de données provenant de diverses sources dans GCP à l'aide de services tels que Cloud Storage, Cloud Pub/Sub et Cloud SQL ;
- Mise en œuvre d'une gouvernance des données et de mesures de sécurité appropriées à l'aide de GCP Identity and Access Management (IAM) et de Data Loss Prevention (DLP) pour garantir la conformité ;
- Construire des pipelines de données en utilisant Google Dataflow pour traiter efficacement de grands volumes de données ;
- Mise en œuvre de processus ETL/ELT pour extraire des données de diverses sources et les charger dans des entrepôts de données ou des lacs de données ;
- Développement de pipelines de streaming pour l'ingestion de données en temps réel en utilisant Kafka et Kafka Connect ;
- Mise en œuvre de transformations basées sur Python et de procédures BigQuery, orchestrant leur exécution de manière transparente à l'aide de Google Cloud Composer ;
- Transformations de données à l'aide d'Apache Beam, optimisées pour des performances maximales sur les clusters Google DataProc.
Google Cloud
Pandas
AWS Athena
BigQuery
Data Analytics7+
Data Engineer
Technovert•
Nov 2020 - Jun 2023 · 2a 7mInformation Technology (IT) and Services
- Développé des processus ETL en utilisant Python et SQL pour transformer les données brutes en formats utilisables et les charger dans BigQuery pour l'analyse ;
- Vous avez construit et architecturé de multiples pipelines de données, géré des processus ETL et ELT de bout en bout pour l'ingestion et la transformation de données dans GCP, et coordonné des tâches au sein de l'équipe ;
- Conception et mise en œuvre de pipelines de données à l'aide de services GCP tels que Dataflow, Dataproc et Pub/Sub ;
- Migration d'Oracle DSR vers BigQuery en utilisant Dataproc, Python, Airflow, et Looker ;
- Conception et développement d'un cadre d'ingestion Python pour charger dans BigQuery des données provenant de divers systèmes sources, y compris des modules AR, des modules d'inventaire, des fichiers et des services web ;
- Développement de pipelines pour charger des données à partir de fichiers manuels placés par le client dans Google Drive vers GCS et ensuite vers BigQuery en utilisant des procédures stockées BigQuery ;
- Participation aux revues de code et contribution au développement des meilleures pratiques pour l'ingénierie des données sur GCP ;
- Mise en œuvre de la sécurité des données et des contrôles d'accès à l'aide de la gestion de l'identité et de l'accès (IAM) de GCP et du Cloud Security Command Center.
Oracle
Azure Data FactoryPandas
ClouderaBigQuery8+
Data Engineer
Accenture•
Mar 2019 - Nov 2020 · 1a 8mInformation Technology (IT) and Services
- Conception et mise en œuvre d'entrepôts de données Snowflake, développement de schémas, de tables et de vues optimisés pour la performance et l'accessibilité des données ;
- Extraire des données des bases de données Oracle, les transformer en fichiers CSV, et charger ces fichiers dans un entrepôt de données Snowflake hébergé sur AWS S3, en assurant un transfert et un stockage de données sûrs et efficaces ;
- Création et utilisation d'entrepôts virtuels dans Snowflake en fonction des besoins de l'entreprise, suivi efficace de l'utilisation des crédits pour améliorer la compréhension de l'entreprise et l'allocation des ressources ;
- Conception et configuration de pipelines Snowpipe pour un chargement de données transparent et en temps quasi réel, réduisant les interventions manuelles et améliorant la fraîcheur des données ;
- Analyse des données XML et organisation en tableaux structurés Snowflake pour un stockage efficace des données et une analyse transparente des données ;
- Conception et mise en œuvre de pipelines d'ingestion de données JSON, en tirant parti des capacités de Snowflake à gérer des structures JSON imbriquées et complexes ;
- Conception et déploiement de clusters Amazon Redshift, optimisation de la conception des schémas, des clés de distribution et des clés de tri pour une performance optimale des requêtes ;
- Lever les fonctions AWS Lambda et Step Functions pour orchestrer les flux de travail ETL, en assurant l'exactitude des données et le traitement en temps opportun ;
- Création et mise à jour de visualisations de données et de rapports à l'aide d'Amazon QuickSight pour faciliter l'analyse et la compréhension des données.
OracleData Analytics
TableauFact Data Modeling
BI Consultant, General Electric
Tech Mahindra•
Aug 2016 - Mar 2019 · 2a 7mInformation Technology (IT) and Services
- Conception et mise en œuvre de progiciels Teradata pour faciliter les opérations d'extraction, de transformation et de chargement de données (ETL) à partir de diverses sources vers des entrepôts de données ;
- Développement de rapports interactifs et dynamiques à l'aide de SSRS, fournissant aux parties prenantes des visualisations de données opportunes et perspicaces pour une prise de décision éclairée ;
- Validation rigoureuse des données et contrôles de qualité pour garantir l'intégrité et l'exactitude des données traitées ;
- Optimisation des performances de l'ETL par l'utilisation de techniques avancées, ce qui a permis de réduire le temps de traitement de 25 % ;
- Développement de la stratégie d'ingestion pour le chargement des données à partir de systèmes sources multiples vers la couche opérationnelle de l'entrepôt de données en utilisant Python, SQL et des procédures stockées ;
- Comprendre et développer les documents de conception en tant que produits livrables pour le projet ;
- Implémentation des fonctionnalités SCD Type 1 et Type 2 et développement de scripts personnalisés dans Teradata pour l'intégration et le développement de fonctionnalités pour différents modules tels que Primavera P6 et Oracle Project ;
- En tant qu'analyste DWH, j'ai géré et résolu des problèmes afin d'assurer le bon déroulement des opérations commerciales ;
- Préparer des cas de tests unitaires et effectuer des tests d'intégration de bout en bout ;
- Participation active aux discussions sur la conception et examen des solutions ;
- Participation à des discussions d'évaluation par les pairs sur le développement avant de passer à des environnements plus élevés ;
- Chargement de données à partir de plusieurs fichiers vers une seule table cible à l'aide de variables ODI ;
- Configurer et développer des mappings ETL pour charger des données à partir de fichiers XML et complexes (non structurés/semi-structurés) ;
- Utilisation de Power BI pour concevoir et développer des visualisations perspicaces et des tableaux de bord interactifs, permettant aux parties prenantes de prendre des décisions fondées sur des données et améliorant les solutions globales d'ingénierie des données.
OracleData Analytics
XMLTableauFact Data ModelingExcellence en ingénierie
Tous les Data Engineers qui ont postulé chez Proxify sont notés de 0 à 300 en excellence en ingénierie, l'un des cinq paramètres que nous évaluons. Ce score reflète uniquement l'excellence en ingénierie, basée sur des entretiens, des exercices à domicile, des sessions de codage en direct, et/ou des évaluations de performance en poste. La courbe montre comment tous les Data Engineers évalués sont répartis sur cette plage, où se situe notre seuil d'acceptation pour ce paramètre, et où se situe Gopal.
Gopal
Score 219 · Top 3% of engineers
Score 219 · Top 3% of engineers
Certificats 3
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
Databricks
Autonomous Database Cloud 2021 Certified SpecialistOracle
Databricks Certified Data Engineer AssociateDatabricks, Inc.Databricks
Issued Jan 2025 - Expires Jan 2027
Credential ID 130232779
DatabricksSouhaitez-vous en savoir plus sur les certifications de Gopal ?Planifier un appel
Éducation
University of West London
Computer Software Engineering2022 - 2023JUO
Jawaharlal university of Hyderabad
Electronics and Communications2012 - 2016Arrêtez de naviguer.
Soyez jumelé plus rapidement.
Parlez à un expert et obtenez des correspondances personnalisées de notre réseau en seulement 2 jours.
Accédez à plus de 6 000+ experts
Soyez jumelé avec un développeur en 2 jours en moyenne
Embauchez rapidement et facilement avec un taux de réussite de 94%