Dean N.

Data Engineer

Dean ist ein Dateningenieur mit fünf Jahren Berufserfahrung. Seine Hauptkompetenz liegt in der Entwicklung, dem Aufbau und der Pflege robuster Datenpipelines und Infrastrukturen.

Er ist sehr versiert im Umgang mit großen Datenmengen, in der Optimierung von Daten-Workflows und in der Gewährleistung der Genauigkeit und Zuverlässigkeit von Daten für Analysen und Berichte.

Er ist in der Lage, selbstständig zu arbeiten, kann sich aber ebenso gut in einem kollaborativen Teamumfeld behaupten.

Deans Leidenschaft für Technologie treibt ihn dazu, seine Fähigkeiten ständig zu verbessern und neue Tools und Methoden zu nutzen, die zu einer effektiveren Datenverwaltung und -analyse beitragen.

Hauptkompetenz
  • Terraform
    Terraform 4 Jahre
  • ETL
    ETL 4 Jahre
  • Python
    Python 4 Jahre
Andere Fähigkeiten
  • Bash
    Bash 4 Jahre
  • Shell
    Shell 4 Jahre
  • Linux
    Linux 4 Jahre
Dean
Dean N.

United Kingdom

Erste Schritte

Ausgewählte Erfahrung

Beschäftigung

  • Data Engineer

    King - 2 jahre 4 monate

    • Utilized Airflow to develop ETL pipelines, transforming data from raw formats to readily usable forms for insights.

    • Employed Cloud Functions, Scheduler, and Sheets to build ETL pipelines that allowed input from less technical stakeholders.

    • Enhanced data quality and reduced pipeline faults by creating monitoring and alerting dashboards using GCP Cloud Monitoring.

    • Designed data warehouse tables with a focus on efficiency and cost-effective querying, utilizing partitioning and clustering techniques.

    • Improved codebase maintainability by applying DRY principles and using Jinja where applicable. Enhanced the CI/CD pipeline by integrating testing for SQL scripts.

    • Used Terraform to programmatically create and manage GCP resources.

    Technologien:

    • Technologien:
    • Terraform Terraform
    • ETL ETL
    • Python Python
    • SQL SQL
    • Google Cloud Google Cloud
    • Bash Bash
    • Shell Shell
    • Linux Linux
    • Apache Airflow Apache Airflow
    • Dataflow Dataflow
    • Data Engineering
  • Data Engineer

    Inmarsat - 6 monate

    • Utilized a combination of EC2 instances and command line to SSH into on-premises machines and transfer CSVs to S3 buckets.

    • Replaced Airflow with Prefect to transform data, optimizing the workflow management process.

    • Employed DBT and Jinja to build test scripts and construct the data warehouse.

    • Used Terraform to programmatically deploy GCP resources.

    Technologien:

    • Technologien:
    • Terraform Terraform
    • Python Python
    • SQL SQL
    • AWS AWS
    • Bash Bash
  • Data Engineer

    LADbible Group - 1 jahr 1 monat

    • Used Apache Beam / Google Dataflow to build batch processing pipelines.

    • Automated multiple ETL pipelines that extracted data from various sources, including cloud storage, Google Sheets, and APIs, specifically targeting Snapchat and Ad Revenue data with outputs to BigQuery tables or dashboards.

    • Ensured code was unit testable by using Pytest and applying a Test-Driven Development (TDD) approach.

    • Created dashboards in Google Data Studio (GDS) and set up alerting in GCP to monitor data pipelines. Used Terraform to provision resources on GCP.

    Technologien:

    • Technologien:
    • Terraform Terraform
    • ETL ETL
    • Python Python
    • SQL SQL
    • Google Cloud Google Cloud
    • AWS AWS
    • Bash Bash
    • Shell Shell
    • Linux Linux
    • Apache Airflow Apache Airflow
    • Dataflow Dataflow
    • Data Engineering
  • Data Analyst

    Publicis Media - 6 monate

    • Wrote SQL queries for dimensional data modeling in Power BI.

    • Utilized Python (Pandas) to manipulate datasets for export into Excel.

    • Created bespoke Power BI reports to provide clear and concise insights into data.

    • Used DAX language within Power BI to transform and calculate data.

    • Performed ETL of data from various sources to build data models, typically in Star schema form.

    • Pulled data from various sources, created relationships between datasets, and modeled the data.

    Technologien:

    • Technologien:
    • Python Python
    • SQL SQL
    • Pandas Pandas
    • Microsoft Power BI Microsoft Power BI
  • Data Analyst

    Veolia - 1 jahr 5 monate

    • Utilized a combination of Power BI and SQL to create data models and develop insightful reporting visualizations.

    • Built and took ownership of Power BI apps, monitoring and ensuring access for important stakeholders.

    • Applied DAX within Power BI to create calculations and measurements on dashboards.

    • Developed KPI reports and dashboards in Excel using data imported and refreshed from SQL databases.

    • Extracted data from SQL and performed analysis in Excel using advanced formulas and functions.

    • Created intelligent web applications for operatives using data imported into Esri ArcGIS.

    • Wrote efficient and complex SQL queries incorporating pivots, joins, and nested queries.

    Technologien:

    • Technologien:
    • SQL SQL
    • Data Engineering
    • Data Analytics
    • Microsoft Power BI Microsoft Power BI

Ausbildung

  • BSc.Business Administration, Management and Operations

    De Montfort University · 2009 - 2011

Finden Sie Ihren nächsten Entwickler innerhalb von Tagen, nicht Monaten

In einem kurzen 25-minütigen Gespräch würden wir gerne:

  • Auf Ihren Bedarf bezüglich des Recruitments von Software-Entwicklern eingehen
  • Unseren Prozess vorstellen und somit wie wir Sie mit talentierten und geprüften Kandidaten aus unserem Netzwerk zusammenbringen können
  • Die nächsten Schritte besprechen, um den richtigen Kandidaten zu finden - oft in weniger als einer Woche

Unterhalten wir uns

Jetzt Entwickler:innen finden, die innerhalb von wenigen Tagen starten können. Ohne Risiko.