Data Engineer @ Devire
(práce v Polsku)

Data Engineer @ Devire

Polsko

1. Platformy Chmurowe:

• Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics
• BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizydanych (Bronze, Silver, Gold layers)
• Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania
• Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.
• Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.
• Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).

2. Języki Programowania:

• Python (Pandas) oraz SQL (ANSI SQL, dialekt BigQuery) 

3. Bazy Danych:

• MySQL, PostgreSQL, MS SQL Server

4. Koncepcje i Metodologie:

• Architektura Medalionowa (Bronze, Silver, Gold)
• ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.
• Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).
• Deduplikacja Danych oraz Wersjonowanie Danych (Data Versioning).

5. Narzędzia i Procesy Deweloperskie:

• Git oraz CI/CD.

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty.

Dla naszego Klienta z sektora energetycznego poszukujemy Data Engineera, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).

• Kontrakt B2B via Devire.
• Współpraca hybrydowa z biura w Warszawie (2-3 dni w tygodniu)
• Pakiet benefitów.

,[Projektowanie, implementacja i optymalizacja procesów przetwarzania danych w architekturze Data Lakehouse na platformie Google Cloud Platform (GCP)., Wspieranie zespołów projektowych i utrzymaniowych w budowie oraz rozwoju platformy Customer Data Platform (CDP)., Wspieranie zespołów projektowych i utrzymaniowych w budowie oraz rozwoju platformy Customer Data Platform (CDP)., Współpraca z analitykami, data scientistami i innymi interesariuszami w zakresie integracji oraz udostępniania danych., Tworzenie i aktualizacja dokumentacji technicznej oraz dobrych praktyk w zakresie inżynierii danych w środowisku GCP.] Requirements: Google Cloud Platform, Cloud, R, JSON, CSV, Apache Beam, ETL, Python, Apache Airflow, MySQL, BigQuery, pandas, SQL, ANSI, PostgreSQL, MS SQL Server, Git

Kategorie

data

Odpovědět na inzerát