Inżynier Danych @ Devire
(práce v Polsku)

Inżynier Danych @ Devire

Polsko

• Min. 2 lata praktycznego doświadczenia zawodowe na stanowisku Inżynier Danych/Data Engineer w samodzielnym budowaniu wydajnych i skalowalnych rozwiązań w architekturze Data Lakehouse,
• Umiejętność projektowania i implementacji potoków ETL/ELT, które przetwarzają duże zbiory danych z różnych źródeł, wraz z ich monitorowaniem i optymalizacją,
• Znajomość usług Azure: praktyczna biegłość w pracy z technologiami takimi jak Azure Databricks (wraz z Unity Catalog), Azure Data Factory, Azure Data Lake Storage oraz orkiestracją potoków w Apache Airflow,
• Bardzo dobra znajomość Pythona, PySparka, Terraform, YAML-a, SQL-a oraz Databricks Asset Bundle,
• Doświadczenie w konfiguracji i zarządzaniu ciągłym dostarczaniem (CI/CD) z wykorzystaniem Azure DevOps Repos oraz Azure DevOps Pipelines,
• Modelowanie danych: doświadczenie w pracy z architekturą medalionową,
• Umiejętność diagnozowania i rozwiązywania problemów związanych z przetwarzaniem danych,
• Zdolność efektywnej pracy w zespole oraz komunikacji z innymi działami,
• Certyfikaty techniczne np. Azure Data Engineer (mile widziane),
• Praca z danymi w czasie rzeczywistym: umiejętność projektowania procesów przetwarzania danych w czasie rzeczywistym (lub zbliżonym do rzeczywistego) z użyciem Azure Event Hub, ich monitorowania i optymalizacji (mile widziane).

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty.

Dla naszego klienta, producenta leków i lidera rynku farmaceutycznego w Europie Środkowo-Wschodniej, poszukujemy Inżyniera Danych, który wesprze tworzenie i rozwój nowoczesnej Platformy Danych w chmurze. Osoba na tym stanowisku będzie pracować z najnowszymi technologiami, takimi jak Azure Databricks, ADLS, Azure DevOps, Apache Airflow, tworząc rozwiązania kluczowe dla zapewnienia dostępności wysokiej jakości danych. Twoja praca będzie miała bezpośredni wpływ na wspieranie zespołów analitycznych i data scientistów w podejmowaniu decyzji opartych na danych.

Lokalizacja: Warszawa, model hybrydowy (2-3 dni praca z biura)

Wynagrodzenie: 140-160 PLN netto+VAT/h

Angielski: B2

• Wynagrodzenie do 160 PLN netto+VAT/h, B2B via Devire.
• Model hybrydowy.
• Długofalowa współpraca.

,[Projektowanie, wdrażanie i utrzymanie struktur przechowywania danych (Delta Lake) oraz systemów ich przetwarzania w chmurze (Azure Databricks, Azure Data Lake Storage, Azure SQL Server, Azure Event Hub, Apache Airflow, Azure Data Factory) zapewniając wydajny i niezawodny dostęp do danych,, Tworzenie i zarządzanie potokami ETL/ELT (Extract, Transform, Load) oraz strumieniami danych, które umożliwią gromadzenie, transformację i integrację dużych zbiorów danych z różnych źródeł,, Automatyzacja procesów przetwarzania danych poprzez tworzenie skryptów i narzędzi, umożliwiających zwiększenie efektywności, niezawodności i skalowalności przepływów danych,, Tworzenie i modyfikacja struktur danych oraz kodu infrastruktury z użyciem Terraform, YAML,, Zarządzanie kodem i procesami CI/CD: kontrola wersji, wdrażanie zmian w strukturach danych i potokach danych z użyciem Git oraz zautomatyzowanych procesów CI/CD w Azure DevOps,, Monitorowanie jakości danych, wykrywanie błędów i niezgodności oraz wdrażanie mechanizmów walidacji i poprawy danych, aby były gotowe do analizy przez inne zespoły,, Wspieranie analityków danych, data scientistów oraz inne zespoły w dostarczaniu danych w odpowiednim formacie i jakości.] Requirements: Data Lake, ETL, R, Azure Databricks, UNITY, Azure Data Factory, Azure Data Lake Storage, Apache Airflow, Python, Terraform, Databricks, CD, Azure DevOps, Azure Data, Azure Event Hub

Kategorie

data

Odpovědět na inzerát