Data Engineer @ Britenet
(práce v Polsku)

Data Engineer @ Britenet

Polsko

• Doświadczenie w pracy z Azure Databricks, w tym tworzenie i optymalizacja potoków danych przy użyciu Spark i PySpark
• Bardzo dobra znajomość Delta Lake, w szczególności w zakresie zarządzania wersjonowaniem danych, partycjonowaniem i optymalizacją zapytań
• Umiejętność modelowania danych z wykorzystaniem podejść takich jak Kimball, Snowflake lub Data Vault, oraz przeprowadzania tuningu wydajności
• Znajomość Azure Data Factory (ADF), tworzenie i zarządzanie pipeline’ami integracji danych
  
• Doświadczenie z Azure Functions w kontekście automatyzacji i orkiestracji przetwarzania danych
• Biegłość w programowaniu w Pythonie oraz bardzo dobra znajomość SQL w kontekście inżynierii danych
  
• Praktyczna znajomość formatów danych takich jak Parquet, Avro i JSON
  
• Znajomość systemów kontroli wersji (Git) i pracy w zespołach programistycznych, w tym udziału w przeglądach kodu i praktykach CI/CD
  
• Umiejętność analizy dużych zbiorów danych i rozwiązywania problemów związanych z ich przetwarzaniem i jakością
  
• Biegła znajomość języka angielskiego (min. B2)
  
• Otwartość na okazjonalną wizytę w biurze w Warszawie lub innym pobliskim oddziale klienta

Praca przy platformach risk & compliance, analizie transakcji, systemach audytowych.

,[Projektowanie, implementacja i monitorowanie potoków danych w środowisku chmurowym z użyciem narzędzi takich jak Azure Data Factory i Databricks, Zarządzanie strukturą i wydajnością danych w Delta Lake, w tym optymalizacja, partycjonowanie i wersjonowanie, Projektowanie modeli danych i optymalizacja zapytań oraz procesów przetwarzania pod kątem wydajności i skalowalności, Tworzenie i automatyzacja przepływów danych z wykorzystaniem ADF oraz Azure Functions w ramach procesów orkiestracji, Tworzenie skryptów w Pythonie i SQL do przetwarzania, analizy i walidacji danych, Praca zespołowa z użyciem Git oraz udział w procesach CI/CD i przeglądach kodu] Requirements: Spark, Python, SQL, Databricks, Delta Lake, Azure Data Factory, Git, CI/CD Additionally: Sport subscription, Private healthcare, International projects, Masterclazz training, Free coffee, Canteen, Playroom, Free snacks, Modern office, Startup atmosphere, No dress code.

Kategorie

data

Odpovědět na inzerát

Zajímavé nabídky práce v okolí: