Big Data Developer @ Connectis_
(práce v Polsku)

Big Data Developer @ Connectis_

Polsko

? CZEGO OCZEKUJEMY OD CIEBIE?

• Minimum 6 lat doświadczenia w pracy z platformami Big Data oraz zaawansowanej obróbce i analizie bardzo dużych zbiorów danych.
• Praktyki w korzystaniu z silników i narzędzi przetwarzania: Hive (External Tables, Metastore, HiveServer2), Spark oraz Python.
• Bardzo dobrej znajomości DML oraz stosowania partycjonowania w pracy z ogromnymi zbiorami danych.
• Doświadczenie w zarządzaniu i optymalizacji przechowywania danych w środowiskach HDFS i VAST.
• Znajomości formatów danych: Avro, ORC, Parquet.
• Znajomości formatów tabel: Delta, Iceberg.
• Otwartość na pracę 100% zdalną.
• Język angielski - C1.
• Start: ASAP.

Mile widziane:

• Znajomość Starburst Databricks.

Razem z naszym Klientem, liderem w dziedzinie consultingu, poszukujemy specjalisty na stanowisko Big Data Developer. Nasz Klient to globalna firma doradczo-technologiczna specjalizująca się w usługach transformacji cyfrowej, integracji systemów oraz rozwoju rozwiązań IT dla wielu sektorów gospodarki. Projekt dotyczy migracji ogromnych wolumenów danych do nowoczesnych, otwartych formatów takich jak ORC/Parquet.

✨ OFERUJEMY:

• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.
• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
• 5000 PLN za polecenie znajomego do naszych projektów.
• Dostęp do najnowszych technologii i narzędzi pracy.
• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
12257/PZ

,[Projektowanie procesów obsługujących bardzo duże zbiory danych, w tym dzielenie danych na mniejsze fragmenty (chunking), konwersję do otwartych formatów oraz ładowanie danych do Hive z zachowaniem wydajności i integralności., Migracja danych z formatu SAS SPDE w Hadoop do formatów otwartych (ORC/Parquet) oraz ich przeniesienie do środowiska VAST., Współpraca z globalnymi zespołami klienta, raportowanie postępów i rozwiązywanie problemów związanych z dużą skalą danych., Przygotowanie danych do udostępnienia poprzez Hive, w tym dla konsumentów korzystających z narzędzi Altair i Python., Optymalizacja i automatyzacja procesów ETL/ELT w środowisku Big Data., ] Requirements: Python, Spark, Hive, DML

Kategorie

data

Odpovědět na inzerát