Data Quality Engineer (Snowflake, Python) @ Upvanta Remote

Data Quality Engineer (Snowflake, Python) @ Upvanta

Remote

Nasze wymagania

• Praca z hurtowniami danych w chmurze (preferowane Snowflake).
• Realizacja projektów z zakresu Data Quality (walidacja przepływów danych, projektowanie reguł DQ, porównania danych źródłowych i wynikowych).
• Bardzo dobra znajomość:
• Snowflake (projektowanie, walidacja, monitorowanie danych).
• SQL (tworzenie zapytań kontrolnych, reguł walidacyjnych).
• Airflow (automatyzacja procesów monitorowania jakości).
• Python (implementacja testów jakości danych, porównań danych).

Mile widziane

• AWS (S3, Batch, Kinesis, Firehose, Lambda).
• GitLab (kontrola wersji, CI/CD dla procesów DQ).

Poszukujemy doświadczonego Data Quality Engineera, którego zadaniem będzie zapewnienie spójności, integralności i wiarygodności danych w hurtowni Snowflake.

Rola koncentruje się na projektowaniu i wdrażaniu procesów kontroli jakości danych - tak, aby dane były zgodne na każdym etapie przetwarzania: od źródła, przez transformacje, aż po warstwę raportową. Kandydat będzie blisko współpracował z Data Engineerami oraz zespołami biznesowymi, monitorując przepływy danych, wychwytując anomalie i proponując usprawnienia.

,[ Projektowanie i implementacja procesów monitorowania oraz poprawy jakości danych (reguły DQ, testy porównawcze)., Tworzenie struktur i przepływów wspierających audyt i kontrolę danych., Walidacja zgodności danych – od wejścia, przez transformacje, aż po warstwę wynikową., Automatyzacja procesów monitorowania jakości z wykorzystaniem Airflow i Python., Współpraca i dzielenie się wiedzą w ramach zespołu scrumowego., Praca w języku polskim z lokalnym zespołem oraz w języku angielskim z zespołami międzynarodowymi.] Requirements: Snowflake, SQL, Airflow, Python, AWS S3, Kinesis, AWS Lambda, GitLab, CD

Kategorie

data

Odpovědět na inzerát