Data Quality Engineer @ Upvanta

Wymagania

• Doświadczenie w pracy z hurtowniami danych w chmurze (preferowane Snowflake).
• Praktyka w projektach Data Quality (reguły DQ, walidacje, porównania danych).
• Bardzo dobra znajomość SQL.
• Biegłość w Snowflake (praca z danymi, monitorowanie, walidacje).
• Doświadczenie z Airflow.
• Znajomość Python w kontekście procesów DQ.
• Praktyczne doświadczenie z dbt (testy, modele, walidacje).
• Znajomość usług AWS (S3, Batch, Kinesis, Firehose, Lambda).
• Umiejętność pracy z GitLab (wersjonowanie, CI/CD).

Poszukujemy doświadczonego Data Quality Engineera, który będzie odpowiadał za zapewnienie spójności, integralności i wiarygodności danych w środowisku opartym o Snowflake.
Rola koncentruje się na projektowaniu, wdrażaniu i automatyzacji procesów kontroli jakości danych – od momentu pozyskania ze źródeł, przez warstwy transformacyjne, aż po analityczne i raportowe.

Będziesz współpracować z Data Engineerami, analitykami oraz zespołami biznesowymi, monitorując przepływy danych, identyfikując anomalie oraz rekomendując usprawnienia procesów.

,[Projektowanie i implementacja procesów monitorowania oraz poprawy jakości danych (reguły DQ, testy porównawcze)., Tworzenie struktur i przepływów wspierających audyt i kontrolę danych., Walidacja zgodności danych na wszystkich etapach przetwarzania., Automatyzacja procesów monitorowania jakości z wykorzystaniem Airflow., Implementacja testów, walidacji i porównań danych w Pythonie oraz dbt., Monitorowanie przepływów danych, identyfikacja anomalii i rekomendowanie usprawnień., Współpraca z zespołami technicznymi i biznesowymi w języku polskim i angielskim.] Requirements: Snowflake, SQL, Airflow, Python, dbt, AWS S3, Kinesis, AWS Lambda, GitLab

Kategorie

data

Odpovědět na inzerát