Solution Architect (AWS, Spark) @ Crestt
(práce v Polsku)

Solution Architect (AWS, Spark) @ Crestt

Polsko

Rozwiązania coreowe dla roli:

• AWS S3 – znajomość różnych klas przechowywania, versioning, struktura bucketów i prefixów
• Apache Spark (w szczególności PySpark), np. w usługach: Glue, EMR, Databricks, Synapse
• Git – zarządzanie branchami, rozwiązywanie konfliktów, code review
• Format Parquet – wiedza o strukturze kolumnowej, ewolucji schematu, partycjonowaniu danych
• Python – doświadczenie programistyczne
• SQL – zaawansowane zapytania (CTE, funkcje okienkowe, procedury składowane)
• Hive Metastore (np. Glue Catalog, Databricks, Nifi, Presto itd.)
• Airflow

Istotne rozwiązania/technologie:

• Infrastructure-as-Code (IaC) – np. CloudFormation, Terraform, Ansible, ARM, Chef
• CI/CD – np. CodePipeline, GitHub Actions, GitLab, Jenkins, TeamCity
• AWS Glue, AWS Lambda (lub ich odpowiedniki na Azure/GCP)
• AWS Redshift – w tym Redshift Spectrum, procedury, materializowane widoki, tymczasowe tabele
• AWS Step Functions
• dbt
• Formaty plików typu Delta Lake, Apache Iceberg, Hudi
• HDFS
• Scala

? Dodatkowe atuty:

• Doświadczenie z koncepcjami: Data Lakehouse, Data Quality, Data Lineage, Data Governance
• Praca z danymi strumieniowymi / w czasie rzeczywistym
• Znajomość modelowania danych: Star Schema, Kimball, Data Vault, Common Data Model
• Obszary: Master Data Management

? Profil kandydata

Szukamy osoby z doświadczeniem technicznym i biznesowym, która dobrze odnajdzie się w bezpośrednim kontakcie z klientem. Kluczowa jest samodzielność, inicjatywa i gotowość do zaangażowania w działania zarówno projektowe, jak i wewnętrzne/organizacyjne.

Lokalizacja: Warszawa lub zdalnie (na początku współpracy wymagane 2 dni onboardingu w biurze, w późniejszym etapie oczekujemy wizyt w biurze raz na miesiąc/dwa miesiące)

,[Projektowanie rozwiązań opartych o usługi chmurowe (AWS) z uwzględnieniem wymagań klienta i najlepszych praktyk architektonicznych, Współtworzenie i rozwój nowoczesnych procesów przetwarzania danych (ETL/ELT) z wykorzystaniem Apache Spark (głównie PySpark), Udział w spotkaniach z klientem – prezentowanie rozwiązań, zbieranie wymagań, doradztwo techniczne, Wspieranie zespołów developerskich w implementacji rozwiązań (code review, konsultacje, rozwiązywanie problemów), Tworzenie i utrzymywanie dokumentacji architektonicznej, Wdrażanie rozwiązań CI/CD oraz zarządzanie infrastrukturą jako kodem (IaC), Zapewnienie jakości i spójności danych poprzez dobór odpowiednich narzędzi i mechanizmów kontrolnych, Inicjowanie i udział w działaniach usprawniających procesy wewnętrzne oraz dzielenie się wiedzą w zespole] Requirements: AWS, AWS S3, Apache Spark, PySpark, Glue, Databricks, Synapse, Git, Parquet, Python, SQL, Airflow, Hive Metastone, IaC, CloudFormation, Terraform, Ansible, GitHub, GitLab, Jenkins, TeamCity, AWS Glue, AWS Lambda, Redshift, dbt, HDFS, Scala, Data Lake, Vault, Data management, Big Data, Cloud, Data warehouse Additionally: Remote work.

Kategorie

data

Odpovědět na inzerát

Zajímavé nabídky práce v okolí: