Data Engineer (Data Integration & Quality)

Czym będziesz się zajmować?

• udział w projekcie związanym z przygotowaniem danych pod modelowanie, budową spójnej i kompletnej historii danych wykorzystywanych w procesach modelowych
• projektowanie i rozwój warstw danych oraz procesów ich zasilania
• integracja danych pochodzących z wielu źródeł, ich czyszczenie, ujednolicanie, transformacja i walidacja
• analiza potrzeb oraz planowanie kolejnych etapów realizacji rozwiązań data engineeringowych
• prowadzenie uzgodnień z właścicielami danych, odbiorcami biznesowymi oraz zespołami technicznymi
• organizacja i prowadzenie spotkań oraz warsztatów, przygotowywanie rekomendacji, podsumowań i kolejnych kroków
• definiowanie mapowań, reguł transformacji oraz reguł jakości danych
• rozwój procesów przetwarzania danych z wykorzystaniem przede wszystkim SQL, Python i Airflow
• wsparcie testów, code review, wdrożeń i odbiorów przygotowanych rozwiązań
• dokumentowanie źródeł danych, mapowań, reguł biznesowych, transformacji i decyzji projektowych
• identyfikacja zależności, ryzyk i problemów oraz inicjowanie działań prowadzących do ich rozwiązania
• koordynacja przepływu informacji pomiędzy uczestnikami projektu i dbanie o jasny podział odpowiedzialności i domykanie ustaleń
• współpraca z wieloma zespołami w środowisku Agile
• tryb realizacji usług: zdalnie, z wizytą we Wrocławiu 1 raz na 6 msc

• minimum 6 lat doświadczenia komercyjnego w pracy z danymi, w tym przy budowie warstw danych, integracji danych lub rozwiązaniach analitycznych
• bardzo dobra, praktyczna znajomość SQL na poziomie zaawansowanym
• praktyczna znajomość Python
• doświadczenie z narzędziami do automatyzacji lub orkiestracji procesów danych, np. Apache Airflow
• doświadczenie w integracji i mapowaniu danych z wielu źródeł, ich ujednolicaniu oraz definiowaniu reguł transformacji,
• doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych
• dobre rozumienie architektury przepływu danych – od systemów źródłowych, przez przetwarzanie i transformację, po warstwy udostępniane odbiorcom
• doświadczenie w realizacji projektów angażujących wiele zespołów i interesariuszy
• umiejętność planowania działań, ustalania priorytetów oraz zarządzania zależnościami projektowymi
• umiejętność strukturyzowania niejednoznacznych potrzeb oraz przekładania ich na konkretne rozwiązania i działania
• doświadczenie w prowadzeniu uzgodnień technicznych i biznesowych oraz komunikowaniu decyzji, ryzyk i konsekwencji
• samodzielność i ownership w prowadzeniu powierzonych obszarów od analizy do wdrożenia
• język angielski na poziomie min. B2

• SQL
• Migracja danych
• Reguły jakości danych
• Data architecture
• Python
• Airflow

• Polski
• Angielski

• 21.8k–25.2k PLN netto/m (B2B)
• B2B - Elastyczne godziny pracy (100%)
• Praca zdalna: W całości
• Pakiet medyczny, Pakiet sportowy

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów.

Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.