Data Engineer

Czym będziesz się zajmować?

• Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń
• Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML
• Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą
• Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych
• Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów
• Praca z repozytoriami Git i procesami CI/CD klienta
• Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych

Kogo poszukujemy?

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
• Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
• Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
• Dobra znajomość SQL
• Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
• Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
• Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
• Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
• Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym

Mile widziane:

• Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
• Znajomość zasad przygotowania modeli danych pod Power BI
• Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament

Czego wymagamy?

Znajomości:

• Python
• Azure

Języki:

• Polski
• Angielski

Jakie warunki i benefity otrzymasz?

• 21.8k–25.2k PLN netto/m (B2B)
• B2B - Elastyczne godziny pracy (100%)
• Praca zdalna: W całości
• Pakiet medyczny, Pakiet sportowy

Kim jesteśmy?
DCG to przestrzeń, w której spotykają się potrzeby biznesu i ambicje ludzi. Znamy wartość dobrze dopasowanej współpracy, dlatego pomagamy kandydatom znaleźć środowisko, w którym będą mogli rozwinąć skrzydła, a firmom - zbudować zespoły, które naprawdę działają. Pracujemy blisko ludzi i organizacji, uważnie słuchając i reagując na to, co dla nich ważne. Dzięki temu wspólnie tworzymy trwałe i wartościowe relacje, które procentują na lata.