Data Engineer

Czym będziesz się zajmować?

• Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub
• Migracja i przebudowa procesów przetwarzania oraz zasilania danych ze środowisk Oracle/on-premise do GCP
• Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), z uwzględnieniem kontroli jakości danych, obsługi błędów i mechanizmów ponawiania
• Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów
• Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i środowisk GCP
• Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikacja wąskich gardeł przy przetwarzaniu dużych wolumenów danych
• Analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP
• Implementacja logiki transformacji, walidacji i integracji danych z wykorzystaniem SQL oraz Python
• Przeprowadzanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązań

• Minimum 3 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych
• Praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności z BigQuery, Cloud Storage i Pub/Sub
• Praktyczna znajomość Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych
• Doświadczenie developerskie z Informatica PowerCenter, umożliwiające samodzielną analizę i modyfikację procesów ETL
• Znajomość zagadnień modelowania danych oraz projektowania procesów przetwarzania danych
• Umiejętność optymalizacji zapytań SQL pod kątem wydajności
• Znajomość zagadnień związanych z jakością, spójnością i walidacją danych
• Doświadczenie w przygotowywaniu i przeprowadzaniu testów oraz tworzeniu dokumentacji technicznej

• BigQuery
• ETL
• GCP
• pub/sub
• Oracle SQL
• Power Center
• SQL
• Python

• Polski
• Angielski (mile widziane)

• 20.2k–23.5k PLN netto/m (B2B)
• B2B - Elastyczne godziny pracy (100%)
• Praca zdalna: Hybrydowo
• Pakiet medyczny, Ubezpieczenie, Pakiet sportowy