Databricks Data Engineer

Poznaj Onwelo Onwelo jest partnerem technologicznym, który dostarcza kompleksowe usługi, od strategii i architektury, przez wdrożenia, po utrzymanie, w obszarach transformacji cyfrowej, danych i automatyzacji. Nasz zespół liczy ponad 400 specjalistów z silnymi kompetencjami seniorskim, a na koncie mamy 300+ zrealizowanych projektów dla dużych organizacji w Polsce, Europie i USA. Działamy z kilku polskich miast oraz z biur w Niemczech, Szwajcarii i USA, łącząc lokalną obecność z globalnym zasięgiem. O projekcie Do naszego zespołu poszukujemy Databricks Data Engineera , który dołączy do jednego z realizowanych przez nas projektów dla międzynarodowych klientów z branż takich jak finanse, retail czy sport & lifestyle . Projekty koncentrują się na budowie oraz modernizacji platform danych w chmurze Azure , w tym wdrażaniu i rozwoju rozwiązań opartych o Azure Databricks . Zakres prac obejmuje zarówno projekty migracyjne (z rozwiązań on-premise do chmury), jak i wdrożenia platform danych od podstaw. W zależności od projektu, współpracujemy z zespołami klienta przy analizie istniejących procesów, projektowaniu architektury docelowej oraz rozwoju kolejnych warstw przetwarzania danych. Twoje zadania • Projektowanie , rozwijanie i utrzymywanie pipeline’ów danych w Azure Databricks z wykorzystaniem Apache Spark (PySpark, SQL) • Pisanie wydajnego, czytelnego i testowalnego kodu w Pythonie (OOP), wykorzystywanego w pipeline’ach danych oraz komponentach wspierających przetwarzanie danych • Uczestniczenie w analizie istniejących procesów danych oraz projektowaniu ich docelowego kształtu w środowisku Azure • Migracja i refaktoryzacja procesów przetwarzania danych do architektury data lake / lakehouse • Optymalizowanie wydajności przetwarzania danych oraz kosztów rozwiązań chmurowych • Współpracowanie z zespołami klienta i Onwelo przy realizacji projektów data‑driven • Dbane o jakość danych, stabilność pipeline’ów oraz dokumentację techniczną Kogo szukamy • Komercyjne doświadczenie w pracy z Azure Databricks i Apache Spark • Swobodna praca z PySpark oraz SQL • Zaawansowana znajomość języka Python, w tym projektowanie modułowego i reużywalnego kodu (OOP), obsługa wyjątków, logging, konfiguracja środowisk, pisanie testów i dbałość o jakość kodu • Praca zgodnie z najlepszymi praktykami Data Engineering: wersjonowanie kodu, code review, CI/CD, dokumentacja techniczna • Znajomość zagadnień związanych z data lake, lakehouse oraz przetwarzaniem dużych wolumenów danych • Umiejętność współpracy w środowisku projektowym i komunikacji w języku angielskim Co oferujemy Elastyczne godziny oraz możliwość pracy zdalnej 80% menedżerów i koordynatorów awansuje wewnętrznie Udział w ciekawych projektach dla globalnych klientów 90% kadry zarządzającej ma wykształcenie techniczne Dostęp do szkoleń wewnętrznych i ścieżek rozwojowych Udział w wydarzeniach zespołowych, firmowych spotkaniach i Town Hallach Wsparcie w budowaniu profesjonalnego wizerunku (personal branding) Dostęp do ubezpieczenia na życie oraz prywatnej opieki medycznej dla siebie i rodziny Karta MultiSport, która wspiera dbałość o zdrowie i kondycję Originally posted on Himalayas