Senior Data Engineer (Integrations / Data Platform)

O nas

Czy pasjonujesz się budowaniem skalowalnych i niezawodnych systemów danych, które napędzają rzeczywiste rozwiązania? Poszukujemy Senior Data Engineera, który dołączy do naszego zespołu i będzie pracował zdalnie z Europy, Ukrainy lub regionu LATAM.

W Sigma Software współpracujemy z innowacyjnymi firmami, dostarczając najnowocześniejsze rozwiązania technologiczne. Ta rola oferuje możliwość projektowania i obsługi kanonicznej platformy danych, która integruje różnorodne zewnętrzne źródła danych, zapewniając wysoką jakość i elastyczność.

Dlaczego warto do nas dołączyć?

Będziesz pracować z nowoczesnymi technologiami, współpracować z utalentowanymi profesjonalistami z wielu regionów oraz mieć swobodę eksperymentowania i wprowadzania innowacji, przyczyniając się do realizacji wpływowych projektów w branży AdTech.

Klient

Nasz klient to szybko rozwijająca się firma z branży AdTech, koncentrująca się na rozwiązywaniu rzeczywistych wyzwań w reklamie cyfrowej i marketingu opartym na danych. Specjalizują się w budowaniu wysoce odpornych i skalowalnych systemów, które zachęcają do eksperymentowania.

Projekt

Projekt obejmuje rozwój i utrzymanie kanonicznej platformy danych, która integruje wiele zewnętrznych źródeł danych. Obsługuje ona zarówno pełne ładowanie danych, jak i aktualizacje przyrostowe, zapewnia wysoką jakość danych oraz wykorzystuje narzędzia wspomagane przez AI do monitorowania i wykrywania problemów.

Kluczowe technologie: Java, Scala, SQL, GCP Dataflow, REST API, narzędzia AI, architektury sterowane zdarzeniami (event-driven).

Obowiązki

• Projektowanie, budowanie i utrzymywanie niezawodnych potoków danych (data pipelines) w celu pozyskiwania i przetwarzania danych z systemów zewnętrznych.
• Implementacja integracji przy użyciu języka Scala, zapewniając skalowalność i odporność.
• Efektywna obsługa pełnych ładowań danych oraz aktualizacji przyrostowych.
• Współpraca z zespołami inżynierskimi i produktowymi w celu dostosowania potrzeb integracyjnych i danych.
• Rozwijanie i utrzymywanie ujednoliconego wewnętrznego modelu danych.
• Zapewnienie jakości danych, wykrywanie i rozwiązywanie problemów z nieprawidłowymi lub niekompletnymi danymi.
• Wykorzystanie narzędzi wspomaganych przez AI w celu poprawy jakości danych i efektywności operacyjnej.
• Monitorowanie i optymalizacja potoków danych pod kątem gotowości produkcyjnej.

Wymagania

• Minimum 5 lat doświadczenia na stanowisku Data Engineer lub Backend/Data Engineer.
• Silne doświadczenie produkcyjne z językiem Scala.
• Udowodnione doświadczenie w integrowaniu systemów zewnętrznych przez REST API (stronicowanie, limity zapytań, uwierzytelnianie oparte na tokenach).
• Silne umiejętności modelowania danych ze strukturami relacyjnymi.
• Solidna znajomość SQL.
• Doświadczenie z GCP Dataflow.
• Doświadczenie w obsłudze potoków danych w środowiskach produkcyjnych.
• Silne umiejętności komunikacyjne i zdolność do współpracy w zespołach.
• Znajomość języka angielskiego na poziomie co najmniej Upper Intermediate.

Mile widziane

• Doświadczenie z architekturami sterowanymi zdarzeniami lub systemami przesyłania wiadomości.
• Projektowanie schematów kanonicznych dla wielu źródeł danych.
• Doświadczenie z LLM (Large Language Models).

Profil osobisty

• Proaktywność i dbałość o szczegóły.
• Umiejętność pracy w środowiskach zespołowych.
• Pasja do rozwiązywania złożonych wyzwań integracyjnych.
• Gotowość do eksperymentowania z nowymi technologiami.
• Zaangażowanie w doskonalenie systemów danych.