Data Engineer (Azure Databricks + Python)

Kim jest H2B Group? Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować? ✨ Elastyczność -- Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią. 💡 Przejrzystość -- Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków. 🚀 Szybkość działania -- Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom. 🌟 Możliwość rozwoju -- Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Do projektu naszego klienta poszukujemy Senior Data Engineera (Azure Databricks + Python)

Zakres obowiązków na tym stanowisku:

• Projektowanie, rozwijanie i utrzymywanie wydajnych oraz skalowalnych aplikacji opartych na Apache Spark.
• Tworzenie rozwiązań do przetwarzania, analizowania i transformacji dużych zbiorów danych.
• Rozwijanie procesów oraz aplikacji data engineeringowych przy wykorzystaniu Pythona i Azure Databricks.
• Definiowanie oraz egzekwowanie dobrych praktyk programistycznych i standardów kodowania w projekcie.
• Przeprowadzanie code review i dbanie o jakość, czytelność oraz zgodność kodu z ustalonymi standardami.
• Optymalizowanie kodu i procesów przetwarzania danych pod kątem wydajności, skalowalności i efektywnego wykorzystania zasobów.
• Praca z formatami kolumnowymi, w szczególności Parquet, oraz tabelami Delta.
• Identyfikowanie i rozwiązywanie problemów technicznych wpływających na stabilność oraz wydajność aplikacji.
• Współpraca z zespołami technicznymi i biznesowymi przy dostarczaniu wysokiej jakości rozwiązań.
• Jasne komunikowanie zadań i instrukcji członkom zespołu oraz wspieranie organizacji codziennej pracy.
• Regularna komunikacja z klientem i pozostałymi interesariuszami projektu.
• Samodzielne planowanie i realizowanie powierzonych zadań.
• Tworzenie i aktualizowanie dokumentacji technicznej dotyczącej kodu, procesów oraz przepływów pracy.

Wymagania:

• Minimum 5 lat komercyjnego doświadczenia w tworzeniu oprogramowania lub rozwiązaniach z obszaru data engineering.
• Bardzo dobra znajomość Apache Spark.
• Praktyczne doświadczenie z Azure Databricks i/lub Azure Synapse Analytics albo Microsoft Fabric.
• Bardzo dobra znajomość języka Python.
• Doświadczenie w przetwarzaniu i manipulowaniu danymi przy wykorzystaniu bibliotek takich jak Pandas, Polars lub podobnych.
• Dobra znajomość kolumnowych formatów przechowywania danych, w szczególności Parquet.
• Praktyczne doświadczenie w pracy z Delta Tables.
• Doświadczenie w projektowaniu procesów przetwarzania, analizowania i transformowania danych.
• Umiejętność tworzenia czystego, wydajnego, skalowalnego i łatwego w utrzymaniu kodu.
• Doświadczenie w optymalizacji wydajności aplikacji oraz procesów przetwarzania danych.
• Znajomość architektury mikroserwisowej i sposobów jej wykorzystania w skalowalnych systemach.
• Doświadczenie z Dockerem i Kubernetesem.
• Bardzo dobre zdolności analityczne i umiejętność rozwiązywania problemów.
• Praktyczne i pragmatyczne podejście do pracy, pozwalające łączyć ustalone procesy z elastycznością potrzebną do realizacji celów projektu.
• Bardzo dobra organizacja pracy, samodzielność oraz umiejętność ustalania priorytetów.
• Umiejętność pracy pod presją czasu i realizowania zadań w wymagających terminach.
• Bardzo dobre umiejętności komunikacyjne oraz doświadczenie w kontakcie z klientem.
• Znajomość języka angielskiego na poziomie min. C1.

Co oferujemy?

• Pracę zdalną -- elastyczność, która pozwala pracować z każdego zakątka świata!
• Ciekawe projekty -- dobierane zgodnie z Twoimi umiejętnościami i zainteresowaniami, dające możliwość pracy nad innowacyjnymi rozwiązaniami.
• Umowa B2B bez zapisu o wyłączności -- współpracuj z nami na swoich zasadach.
• Rozwój zawodowy -- praca z najnowszymi technologiami i w zróżnicowanych projektach gwarantuje stały rozwój.