O firmie:

Polski Światłowód Otwarty sp. z o.o. (PŚO) jest wiodącym hurtowym operatorem telekomunikacyjnym w Polsce, z zasięgiem ponad 3,7 mln gospodarstw domowych. Firma ma za cel dotarcie  do 2028 roku do ponad 6 mln gospodarstw domowych w całej Polsce, oferując operatorom detalicznym dostęp do największej w kraju sieci szerokopasmowej. 

Sytuacja:

PŚO powstało w wyniku połączenia dwóch dużych firm UPC Polska oraz Play, które zdecydowały się na stworzenie nowego podmiotu świadczącego usługi hurtowego dostępu do sieci szerokopasmowej. Istotnym wyzwaniem było szybkie zorganizowanie platformy integrującej różnorodne źródła danych obu założycieli oraz praktyk związanych z przetwarzaniem danych.

Wyzwania:

1. Dylematy organizacyjne: Nowa, lekka organizacja odrzucała duże zatrudnienie, co stanowiło wyzwanie dla projektu. Firma chciała zbudować nową platformę danych opartą na najnowszych technologiach chmurowych, ale nie posiadała kompetencji w tym obszarze.
2. Ograniczenia technologiczne: PŚO musiało zmierzyć się z koniecznością integracji różnych źródeł danych, w tym odziedziczonych po firmie macierzystej:
   • ok. 50 systemów wykorzystywanych w organizacji
   • 13 systemów zintegrowanych na start w Data Lake (6 systemów poza kontrolą organizacji, łącznie 20 źródeł danych)
   • 210 tabel, ok 1 mld wierszy, 240,58 active logical Gibibytes
   • Największa tabela: 565 422 508 wierszy, 93,56 active logical Gibibytes
3. Czas implementacji i dostępność raportów: Kluczowym celem PŚO było osiągnięcie niezależności w dostępie do danych, eliminując konieczność korzystania z predefiniowanych paneli i dashboardów firmy macierzystej. Już na starcie organizacja miała ogromne zapotrzebowanie na tworzenie raportów i analizę danych. Wyraźnym wymaganiem było dostarczenie rozwiązania w 3-6 miesięcy co praktycznie wykluczyło realizację przez stworzenie własnego zespołu

“Chcieliśmy odejść od zastanych źródeł danych w systemach obu firm i zbudować nową platformę danych w oparciu o najnowsze technologie chmurowe. Wybraliśmy Alterdata.io ze względu na ekspercką wiedzę i doświadczenie z Google Clouds, a także z systemami zewnętrznymi.” 

-Pracownik PŚO

Realizacja projektu: 

Naszym celem było stworzenie spójnej usługi zarządzania danymi, która usprawni i ustandaryzuje integrację różnych źródeł danych oraz uprości proces wprowadzania zmian. Nowy system miał zapewnić łatwe dodawanie nowych źródeł i modyfikowanie konfiguracji.

Projekt obejmował wiele obszarów, takich jak integracja danych (zbieranie danych), zarządzanie nimi, ich transformacja oraz orkiestracja realizujących te zadania procesów. Priorytetem było zapewnienie prostych i klarownych procesów, aby umożliwić płynny przepływ danych z różnych źródeł do spójnego systemu.

Pierwszym krokiem było przeprowadzenie warsztatów zespołowych z PŚO, podczas których zdefiniowaliśmy główne wymagania nowego systemu oraz dokonaliśmy analizy kilku strategii dotyczących pozyskiwania danych.

“Firma Alterdata.io wykazała się doskonałą wiedzą fachową, profesjonalizmem oraz indywidualnym  podejściem do klienta podczas całego procesu implementacji systemu. Jej zespół inżynierów  i specjalistów był niezwykle zaangażowany w projekt, dostarczając wysokiej jakości rozwiązania zgodnie  z naszymi oczekiwaniami oraz obecnymi standardami stosowanymi na rynku informatycznym.” ~ Aleksander Tomczyk, Product Owner, PŚO

Zastosowane technologie

Alterdata.io wdrożyła zaawansowaną architekturę Data Hub opartą na Google Cloud Platform, umożliwiającą centralizację danych oraz zapewniającą skalowalność i elastyczność w zarządzaniu nimi. 

Kluczowym elementem projektu było wdrożenie Data Lake oraz Enterprise Data Warehouse, obejmujące budowę, orkiestrację i monitorowanie procesów ELT. Dzięki temu możliwe stało się efektywne gromadzenie, przetwarzanie i analizowanie danych w czasie rzeczywistym. 

Wykorzystując metodyki DevOps oraz Infrastructure as a Code, Alterdata.io zautomatyzowała proces wdrażania zasobów na trzech środowiskach, co zapewniło szybkie i niezawodne wdrożenia, kluczowe dla utrzymania ciągłości operacyjnej. 

Podczas wdrażania systemu skupiliśmy się na rozwiązaniach chmurowych w ekosystemie Google Cloud. 

• Cloud Run został wykorzystany do integracji ze źródłowymi bazami danych, co umożliwiło budowę skonteneryzowanych aplikacji dostosowanych do potrzeb PŚO, bez konieczności martwienia się o skalowalność, koszty czy zarządzanie infrastrukturą. Ponadto, Cloud Run ułatwił bezpieczne połączenia za pośrednictwem sieci UPC, umożliwiając dostęp do źródeł danych w ich centrach danych.

• Cloud Run Jobs jako rozwinięcie usługi zbudowanej w oparciu o Cloud Run umożliwiło PŚO wykonywanie w prosty sposób, bez przygotowywania skomplikowanych dodatkowych konfiguracji, manualnych importów dużych tabel źródłowych.

• Google Cloud Storage (GCS) został wykorzystany do przechowywania danych po wstępnym przetworzeniu i transformacjach wykonanych przez aplikację Cloud Run. GCS umożliwił nam obsługę dużych rozmiarów danych bez konieczności ponoszenia kosztów początkowych i usprawnił zarządzanie danymi dzięki opcjom zasad przechowywania.

• BigQuery pozwolił nam zbudować Hurtownię Danych do analityki biznesowej i transformacji danych, co przyczyniło się do usprawnienia przepływu pracy w przetwarzaniu danych.

• Google Cloud Composer z Airflow został wykorzystany do zarządzania mnogością źródeł danych i około 20 różnymi systemami. Zdolność Airflow do zarządzania zadaniami i uruchamiania procesów w oparciu o wykonanie zadania znacznie ułatwiła zarządzanie złożonym modelowaniem danych i przygotowywaniem raportów. Ta możliwość była niezbędna do skutecznego zarządzania różnorodną i rosnącą infrastrukturą danych.

W ramach projektu wdrożono również narzędzia analityczne, takie jak Power BI, oraz przeprowadzono szkolenia dla użytkowników, co zwiększyło dostępność danych i korzyści płynące z demokratyzacji danych oraz umożliwiło szybką generację interaktywnych raportów i dashboardów. 

Rezultat: 

Projekt PŚO stanowi doskonały przykład nowoczesnego podejścia do zarządzania danymi w erze cyfrowej transformacji. Dzięki zastosowaniu innowacyjnych technologii chmurowych i event-based approach, stworzyliśmy platformę danych gotową na wyzwania przyszłości.

Event-based Approach Ready:

Nasze rozwiązanie jest w pełni przygotowane do obsługi podejścia opartego na zdarzeniach (event-based approach), co oznacza, że jest elastyczne i gotowe na adaptację do dynamicznie zmieniających się potrzeb biznesowych. Wykorzystując sensory w Composerze, zapewniamy szybką reakcję na zmiany w danych i możliwość natychmiastowej analizy nowych zdarzeń.

Elastyczność i Skalowalność:

Jedną z kluczowych zalet naszego rozwiązania jest jego niezwykła skalowalność. Dzięki temu, że nasza platforma umożliwia łatwe dodawanie nowych źródeł danych i modyfikację konfiguracji, firma PŚO może dynamicznie rozwijać swoją infrastrukturę danych wraz z rozwojem biznesu.

Łatwość Zarządzania i Modyfikowania Konfiguracji:

Plik konfiguracyjny to kluczowy element naszego rozwiązania, który sprawia, że zarządzanie i konfiguracja systemu staje się bardziej intuicyjne i efektywne. Dzięki niemu, użytkownicy mają pełną kontrolę nad ustawieniami systemu, co pozwala na szybkie dostosowanie go do zmieniających się potrzeb biznesowych. Nasza intuicyjna platforma umożliwia szybką i efektywną konfigurację, co pozwala na błyskawiczne reagowanie na zmiany w otoczeniu biznesowym. 

Obsługa Dużych Plików:

Nasze rozwiązanie zostało zoptymalizowane pod kątem obsługi dużych plików, co pozwala na szybkie przetwarzanie ogromnych ilości danych bez utraty wydajności. Dzięki temu, proces analizy danych nigdy nie zostaje zakłócony, nawet w przypadku największych obciążeń.

Generator DAGów Plików i Sensorów:

Nasze narzędzia do automatycznego generowania grafów zależności (DAGów) dla plików i sensorów sprawiają, że konfiguracja procesów staje się jeszcze prostsza i bardziej efektywna. Dzięki nim, projektowanie i zarządzanie strukturą danych jest szybsze i bardziej przejrzyste.

“Współpraca z firmą Alterdata.io była dla nas nie tylko efektywna, ale także inspirująca.  Polecamy firmę Alterdata.io jako solidnego i kompetentnego partnera w zakresie digitalizacji danych  w przedsiębiorstwie.” ~ Aleksander Tomczyk, Product Owner, PŚO

Podsumowanie:

Współpraca z firmą Alterdata.io przyniosła PŚO oczekiwane rezultaty, dostarczając nowoczesne i efektywne rozwiązania technologiczne, które wspierają dalszy rozwój firmy w dynamicznym środowisku telekomunikacyjnym. Dzięki skutecznemu zbudowaniu i wdrożeniu nowoczesnej platformy danych, PŚO może teraz efektywnie zarządzać i analizować swoje dane, wspierając podejmowanie strategicznych decyzji biznesowych. Sukces projektu zaowocował stałą współpracą w zakresie wsparcia z utrzymaniu systemu i  korzystaniu z narzędzi analitycznych BI.