Inżynieria niezawodności witryny (SRE) to to, co otrzymujesz, gdy traktujesz operacje jak problem z oprogramowaniem. To zestaw praktyk związanych z operacjami, monitorowaniem, zarządzaniem incydentami i automatyzacją.

Wszystkie regularne procedury związane z utrzymaniem przetwarzania danych powinny być zminimalizowane poprzez automatyzację na podstawie monitorowania i powiadamiania. Zaleca się standaryzację środowisk oraz wykorzystanie rozwiązań opartych na chmurze lub programowalnych rozwiązań klastrujących, takich jak Kubernetes, aby umożliwić automatyzację.

Tradycyjne aplikacje oprogramowania wykorzystują wiele strategii wdrażania, takich jak wydania kanarkowe (Canary releases), Blue-Green, aktualizacje Rolling i wiele innych. Ale czy wiesz, że te strategie można zastosować również do twoich potoków danych?

Weźmy na przykład wydania kanarkowe: możesz podzielić swoje źródłowe zbiory danych na procentowe udziały wierszy i użyć dwóch wersji kodu przetwarzającego do ich przetwarzania. W przypadku problemów z nową wersją zawsze możemy ponownie przetworzyć dane przy użyciu poprzedniej wersji!

A co z Blue-Green? Po prostu przetwórz swój zbiór danych dwa razy, używając różnych wersji kodu, i porównaj wyniki.

To podejście sprawia, że procedury wdrażania są bardziej odporne, a standardowe przetwarzanie danych jest mniej podatne na zmiany danych.

Na przykład, możemy wyodrębnić wszystkie wiersze z błędami do dalszego przetwarzania, przyjmując podejście karantanny (Quarantine), podobnie jak w przypadku wydań kanarkowych.

Ponadto, wszystko to działa zarówno dla rozwiązań wsadowych (Batch) jak i strumieniowych (Streaming) danych!

Mapowanie strumienia wartości (Value Stream Mapping) to istotny pierwszy krok w planowaniu kodu przetwarzania danych i automatyzacji.

Uwzględnij wszelkiego rodzaju kod dostarczany przez wszystkie zespoły. Następnie udokumentuj kroki niezbędne do udostępnienia go biznesowi. Każdy element powinien być powiązany z wartością biznesową i wpływem.

To ćwiczenie pozwala nam priorytetyzować automatyzację w celu maksymalizacji wartości biznesowej.

Byłbyś zaskoczony, ile rozwiązań Big Data nie wersjonuje swoich artefaktów kodu! Po prostu wdrażają "najnowszą" wersję przetwarzania danych do środowiska produkcyjnego.

Możemy wprowadzić wiele praktyk, w tym konteneryzację i pakowanie zarządzane w centralnym rejestrze artefaktów. Dzięki temu możemy wdrożyć wersjonowanie każdego elementu, które koreluje z wersjami kodu źródłowego. W przypadku problemów zawsze będziemy mieć wersję, do której możemy się cofnąć.

Co jest uznawane za wynik w Big Data?

W przypadku analizy Big Data istnieje wiele rozwiązań. Wykorzystują one różne technologie, a czasami nawet interfejsy niskiego kodu typu "przeciągnij i upuść", które pozwalają wyrazić przetwarzanie danych bez konieczności samodzielnego pisania kodu. Nawet układ panelu nawigacyjnego do prezentacji danych biznesowych może być uważany za kod.

Ponadto, z danymi pracuje wiele rodzajów specjalistów: specjaliści ds. Business Intelligence (BI), inżynierowie danych, naukowcy danych, specjaliści MLOPS i inni.