Storm + Jepsen

Wojtek Gawronski (@afronski, afronski.pl) - 2014 © License: CC BY-ND 3.0 PL

Tools

Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing.

[...] a million tuples processed per second per node

It is scalable, fault-tolerant, guarantees your data will be processed, and is easy to set up and operate.

Storm korzysta z hierarchicznej struktury aby samodzielnie się organizować wewnątrz klastra.
Nimbus jest odpowiedzialny za dystrubucję kodu w klastrze, przypisywanie zadań do określonych fizycznych maszyn oraz monitoringu i śledzenia zadań. Jego odpowiednikiem wewnątrz Hadoopa jest JobTracker.
To Supervisor na każdej z maszyn jest odpowiedzialny za nasłuchiwanie i wykonywanie otrzymywanych zadań.
To właśnie tutaj odbywa się fizyczna praca, a Nimbus odpowiedzialny jest za składanie żądań dot. zasobów. Na jego poziomie zadania są rozdzielane i właśnie tam zachodzi fizyczna delegacja do maszyn podziału przygotowanego na podstawie topologii.
Zookeeper używany jest tylko do koordynacji elementów klastra.
Message passing z Zookeepera nie jest w ogóle wykorzystywany.
Każdy z poziomów (Nimbus, Zookeeper, Supervisor) jest zaprojektowany ze świadomością błędów i tzw. "fail-fast". Możemy w dowolnym momencie ubić każdy z nich i automatycznie zostanie on podniesiony.
Największym mankamentem tej architektury jest single-point-of-failure jeśli chodzi o Nimbus. To tutaj występuje największe ryzyko w kontekście np. awarii maszyny i obecnie trwają prace nad tym, aby Nimbus mógł zostać w łatwy sposób zwielokrotniony, co znacząco zwiększy odporność całego klastra.
Pod spodem Nimbus komunikuje się z Supervisorami i Zookeeperem za pomocą Thrift. Oznacza to, że topologie, definicje spouts oraz bolts muszą być serializowalne.

Breaking distributed systems so you don't have to.

Dlatego warto wznieść się odrobinę wyżej i pomyśleć nad każdym z przypadków, które mogą być interesujące w kontekście niezawodności tworzonego systemu.
Jepsen, mimo młodego wieku i niestabilności w developmencie daje kilka bardzo ważnych elementów dzięki którym możemy półautomatycznie (a przy odrobinie wysiłku także automatycznie) przeprowadzić testy niezawodności.
Operuje on na poziomie "fizycznym" (wirtualizacja i komunikacji pomiędzy maszynami/kontenerami) więc symulacja jest naprawdę bardzo bliska rzeczywistym zaburzeniom.
Dla bardziej wtajemniczonych - umożliwia on także weryfikację porządku częściowego i sprawdzenie linearności (dot. tzw. ang. causality).