Splunk 2 Elastic

Aplikacja Splunk jest szeroko stosownym narzędziem analitycznym do dokumentów tekstowych. Korzystają z niego zarówno odbiorcy biznesowi jak i działy IT. Splunk przewyższa swoimi funkcjonalnościami środowisko Elasticsearch, jednak zazwyczaj przechowuje znacznie mniejszy zasób danych. Powód jest oczywisty: Splunk licencjonowany jest za każdy GB danych wprowadzony do systemu w trybie dziennym. Na rynku widzimy wyraźny trend uruchamiania instalacji Splunk do zadań specjalizowanych, wymagających silnych cech matematycznych. Z drugiej strony Elasticsearch stał się standardem dla utrzymywania logów operacyjnych obszaru IT, gwarantując nielimitowaną i bezkosztową przestrzeń indeksowania zdarzeń.

Czy te środowiska muszą konkurować, czy też mogą ze sobą współpracować?

Odpowiedzią na to pytanie jest „Splunk2Elastic connector” który stworzyliśmy. Dobrze wiemy, że oba środowiska posiadają silne wsparcie programistyczne, bardzo dobrze działają poprzez API. Splunk i Elastic są wprost stworzone do integracji, pozwalają uruchamiać

Splunk2Elastic Connector jest oprogramowaniem dostarczanym dla Splunk Enterprise w postaci aplikacji tego środowiska. Po wskazaniu adresu i portu środowiska Energy Logserver/Elastic uzyskujemy dostęp do nowych poleceń w Splunku które pozwalają wykonać typowego dla Elasticsearch.

Jak to działa ?

Dla użytkownika Splunk pojawiają się nowe komendy, które pozwalają wykorzystać potencjał integracji.

W naszych logach spójrzmy na dane z urządzenia CR25ia. Takie wyszukiwanie zadziała z ELK, prezentując wyniki:

Splunk o tych danych na razie nic nie wie.

Jeśli skorzystamy z integracji, dane natychmiast są widoczne w Splunk.

Warto zwrócić uwagę na pewne cechy tej integracji:

  • Connector dba o poprawność dat, zakres ustawiony w zapytaniu Splunk „Last 60 minutes” jest przekazywany w query do Elasticsearch
  • Zdarzenia pochodzą ze wskazanego indeksu w ELK
  • Dokumenty zachowują swoje poprawne parsowanie oraz identyfikację parametrów Syslog Priority

Splunk tych danych nie posiada, ale przetwarza zgodnie ze swoją składnią.

Dane przesłane z integracji możemy dalej przetwarzać w Splunk, co widać poprzez zastosowanie potoku | search CR25ia.

Prezentowanych danych nie ma w indeksach Splunk, dlatego nie wchodzą w utylizację licencji. Czy możemy na nich pracować? Oczywiście! Dla danych zintegrowanych Splunk zachowuje swoją pełną funkcjonalność. Wynik możemy poddawać wizualizacją oraz regułom alarmowym, jak na poniższym przykładzie.

Integracja z Energy Logserver / Elastic uwalnia nowe możliwości dla Splunk, pozwala wykorzystać to środowisko w nowych projektach i uwolni potencjał jego możliwości. Jednak jak każda integracja, musi polegać na połączeniach sieciowych i zawsze będzie wolniejsze od przetwarzania danych lokalnie.

Dlatego Splunk2Elastic Connector pozwala na stałe zaindeksowanie wyniku z ELK w Splunk. Skorzystamy do tego celu z polecenia collect, kierującego wynik do nowego indeksu Splunk.

Przykład zastosowania:

Od tego momentu dokumenty są na stałe przechowywane w Splunk, gdzie możemy zaobserwować komunikaty z naszego urządzenia CR25ia:

Dlaczego stworzyliśmy Splunk2Elastic connector?

  • Projekty IT wymagają przetrzymywania ogromnej ilości danych, które nie zawsze niosą dużą wartość jakościową, jednakże muszą być utrzymywane z powodów proceduralnych
  • Budżety IT nie pozwalają na stosowanie Splunka w pełnym zakresie potrzeb
  • Chcemy wykorzystać Splunk w obszarze, które do tej pory był dla niego niedostępny – analizy 100% logów w przedsiębiorstwie
  • Zdejmujemy ryzyko inwestycji w Splunk w przypadku blokady po przyjęciu zbyt dużego wolumenu danych dziennie
  • Tworzymy w Splunk system parasolowy, który pozwala na analizę wielu integrowanych środowisk

Przykład wykorzystania: Analiza logów pod względem bezpieczeństwa: Splunk as SIEM

To zagadnienie wymaga przetwarzania ogromnych ilości danych, dlatego zastosowanie Splunk2Elastic connector jest intuicyjne. W Splunk Enterprise utworzymy zadania typu „Background Search”, które cyklicznie będą analizaowały dane w ELK pod względem istotnych informacji z punktu widzenia bezpieczeństwa

Te zadania są uruchamiane co kilka minut, natychmiast analizując przyrost danych w ELK. Jeżeli Search zakończy się powodzeniem, Splunk zabiera RawLog z ELK, przypisuje go do odpowiedniej kategorii incydentu i zachowuje w swoim indeksie.

Tak kategoryzowane dane pozwalają na utworzenia dashboardu dla SOC, który w tle analizuje 100% logów IT wykorzystując konektor.

Każde wystąpienie zdarzenia jest na stałe zachowywane przez Splunk, co utylizuje licencję. Koszt ten jest jednak rozsądny i uzasadniony.

Stworzony system pozwala na indeksowanie danych w pełnej skali infrastruktury i pracuje jednolicie w momentach znacznego wzrostu liczby danych. Jednocześnie przekazujemy do Splunka najważniejsze informacje, do których szybki dostęp jest kluczowy.