[Sponsored]

独自の分散型リアルタイム検索・分析エンジンでサイバー脅威など企業を取り巻く難題をインテリジェントに解決

2021年7月2日(金)

リスト

分散型リアルタイム検索・分析エンジン「Elasticsearch」を核に、多種多様で膨大なデータを自在にハンドリングするための製品群として注目を集めているのが「Elastic Stack」だ。ここに実装された独自技術を応用すれば、企業の周囲で発生する“不穏な予兆”をリアルタイムにあぶり出すことが可能だ。その具体像とは──。

企業を取り巻くデータ量が爆発的に増大しているのに伴い、利活用の高度化はおろかハンドリングさえもままならないという課題が叫ばれてすでに久しい。ローカルに保有するデータは言うまでもなく、クラウドの台頭によってデータの分散化やサイロ化も進んでおり、マネジメントがさらに困難になっているのが現状だ。

現状打破に向けてElasticが提供しているのが、Elastic Stackと呼ばれる製品群である。日本法人の鈴木章太郎氏（テクニカルプロダクトマーケティングマネージャー/エバンジェリスト）は、「あらゆるソースから、あらゆるフォーマットのデータを取得し、Elastic Stackで一元管理することで、リアルタイムな検索・分析・可視化を実現します」と語る。具体的にElastic Stackがどんな製品から構成されているのか見てみよう。

独自技術でリアルタイムな検索/分析/可視化を実現

コアとなるのはElasticsearchという分散型リアルタイム検索・分析エンジンだ。これまで企業は主にRDB（リレーショナルデータベース）を利用してデータを格納・管理してきた。しかし、時間の経過とともにデータベースとテーブルが肥大化し、数百万のデータセットを含む大規模なデータベースになると次第に操作が困難になっていく。

これに対してElasticsearchは、ドキュメントベースのデータベースで非正規のままのデータをJSON形式で保存する独自の仕組みを持っており、「数百万件のドキュメントも数秒で検索することができます」と鈴木氏は強調する。

このElasticsearchに対して、あらゆるソースのデータをシッピングする役割を担うのが、BeatsとLogstashの2つのモジュールだ。

Beatsは各種サーバ＝やコンテナなどのエッジマシンにエージェントとして常駐し、データを送信する軽量なデータシッパーである。「ログファイルやメトリックをはじめ、ネットワークパケット、Windowsイベントログ、監査データ、稼働データ、サーバーレスなど用途別シッパー（Beatsファミリー）を用意しています」（鈴木氏）。

一方のLogstashはETL的なデータシッパーで、膨大な数のソースからデータを取り込み、変換・加工して、任意の格納庫（スタッシュ）に送信する。「例えばPostgreSQLで管理している大量のブログデータを一気にElasticsearchに取り込み、インデックス化して高速検索するといったことが可能となります」と鈴木氏は説明する。

そしてKibanaというオープンなユーザーインタフェースを用いてElasticsearchに格納されたデータを可視化することができる。ワッフルチャートやヒートマップ、時系列分析など豊富な機能が揃っており、多様なデータソースに対応する事前構成済みのダッシュボードを使って、KPIに注目したプレゼンテーションを作成できる。また、KibanaはElastic Stack全体を制御する管理コンソールとしての役割も担っており、クエリーの負荷を追跡するほか、アプリ内部のリクエストフローを把握することも可能である。

教師なし機械学習機能を活用して異常を検知

Elastic Stackをベースとしたソリューションとして最も多くの実績を持つのは、複数のアプリケーションを横断して卓越した検索パフォーマンスを発揮する「Elasticエンタープライズサーチ」であるが、注目すべきソリューションはそれだけではない。

耳目を集める一つとして、Elasticsearchを活用してイベントを監視し、必要な対応を実行するソリューションがある。「Elasticオブザーバビリティ」がそれで、エコシステム内のあらゆる場所で発生するデータをElastic Stackに集約し、一元的な可視性を提供する。

中でも特徴的なのはML Nodesと呼ばれる教師なし機械学習の機能で、鈴木氏は「リアルタイムに上がってくるデータをモニタリングし、異常を検知することができます」とする。

一例としてAIインテグレーターのブローダービズは、Elasticオブザーバビリティを活用して時系列の映像データを解析する「AI映像解析による労働環境見守りシステム」を構築。さらに同システムを食品製造工場に適用し、ラインで働く人たちの作業を見守り、異常行動の発生をリアルタイムに検知してトラブルを回避するという成果を上げている。

近年、食品業界では異物混入や悪意の薬物混入などの事故・事件が相次ぎ大きな問題となっており、作業状況を録画するといった対応も行われている。しかし、そこには「長時間にわたる工場作業を、管理者の目のみによって監視し続けることは容易ではない」「担当者は制服、帽子、マスクを着用しているため、見た目だけでは個人の特定が困難」といった課題があった。これに対して同システムは、作業者の姿勢やある時間内での行動を数値化された統計値との比較し、通常の行動を逸脱した異常事態の発生を瞬時に判断するのである。

「現場で撮影された映像データをBeatsで次々に取り込み、ML Nodesに投入して一定期間学習させれば、通常と異なる作業パターンを即座に検知し、責任者に通知するといったアクションを起こすことが可能となります」と鈴木氏は説明する。

もちろんモニタリングや機械学習の対象は映像データに限らない。イベントログやメトリック、APM（アプリケーションパフォーマンス管理）のトレースなど、あらゆるデータに汎用的に対応することが可能であり、Kubernetesをベースとするコンテナ内で実行されているアプリケーションの稼働監視などにも用いられている。

セキュリティ脅威の防御・検知・対応を迅速化

さらにElasticオブザーバビリティの同様の考え方を、サイバー脅威や内部不正に対する継続的な監視と検知に特化した形で応用したのが「Elasticセキュリティ」だ。

図：セキュリティ分野への適用でも注目を集めるElasticの技術
拡大画像表示

現在の企業においては、ファイアウォールやIPSなどの境界防御、エンドポイント保護などのセキュリティ対策が行われているが、一方でこれらのセキュリティ対策製品が発する脅威情報を一元的に管理・活用できているとは言えなかった。

「Elasticセキュリティは、Elasticsearchが持つアグリゲーション（自動集計）機能を最大限に活用することでこの課題を解決します」と鈴木氏は語る。要するにElasticセキュリティは、一般にSIEM（Security Information and Event Management）と呼ばれているソリューションと同等の機能を提供するのだ。これにより様々なセキュリティ機器やセキュリティ対策ソフトが発するイベントを一元的に可視化することで、セキュリティ担当者の負担を軽減するとともに企業のセキュリティレベルを向上する。

図：エコシステムも着々と拡大している
拡大画像表示

加えてElasticセキュリティには、エンドポイントセキュリティの機能も提供している。「保護対象の端末にエージェントをインストールし、そこからリアルタイムに収集した稼働情報をML Nodesに投入して機械学習を行い、不審な振る舞いを検知することで、未知のマルウェアやランサムウェア、ポリモーフィック型のマルウェアやランサムウェアを実行前にブロックすることができます」と鈴木氏は語る。

なお、Elasticセキュリティは世界中のセキュリティ関連のコミュニティやセキュリティベンダーとも連携。死角を残さない可視化と分析、大規模な脅威防御、アナリストを支援するパワフルな機能といった価値を提供している。