[クラウド活用パターン辞典〜Amazon Web Servicesを使い倒す!〜]

AWSでビッグデータを分析する【第5回】

2017年5月8日(月)清野 剛史(クラスメソッドAWS事業部ソリューションアーキテクト)

前回まで、AWS(Amazon Web Services)を使ったWebシステムの構築にフォーカスし、AWSの設定方法などを考えてきた。今回は少し視点を変え、その活用に期待が高まっている“データ”の可視化と分析にスポットを当て、非専門家向けにサードパーティーが提供するサービスも含めて、分析の対象や形態によって、どのサービスを使えば良いかを考えてみる。

 現代のITを中心としたエコシステムにおいて、データの存在はとても大きい。企業は様々なデータを取得し保存しているはずだ。売り上げや利益のデータはもちろんのこと、顧客や決済のデータ、商品1つひとつの販売を表すPOS(販売時点情報)、オンラインシステムにおけるユーザーのアクセス経路などを示すログなどもあれば、地域の天気や温度・湿度といった環境データなどなどである。これら膨大な情報から“次の一手”につながる“金の卵”を見つけ出すための知識を持つ「データサイエンティスト」という専門職も存在する。

 当然企業は、これらのデータを、より効率的、より効果的に利益を上げるために取得している。だが実際には「何かに使えるはず」として漠然と保管し続けている企業が少なくない。多くの利益を上げられる施策を打つためのヒントとなる“金の卵”をデータから見いだした経験が足りないため、データサイエンティストを雇ったり専門会社に業務を委託したりするまでの決断も下せない。「もっと手軽に、自分たちで試行錯誤しながらデータの可視化と分析ができればいいのに」と感じている企業はとても多い。以下では、データの種類別に可視化と分析方法について考えていく。

ログデータを可視化する

 まずは、システム構築時には必須とも言える各種ログの可視化について考える。AWSの場合、各サービスのログ情報は基本的に「CloudWatch」というモニタリングサービスに集約されてくる(図1)。CloudWatchは1分単位で最大15カ月間分のメトリクスログを収集・保管できる。「CloudWatch Logs」という機能を使えばEC2などのアプリケーションログの収集も可能だ。

図1:「CloudWatch」で各種サービスのログ情報を集約する図1:「CloudWatch」で各種サービスのログ情報を集約する
拡大画像表示

 データ自体は、CloudWatchの管理画面で折れ線グラフとして可視化される。複数のメトリクスもワンクリックで同時に表示できる。サーバーログ関係であれば、まずCloudWatchにすべてのログを集めるのが最も適切だろう。

 各ログにはアラームが設定できる。特定の単語(‘ERROR’など)に反応し「Lambda」での処理やSNSへの通知につなげられる。緊急時の通知だけではなく、自動復旧やスケールといった一連の動きをCloudWatchに事前設定しておけば安心だろう。例えば、CloudWatchのメトリクスでCPUやメモリーの使用量をチェックし、しきい値を超えたらアラートをLambdaに伝えることで自動的にスケールアウトさせるといったことが可能になる。こうした仕組みにより、システムの“守り”を固めよう。

IoTなどのデータをリアルタイムに可視化する

 IoTデータや環境データなど定期的に蓄積されるデータを可視化するための最適なサービスはなんだろうか。これは、データを見るタイミングによって選ぶサービスが変わってくる。なるべくリアルタイムに現状を見たい場合は「Elasticsearch Service(以下ES)」に付属する「KIBANA」がお薦めだ。

 KIBANAはESに登録されたデータを最短1秒単位でグラフにプロットできる。KIBANA自体も5秒単位で自動リロードが可能なため、ほぼリアルタイムにデータの推移を可視化できる。グラフの種類も、折れ線グラフ、エリアチャート、棒グラフ、円グラフなどの標準的な形式は網羅している。他にもGPSデータを元に移動経路をプロットした地図やタグクラウドなどの表現ができる(図2)。ESの最新バージョンは2017年4月時点では5.1だが、5.2ではヒートマップなどが使えるようになる。室内の滞留データなどをヒートマップ表示するなどリアルタイムでの状況把握には役立つだろう。

図2:「Elasticsearch Service」に付属する「KIBANA」による分析結果の表示例図2:「Elasticsearch Service」に付属する「KIBANA」による分析結果の表示例
拡大画像表示
バックナンバー
クラウド活用パターン辞典〜Amazon Web Servicesを使い倒す!〜一覧へ
関連記事

Special

-PR-

AWSでビッグデータを分析する【第5回】前回まで、AWS(Amazon Web Services)を使ったWebシステムの構築にフォーカスし、AWSの設定方法などを考えてきた。今回は少し視点を変え、その活用に期待が高まっている“データ”の可視化と分析にスポットを当て、非専門家向けにサードパーティーが提供するサービスも含めて、分析の対象や形態によって、どのサービスを使えば良いかを考えてみる。

PAGE TOP