[新製品・サービス]

NEC、ベクトルスパコンでHadoop/Sparkデータ解析を100倍高速に、Hortonworksと共同開発

2018年10月15日(月)日川 佳三(IT Leaders編集部)

NECと米Hortonworksは2018年10月15日、NECのスーパーコンピュータ「SX-Aurora TSUBASA」を使い、ビッグデータを高速に分析するシステム基盤を共同で開発すると発表した。Sparkを使用した機械学習アプリケーションが従来システム比で最大100倍高速に動作するとしている。

 NECと米Hortonworksの2社は、幅広い業種や分野でビックデータを高速かつ高度に分析するためのシステム基盤を2018年度中に開発することで協業している。共同開発の成果は、オープンソースとして公開を予定しており、各種の環境や業種ごとのユースケースで利用できるようにする。

 共同開発の内容は大きく2つある。1つは、NECのスーパーコンピュータであるSX-Aurora TSUBASAを、Hadoop/Spark領域での代表的なリソース管理/分散アプリケーション管理基盤「YARN」に対応させる。YARNは、Hadoop/Spark環境で、各ジョブへのリソース(CPUやメモリーなど)の割り付けやスケジュールを管理する基盤である。

 これにより、Hadoop/Sparkを用いたデータ解析アプリケーションをSX-Aurora TSUBASA上で管理できるようになる。YARNを用いた一般的なシステムでは、従来と同等の解析を最大で99%少ないサーバーリソースで実行できるとしている。

 共同開発のもう1つの内容は、NECが開発したソフトで、ベクトル型コンピュータに適した機械学習向けデータ処理ミドルウェア「Frovedis(フロベディス)」を、Sparkに組み込むことである。

 これにより、Sparkを使った機械学習アプリケーションが、従来のサーバー比で最大100倍高速に動作するとしている。通常のSparkと同様の管理環境で、機械学習用ライブラリ「MLlib」などを活用したアプリケーションを高速に実行できるようになるとしている。

 なお、SX-Aurora TSUBASAは、NECのベクトル型スーパーコンピュータ「SXシリーズ」の最新機種である。最大の特徴は、ベクトルプロセッサとメモリーを搭載したベクトル演算ユニット「ベクトルエンジン」を、PCI Express接続型の拡張カードの形状とし、汎用のx86サーバーに搭載して動作するようにしたことである。

 SX-Aurora TSUBASA上ではOSとしてLinuxが動作する。ユーザーから見れば、Linuxが動作する通常のx86サーバーとして使える。アプリケーションも、x86向けに書いたコードをそのまま利用できる。付属する専用のコンパイラ(Fortran、C、C++)を使って再コンパイルするだけで、ベクトルエンジン上で動作するアプリケーションを得られる。

関連記事

Special

-PR-

NEC、ベクトルスパコンでHadoop/Sparkデータ解析を100倍高速に、Hortonworksと共同開発NECと米Hortonworksは2018年10月15日、NECのスーパーコンピュータ「SX-Aurora TSUBASA」を使い、ビッグデータを高速に分析するシステム基盤を共同で開発すると発表した。Sparkを使用した機械学習アプリケーションが従来システム比で最大100倍高速に動作するとしている。

PAGE TOP