[新製品・サービス]

日立、Hadoopデータ分析をFPGAで高速化する技術を開発

2017年11月14日(火)日川 佳三(IT Leaders編集部)

日立製作所は2017年11月14日、Hadoopを用いたビッグデータ分析を最大100倍に高速化する技術を開発したと発表した。データ処理の手順をハードウェア上の並列処理に適した手順に変換した上で、FPGA(Field Programmable Gate Array)を使って処理するというものである。これにより、少数のサーバーで高速に分析できるようになる。

図1●Hadoopによるデータ分析をFPGAで高速化する技術の概要(出所:日立製作所)図1●Hadoopによるデータ分析をFPGAで高速化する技術の概要(出所:日立製作所)
拡大画像表示

 日立製作所は今回、Hadoopデータ処理基盤においてFPGAを用いた高速データ処理を実現する技術を開発した。本技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認した。今後、ユーザーとの実証実験を通じて、本技術の実用化を目指すという。

 開発した技術の特徴は2つある。(1)1つは、データ処理の手順を、ソフトウェア処理向けのものからFPGA向けに変換すること。(2)もう1つは、さまざまなデータの形式やサイズを判別する解析回路を設け、並列処理の最適化調整を行う回路設計を考案したことである。

 (1)では、Hadoopの処理手順を解析し、分散処理効率を考慮した上で、FPGAでの並列処理に適した順序に処理命令を変換する、データ処理手順変換技術を開発した。これにより、FPGAの回路を無駄なく効率的に利用できるようになった。

 背景には、Hadoopデータ処理基盤のデータ処理エンジンは、CPUを用いてソフトウェアで順次処理を実行することを前提に、データの取得・検索・演算といったデータ処理の手順を最適化しているという状況がある。この処理手順をそのまま実行しても、ハードウェアが得意とする並列処理による高速化の効果を十分に生かすことができない。

 (2)では、さまざまなデータの形式やサイズを判別する解析回路を設け、データ形式やサイズに応じて複数のデータを1つの回路でまとめて処理するなど、並列処理の最適化調整を行う回路設計を考案した。これにより、さまざまなデータに対応できるだけでなく、検索処理や集約処理の回路を無駄なく利用した並列処理が可能となり、高速データ処理を実現した。

 背景には、FPGA上で処理を行う場合、日付や数値、文字などのデータ形式を、ハードウェアで処理しやすい形式に限定し、データの種類ごとに専用の処理回路を用意する必要があるという状況がある。この一方で、Hadoopデータ処理基盤では、例えば同じ日付のデータでもUNIX通日型、ユリウス通日型など複数の形式を許容するため、多くの専用処理回路が必要となり、搭載規模に限界のあるFPGAの回路領域を有効に活用できなかった。

関連キーワード

FPGA / Hadoop

関連記事

日立、Hadoopデータ分析をFPGAで高速化する技術を開発 日立製作所は2017年11月14日、Hadoopを用いたビッグデータ分析を最大100倍に高速化する技術を開発したと発表した。データ処理の手順をハードウェア上の並列処理に適した手順に変換した上で、FPGA(Field Programmable Gate Array)を使って処理するというものである。これにより、少数のサーバーで高速に分析できるようになる。

PAGE TOP