[新製品・サービス]

Hadoop基幹バッチを簡単に開発するDSL、ウルシステムズがOSSで公開

2011年2月9日(水)

ウルシステムズは2011年3月頃から、受発注など基幹業務の日次・月次バッチを高速に処理するためのソフトウエア開発コンポーネント「Asakusa Framework」を、オープンソースとして公開する。分散処理基盤ソフト「Apache Hadoop」の使い勝手を高める上位層のソフトであり、Hadooopの仕組みを知らなくても分散バッチ処理システムを開発できる。

構成要素は大きく、以下の通り。(1)上位言語で設計したバッチ処理をHadoopのJavaコードに変換・実行する開発機能(Ashigel Compiler)、(2)MySQLのテーブル情報を元に、Hadoopの入出力データ形式に合わせたデータ・クラスとテスト・データを生成するモジュール(Model Generator)、(3)これらを統合管理する統合テスト・ツール、である。

Ashigel Compilerは、3種類のDSL(目的別の上位言語)で記述したソース・コードを元に、MapReduce処理を実施するJavaソース・コードを自動生成し、JARファイルを生成する。このJARファイルには、DSLで定義した処理ロジックに加えて、Model Generatorが生成した入出力データ形式のJavaクラスと、実行時に必要なAsakusa Frameworkのランタイム環境が含まれる。

開発者が記述するDSLは、3種類ある。(a)「Operator DSL」は、データ処理の最小単位となる演算子を定義・記述する言語。(b)「Flow DSL」は、Operator DSLで定義した演算子を組み合わせてデータ・フロー(データの入力、加工、出力の処理)を記述する言語。(c)「Batch DSL」は、Flow DSLで作成した個々のデータ・フローをジョブとみなし、ジョブを組み合わせて一連のバッチ処理を記述する言語である。

なお、これまで、Hadoopの使い勝手を高める上位層ソフトは、Pig、Hive、Oozieなど、主にDWH/BI分野を対象としたツール群に限られていた。今回のAsakusa Frameworkは、これまで欠けていた基幹バッチ処理向けの上位層を補完する位置付けとなる。ウルシステムズが手がけた実案件では、これまで4時間かかっていたバッチ処理が数分で完了した例があるという。

関連記事

Hadoop基幹バッチを簡単に開発するDSL、ウルシステムズがOSSで公開ウルシステムズは2011年3月頃から、受発注など基幹業務の日次・月次バッチを高速に処理するためのソフトウエア開発コンポーネント「Asakusa Framework」を、オープンソースとして公開する。分散処理基盤ソフト「Apache Hadoop」の使い勝手を高める上位層のソフトであり、Hadooopの仕組みを知らなくても分散バッチ処理システムを開発できる。

PAGE TOP