ウルシステムズは2011年3月頃から、受発注など基幹業務の日次・月次バッチを高速に処理するためのソフトウエア開発コンポーネント「Asakusa Framework」を、オープンソースとして公開する。分散処理基盤ソフト「Apache Hadoop」の使い勝手を高める上位層のソフトであり、Hadooopの仕組みを知らなくても分散バッチ処理システムを開発できる。
構成要素は大きく、以下の通り。(1)上位言語で設計したバッチ処理をHadoopのJavaコードに変換・実行する開発機能(Ashigel Compiler)、(2)MySQLのテーブル情報を元に、Hadoopの入出力データ形式に合わせたデータ・クラスとテスト・データを生成するモジュール(Model Generator)、(3)これらを統合管理する統合テスト・ツール、である。
Ashigel Compilerは、3種類のDSL(目的別の上位言語)で記述したソース・コードを元に、MapReduce処理を実施するJavaソース・コードを自動生成し、JARファイルを生成する。このJARファイルには、DSLで定義した処理ロジックに加えて、Model Generatorが生成した入出力データ形式のJavaクラスと、実行時に必要なAsakusa Frameworkのランタイム環境が含まれる。
開発者が記述するDSLは、3種類ある。(a)「Operator DSL」は、データ処理の最小単位となる演算子を定義・記述する言語。(b)「Flow DSL」は、Operator DSLで定義した演算子を組み合わせてデータ・フロー(データの入力、加工、出力の処理)を記述する言語。(c)「Batch DSL」は、Flow DSLで作成した個々のデータ・フローをジョブとみなし、ジョブを組み合わせて一連のバッチ処理を記述する言語である。
なお、これまで、Hadoopの使い勝手を高める上位層ソフトは、Pig、Hive、Oozieなど、主にDWH/BI分野を対象としたツール群に限られていた。今回のAsakusa Frameworkは、これまで欠けていた基幹バッチ処理向けの上位層を補完する位置付けとなる。ウルシステムズが手がけた実案件では、これまで4時間かかっていたバッチ処理が数分で完了した例があるという。
-
-
-
-
Gemini搭載でGoogle CloudのAIプラットフォーム「Vertex AI」が大幅アップデート。企業の生成AI活用に不可欠なデータマネジメントとは
-
-
-
-
-
-
-
-
-
-
-
-
-
-
大型化、狭額縁化だけじゃないモニターの進化! “機能”と“信頼性”を両輪に差別化を推し進めるレノボの「ThinkVision」
-
WalkMeが2023年のデジタルアダプションアワードを発表。「えきねっと」におけるUX向上事例など、ユーザー間でノウハウを共有するイベントを開催
-
-
Lenovo Tech World Japan 2023 特別対談「レノボ×マイクロソフト」が語る生成AI活用の“現在地”と“近未来”
-
-
-
あらゆるユーザーにAI活用を!「Lenovo Tech World Japan」で提示される企業コンピューティングの近未来像とは?
-
-
-
-
-
-
-