[新製品・サービス]

ビッグデータやAIへの活用も―正確なテキスト処理を実現するインターシステムズの自然言語処理技術

2016年12月6日(火)杉田 悟(IT Leaders編集部)

ビッグデータで注目されるようになったのが、「非構造化データ」だ。企業において、オフィス文書や電子メール、SNSなどの非構造化データは構造化データの数倍あるとされており、ビッグデータの分析結果にも大きな影響を及ぼす。しかし、精度の高いデータとして扱うのが難しいのも非構造化データの特徴だ。インターシステムズは、「ボトムアップ型」の自然言語処理技術「iKnow」で、非構造化データであるテキストデータの活用の幅を広げる。iKnowは2016年10月に日本語版が発表され、日本企業が本格的に活用できるようになった。

 iKnowは、テキストベースの非構造化データを、意味のある構造化データに変換するための自然言語処理技術だ。その特長は、独自の考え方に基づいた形態素解析にある。形態租解析は、会話などの自然言語を処理するために必要な技術のこと。

 インターシステムズが2010年にベルギーのi.Knowを買収して得た技術で、同社のフラッグシップ製品であるデータベース基盤の「InterSystems Caché」に組み込む形で提供されている。

 iKnowのプロダクトマネージャーを務めるベンジャミン・デ・ボー氏によると、iKnowの創設者が、言語処理の「ボトムアップ」アプローチ手法を発見したことから始まったものだという。

 インターシステムズでは、一般的な自然言語処理ツールで用いられている手法を「トップダウン」アプローチと呼んでいる。トップダウンアプローチでは、まず文章を単語で区切る。「on」や「to」などの前置詞も1つの単語として区切り、単語の並びから固有名詞を判断する。

 一方のボトムアップアプローチは、動詞や副詞、一般名詞など、文法上、単体では意味をなさない単語を抽出する。それから漏れた固有名詞などの単語を意味のある「エンティティ」として特定し、文法の並びから重要な語句を見つけ出す。

 例えば

Congressional hearing attacks EpiPen price hikes(公聴会はエピペンの価格引き上げを攻撃した)

という文章。

 エピペンとは、じんましんなどのアレルギー症状(アナフィラシキー)が出た時に、一時的に症状の進行を緩和することのできる、患者が自分で使用できる補助治療剤のこと。文章は、メーカーがエピペンの価格を引き上げたことに対して公聴会が開かれた模様をニュースサイトで取り上げた時のものだ。

この記事の続きをお読みいただくには、
会員登録(無料)が必要です
登録済みの方はこちら

IT Leaders 雑誌版、電子版をご購読の方、会員登録済みの方は下記ボタンよりログインして続きをお読みください

初めての方はこちら

IT Leaders 会員になると
会員限定公開の記事を読むことができます
IT Leadersのメルマガを購読できます

【次ページ】文法的に難しい日本語化にも成功
  • 1
  • 2
関連記事

ビッグデータやAIへの活用も―正確なテキスト処理を実現するインターシステムズの自然言語処理技術ビッグデータで注目されるようになったのが、「非構造化データ」だ。企業において、オフィス文書や電子メール、SNSなどの非構造化データは構造化データの数倍あるとされており、ビッグデータの分析結果にも大きな影響を及ぼす。しかし、精度の高いデータとして扱うのが難しいのも非構造化データの特徴だ。インターシステムズは、「ボトムアップ型」の自然言語処理技術「iKnow」で、非構造化データであるテキストデータの活用の幅を広げる。iKnowは2016年10月に日本語版が発表され、日本企業が本格的に活用できるようになった。

PAGE TOP