コミュニケーション コミュニケーション記事一覧へ

[新製品・サービス]

ロボホンが手話を理解して日本語で発話、NTTデータなどが手話通訳アプリを開発

2017年11月8日(水)日川 佳三(IT Leaders編集部)

NTTデータ、シャープ、NTTデータSBCの3社は2017年11月8日、シャープのモバイル型ロボット電話「ロボホン」に手話を通訳させるシステムを共同で開発したと発表した。聴覚障がい者が行う手話を理解して通訳するアプリケーションを開発した。

写真1●モバイル型ロボット電話「ロボホン」の外観(出所:シャープ)写真1●モバイル型ロボット電話「ロボホン」の外観(出所:シャープ)
拡大画像表示

 今回3社は、手話を日本語音声に通訳するモバイルロボットを開発した。これにより、手話を話す聴覚障がい者と、手話を話せない健聴者の間で、伝達ができるようになる。

 ロボホンに向かって手話で話しかけると、ロボホンがこれを理解し、内容を日本語の音声で発話するとともに、スマートフォンなどに表示する。これにより、聴覚障がい者から健聴者への伝達ができる。

 一方、ロボホンに向かって音声で話しかけると、ロボホンがこれを理解し、内容をスマートフォンなどに表示する。これにより、健聴者から聴覚障がい者への伝達ができる。

図1●手話を通訳する仕組み(出所:NTTデータ、NTTデータSBC、シャープ)図1●手話を通訳する仕組み(出所:NTTデータ、NTTデータSBC、シャープ)
拡大画像表示

 手話の認識には、ディープラーニング(深層学習)を活用した。手話の動きを認識して分析し、手話の意味する単語を抽出する。

 現段階では、手話学習初心者の手話学習や、簡単な意思伝達を必要とする場で利用することを想定している。今後は、行政や企業の窓口応対なども想定している。また、現在は日本語対応手話の1種類だけだが、今後は国際手話など認識できる種類を増やす予定。

 なお、今回の開発の契機は、NTTデータ社内のロボホン向けアプリ開発コンテストである。手話通訳アプリケーションが最優秀賞を受賞し、NTTデータ、NTTデータSBC、シャープが共同でアプリケーションを開発するに至った。

関連キーワード

ディープラーニング / 深層学習

関連記事

ロボホンが手話を理解して日本語で発話、NTTデータなどが手話通訳アプリを開発NTTデータ、シャープ、NTTデータSBCの3社は2017年11月8日、シャープのモバイル型ロボット電話「ロボホン」に手話を通訳させるシステムを共同で開発したと発表した。聴覚障がい者が行う手話を理解して通訳するアプリケーションを開発した。

PAGE TOP