NTTコミュニケーションズと日本カーソリューションズは2018年10月3日、ドライブレコーダの映像とセンサーデータ（速度・加速度）に音声データを加えてディープラーニングで解析することで、交通事故を自動で検知する精度を向上させたと発表した。運転手の安全意識の向上と事故の軽減を支援する。
日本カーソリューションズは、カーリースを契約している企業に、安全運転促進のための自動車IoTツールとして「NCSドライブドクター」を提供している。同サービスのオプション「NCS交通安全プログラム」の映像解析サービスでは、専任スタッフがドライブレコーダに記録された映像から様々な危険運転シーンを抽出して分類を行っているが、この業務には多くの時間を要するという課題があり、より手早く正確に行うことが必要だった。
図1：本実験の判定イメージ（出典：NTTコミュニケーションズ）拡大画像表示
NTTコミュニケーションズは、2016年から車両向けマルチモーダル深層学習の開発に取り組み、ドライブレコーダのデータを解析することによる危険運転（ヒヤリハット）の検知に成功したという。従来は映像やセンサーデータだけを解析対象にしていたが、今回、新たに交通事故発生時の接触音や人の声などの音声データを加えた車両向けマルチモーダル深層学習を開発した。
両社は、これまで検知が困難だった交通事故についてAIで自動検知する実験を開始した。車両や歩行者などと接触しそうになるシーンをヒヤリハット、接触したシーンを交通事故とする設定に基づき、日本カーソリューションズが顧客に提供しているドライブレコーダのデータから、音声や映像、センサーデータである「時系列マルチモーダルデータ」を約850件抽出した。のの7割（約600件）を学習させたあと、残り3割（約250件）のデータをAIに判定させた。
ドライブレコーダは、車両の前方映像を記録するため、特に後方や横方向の状況において、ヒヤリハットか交通事故かを判別するのは困難だった。今回新たに、交通事故発生時の音声データを追加したことで、映像には映らない場所の状況についても、接触音などを含めて解析することが可能になった。この結果、車両の全方位においてAIでの自動検知精度を向上できた。
音声・映像・センサーデータを対象にした解析では、映像・センサーデータのみを対象にした解析と比べて、交通事故と判定した精度が約1.75倍の89％（正解率）に、通常運転・ヒヤリハット・交通事故の全体においても、約1.2倍の85％の精度を記録した。
