NECは2023年2月20日、AIの予測精度を維持するための2つの技術を開発したと発表した。(1)予測精度の低下の原因を自動で分析して可視化する技術と、(2)新しいデータを追加して再学習する際に、それまで正解していたデータを不正解にすることなく一貫性を維持する技術である。これらにより、時間やコストをかけずに予測精度を保ちながらAIを運用できるようになるとしている。開発した技術は2023年度中に「NEC MLOpsサービス」で利用する。
NECは、AIの予測精度を維持するための2つの技術を開発した。これらにより、時間やコストをかけずに予測精度を保ちながらAIを運用できるようになるとしている。開発した技術は、2023年度中に「NEC MLOpsサービス」で利用する。
「AIの予測精度は、運用中の社会環境の変化によって低下する。開発時点で学習したデータから傾向が変化するからである。例えば、小売店の需要予測では、近隣にマンションが建ってファミリー層の利用者が増えるケースがある。こうした場面で予測精度の低下を防ぐためには、AIを監視し、精度低下が発生した場合は、原因を分析したうえで再学習する必要がある」（NEC）
こうした課題を解決するために、NECは、(1)予測精度の低下の原因を自動で分析して可視化する技術と、(2)新しいデータを追加して再学習する際に、それまで正解していたデータを不正解にすることなく一貫性を維持する技術を開発した。
(1)予測精度の低下の原因を自動で分析して可視化する技術
従来、例えば需要予測であれば、専門家が過去の売買データや気温など複数のデータから精度低下の原因を手動で分析していた。これに対して今回開発した技術は、学習時と運用時のデータの傾向の変化や予測への影響度などの指標を独自に組み合わせ、精度低下の原因を自動で分析する。
注目すべきデータを、根拠と共にレポートとして提示する。これにより、専門性を持たない人でも、短時間で精度低下の原因を分析可能になる。NECが実施した実証試験では、精度低下の原因分析の工数を約50%削減できることを確認したという（図1）。
図1：予測精度の低下の原因を自動で分析して可視化する技術（出典：NEC） (2)新しいデータを追加して再学習する際に、正解していたデータを不正解にすることなく一貫性を維持する技術
従来の再学習では、全体的な精度は向上するものの、再学習前に正解していたデータの一部を不正解としてしまう部分的な劣化が発生することがあるという。このような一貫性の低い再学習は、運用者の混乱を招き、AIの信頼性を損なってしまう。これに対して今回開発した技術は、正解したデータの重みを大きくして再学習することによって、正解部分を継続的に正解とし、部分的な劣化を防ぐ。
機器の故障を予測するケースや、金融の不正取引を検知するケースなど、まれにしか発生しない事象を扱う不均衡データの再学習に対して有効である（図2）。
図2：新しいデータを追加して再学習する際に、それまで正解していたデータを不正解にすることなく一貫性を維持する技術（出典：NEC） 
