富士通は2023年1月18日、映像中の人の行動を、シミュレータ上で再現した3D空間にマッピングする技術を開発したと発表した。新たに開発した現場映像からカメラのパラメータを推定する自動キャリブレーション技術と、映像から人の行動を認識する同社のAI技術「行動分析技術Actlyzer」を連携させ、1台のカメラ映像から人の行動を3D空間で判定する。製造現場のデジタルツインを構築して、技術工場の生産ラインにおける予知保全を支援する。今後、同技術を用いたデジタルツインの実証を進めて、2023年度中の実用化を目指す。
富士通は、映像中の人の行動を、シミュレータ上で再現した3D空間にマッピングする技術を開発した。同技術を使って、製造現場における作業員の業務・行動のデジタルツインを1台のカメラ映像から容易に構築可能だという。特定の場所や特定の装置に対する作業のしやすさをシミュレータ上で検証したり、危険な姿勢を特定したことをシミュレータにフィードバックしたりできるようになる（図1）。
図1：製造現場作業のデジタルツインのイメージ（出典：富士通） 富士通は今回、任意のカメラで撮影した現場映像から、AIを活用してカメラのパラメータ（高さ、角度、距離、焦点距離など）を推定する自動キャリブレーション技術を開発した（図2）。これに、映像から人の行動を認識する同社のAI技術「行動分析技術 Actlyzer」を連携させ、映像から人の行動を3D空間で判定できるようにした（関連記事：学習データなしに基本動作の組み合わせで人の複雑な行動を認識する技術「Actlyzer」─富士通研究所）。
図2：映像中の人の行動をシミュレータ上で再現した3D空間にマッピングする技術の概要（出典：富士通）拡大画像表示
現場に設置した装置の位置とCADデータの位置を合わせることで、映像中の行動の3次元情報をCADデータ上に反映させる。同社が実際の工場での映像データで検証したところ、カメラから約6mの距離にあり、CADデータと位置合わせをした基準点から約2mの距離にある実世界上の点について、誤差2cmの精度で対応付けを行えることを確認した。
今後は、今回開発した技術を使ってデジタルツインの実証を進める。2023年度中の実用化を目指すとしている。
