冒頭の画像・動画は生成した概念演出です。T-Rexの実機映像や試験結果ではありません。

左手は黒いカードケースを持ったまま。右手が指先でカードの端をつかみ、ピンクの1枚を引き抜く。パナソニックHDや米カリフォルニア大学バークレー校などが共同開発したロボット操作AI「T-Rex」の実機デモだ。見どころは、ケースを見つけるところより、そのあと。片方の手で押さえながら、もう片方の手で薄いものだけを滑らせるには、触れたあとの力加減が要る。

パナソニックHDは11月5日にこの研究を発表した。論文は6月に公開されており、米オースティンで11月9日から開かれるロボット学習の国際会議CoRLで発表予定だ。家庭向けロボットの発売ではない。今回の研究で何ができ、何がまだ難しいかを、1枚のカードから見ていく。

行き先はカメラで、触れたあとの補正は指先で

手をケースまで運ぶには、机のどこにケースがあり、どちらの手で持つかを決める必要がある。だが、指が触れたあとに知りたいのは別のことだ。押しつけすぎていないか。引こうとしたカードが指の間で滑っていないか。こうした変化は、カメラだけでは捉えにくい。

T-Rexでは、映像と指示から手の動きの大枠を作る処理が毎秒約5回、指先の触覚に応じてその動きを細かく補正する処理が毎秒約20回と、別のペースで動く。両手の10本の指先から、力のかかり方や接触による変形の情報を取る。指先側は、映像に基づく次の更新を待たず、すでにある動きの大枠を細かく直す。この回数はAIの処理の更新頻度で、ロボット全体の反応時間を測った数字ではない。

映像と指示から約5Hzで手の動きの大枠を作り、触れたあとは指先の情報で約20Hzで補正する。数字は更新頻度で、ロボット全体の反応時間ではない。

矢印は、映像から作った動きの大枠を補正に使う関係を示す。指先側は次の映像更新を待たず、別のペースで補正する。数字は処理の更新頻度で、反応時間の実測値ではない。パナソニックHDの発表と研究チームの論文v2をもとにRINKAKU作成。

研究チームのカード取り出しデモ(倍速)を見る。左手がケースを持ち上げたあと、右の指がカードに接するところに注目すると、二つの手の役割が見やすい。これは研究チームが公開した一例で、全試行の様子ではない。

平均65%は「毎回最後までできた割合」ではない

研究チームは、ページめくり、卵の移し替え、鍵開け、電球のねじ込みなど12種類を、物の位置や向きを変えながら各16回評価した。表の平均はT-Rexが65%、六つの比較手法で最も高かったEgoScaleが35%。ただし、工程が複数ある課題では、途中までできた分も点に入る。65%を「100回のうち65回、最後まで成功した」とは読めない。

この差を、センサーを足しただけの効果とも言い切れない。そこで見るべきなのが、同じ研究の別の比較だ。代表的な6課題では、T-Rexの触覚入力を外した版の平均が42%、すべての入力を使う版が65%だった。触覚を使う設計がこの条件では役に立った、という根拠はこちらにある。12課題の他手法比較とは分けて見たい。

12課題ではT-Rex 65%、EgoScale 35%。代表6課題では全入力T-Rex 65%、触覚入力なしT-Rex 42%。部分点を含む平均で完遂率ではない。

12課題の他手法比較と、代表6課題で触覚入力を外した比較は別の評価。数字は、工程の途中までの達成にも点が入る採点の平均で、最後まで成功した試行の割合ではない。出典:T-Rex論文 v2、表1・表2。図はRINKAKU作成。

できなかった場面もある。論文には、狭いケースからカードを引き抜くとき、力を均一にかけられなかった失敗例が載っている。電球の課題では、取り付け位置のずれでぶつかる例もあった。デモの器用さと、似た作業を何度も任せられるかは別の話だ。

次にこうした実機デモを見るなら、物を持ち上げた瞬間で止めず、持ったあとまで見たい。カードなら、ケースを保持したまま1枚を抜き、残りを落とさないところまでが仕事だ。今回の研究は、その短い間にもロボットが動きを直せることを示した。現場で任せられるかを判断するには、対象の道具や置き方を変えて、どの工程で失敗するかまで見る必要がある。


出典:パナソニックHDの発表(2026年11月5日)、研究チームの論文 v2(評価は第5節、失敗例は付録H)、研究チームの実機デモ。RINKAKUによる実機試験ではありません。