冒頭の画像・動画は、コップの取っ手の奥に背景が見える例を表した生成イメージです。Depth Pro 2の出力や距離測定ではありません。
机の上のコップをスマホで撮り、後ろの本棚だけぼかしたい。静止画なら、コップの取っ手まで残っているかを一枚見れば分かる。動画ではもう一つ気になる。カメラを横に振ったとき、取っ手の内側にある背景が、一瞬だけ手前に飛び出して見えないか。
Appleの研究チームが11月19日付のプレプリント(査読前の論文)で示した「Depth Pro 2」は、普通のカメラで撮った写真や動画から、画面の各点の奥行きをメートル単位で推定するモデルだ。見た目から距離の目安を出す研究で、カメラに測距センサーを足す製品でも、iPhoneのカメラに今回追加された機能でもない。従来のDepth Proも一枚の写真からメートル単位の奥行きを推定できた。今回見たいのは、動画で時間をまたいでも、境目をぼかさず保てるかだ。
輪郭の正しさと、時間の安定は別
一枚ずつ奥行きを推定する方法では、それぞれの画面では境目がきれいでも、取っ手の周りがフレームごとに少し動くことがある。反対に、前後のフレームを使って安定させても、本来の境目が太くぼやけたら、背景のぼかしがコップにはみ出す。上のコップはこの違いを説明する例で、実際の出力ではない。
Depth Pro 2は一つのモデルで、一枚の画像も複数のフレームも処理する。公式コードでは、保存済みの動画を既定で16フレームずつ、4フレーム重ねて処理する。つなぎ目の前後で情報を共有するためだ。ライブ映像向けの既定では、今のフレームと最大15枚前までを使う。未来のフレームは待たない代わりに、始まったばかりの映像は参照できる過去が少なく、奥行きが安定しにくいという。
Appleの論文では、Sintelという評価データで、時間方向の揺れを示す指標が旧Depth Proの11.26から、今回の最大モデルH+の1.39になった。論文では動画ごとに奥行きのスケールなどをそろえ、隠れていない点を追った。表の数字は指標を100倍したもので、小さいほど安定している。この数字だけで、輪郭の良し悪しや実際の距離との誤差は分からない。軽量版にも同じ値を期待できるという意味ではない。
「メートルで出る」と「測ったら合う」は違う
メートル単位にするには、画角に関係するカメラの焦点距離も必要になる。公式実装では、写真なら記録されている焦点距離を使え、分からなければ別のモデルで見積もる。異なる撮り方でも同じ精度になるとは限らない。奥行きの色分けがきれいで、動画でも安定して見えても、実物との距離が合ったかは別に確かめる必要がある。
コードと学習済みモデルの重みは公開されている。最小のSから最大のH+まで4サイズで、Apple向けのCore ML版もある。ただし、重みの公式ライセンスで認められているのは、非商用の科学研究・学術開発に限られる。コードを読めることだけを見て、重みを商用のアプリやサービスに組み込めると考えないほうがいい。
映像研究として見るなら、まずカメラを固定して物を置いたまま短い動画を撮る。その映像で、「輪郭が合っているか」「時間とともに値が勝手に揺れないか」「実際に測った距離と合うか」を別々に記録する。ぼかしの試作なら最初の二つが気になる。寸法や距離を扱う用途なら、三つ目を見ずに判断できない。カメラや物を動かす場合は、距離が本当に変わったのか、推定だけが揺れたのかを別の試験で見る。本稿ではモデルを動かしたり、距離を実測したりしていない。
出典:Appleの研究紹介/論文v1(既定の仕組み・比較表)/公式コード・実行設定/重みの利用条件/旧Depth Proの論文


