冒頭の画像・動画は、コップの取っ手の奥に背景が見える例を表した生成イメージです。Depth Pro 2の出力や距離測定ではありません。

机の上のコップをスマホで撮り、後ろの本棚だけぼかしたい。静止画なら、コップの取っ手まで残っているかを一枚見れば分かる。動画ではもう一つ気になる。カメラを横に振ったとき、取っ手の内側にある背景が、一瞬だけ手前に飛び出して見えないか。

Appleの研究チームが11月19日付のプレプリント(査読前の論文)で示した「Depth Pro 2」は、普通のカメラで撮った写真や動画から、画面の各点の奥行きをメートル単位で推定するモデルだ。見た目から距離の目安を出す研究で、カメラに測距センサーを足す製品でも、iPhoneのカメラに今回追加された機能でもない。従来のDepth Proも一枚の写真からメートル単位の奥行きを推定できた。今回見たいのは、動画で時間をまたいでも、境目をぼかさず保てるかだ。

輪郭の正しさと、時間の安定は別

一枚ずつ奥行きを推定する方法では、それぞれの画面では境目がきれいでも、取っ手の周りがフレームごとに少し動くことがある。反対に、前後のフレームを使って安定させても、本来の境目が太くぼやけたら、背景のぼかしがコップにはみ出す。上のコップはこの違いを説明する例で、実際の出力ではない。

Depth Pro 2は一つのモデルで、一枚の画像も複数のフレームも処理する。公式コードでは、保存済みの動画を既定で16フレームずつ、4フレーム重ねて処理する。つなぎ目の前後で情報を共有するためだ。ライブ映像向けの既定では、今のフレームと最大15枚前までを使う。未来のフレームは待たない代わりに、始まったばかりの映像は参照できる過去が少なく、奥行きが安定しにくいという。

静止画はコップの写真1枚だけ。録画は16フレームずつ処理し、隣り合うまとまりは4枚を共有する。ライブは今と最大15枚前までを使い、未来のフレームを待たない。公式コードの既定を示した模式図。
Depth Pro 2が見るフレームの範囲。静止画は1枚、公式コードの既定で録画は16枚ずつ4枚を重ね、ライブは今の1枚と過去を最大15枚使う。作図はRINKAKU。実行・測定結果ではありません。

Appleの論文では、Sintelという評価データで、時間方向の揺れを示す指標が旧Depth Proの11.26から、今回の最大モデルH+の1.39になった。論文では動画ごとに奥行きのスケールなどをそろえ、隠れていない点を追った。表の数字は指標を100倍したもので、小さいほど安定している。この数字だけで、輪郭の良し悪しや実際の距離との誤差は分からない。軽量版にも同じ値を期待できるという意味ではない。

「メートルで出る」と「測ったら合う」は違う

メートル単位にするには、画角に関係するカメラの焦点距離も必要になる。公式実装では、写真なら記録されている焦点距離を使え、分からなければ別のモデルで見積もる。異なる撮り方でも同じ精度になるとは限らない。奥行きの色分けがきれいで、動画でも安定して見えても、実物との距離が合ったかは別に確かめる必要がある。

写真に焦点距離の記録があればその値を使い、なければ別のモデルで推定する。どちらでも実物との距離は別に確かめる。
写真の焦点距離に記録があれば、その値を使える。なければ別モデルで推定する。どちらでも実物との距離は別に確かめる。公式実装を示したRINKAKU作図であり、実測結果ではありません。

コードと学習済みモデルの重みは公開されている。最小のSから最大のH+まで4サイズで、Apple向けのCore ML版もある。ただし、重みの公式ライセンスで認められているのは、非商用の科学研究・学術開発に限られる。コードを読めることだけを見て、重みを商用のアプリやサービスに組み込めると考えないほうがいい。

映像研究として見るなら、まずカメラを固定して物を置いたまま短い動画を撮る。その映像で、「輪郭が合っているか」「時間とともに値が勝手に揺れないか」「実際に測った距離と合うか」を別々に記録する。ぼかしの試作なら最初の二つが気になる。寸法や距離を扱う用途なら、三つ目を見ずに判断できない。カメラや物を動かす場合は、距離が本当に変わったのか、推定だけが揺れたのかを別の試験で見る。本稿ではモデルを動かしたり、距離を実測したりしていない。

出典:Appleの研究紹介/論文v1(既定の仕組み・比較表)/公式コード・実行設定/重みの利用条件/旧Depth Proの論文