背景検出、ぼかし、除去

背景の置き換えは1つの処理に聞こえるが、実際には異なる問題から成るパイプラインである。システムは前景が何かを判断し、各ピクセルが前景に属する度合いを推定し、エフェクトを適用して、結果を合成しなければならない。したがって最適なアルゴリズムは、リーダーボードの順位よりも、入力、ユーザーのガイダンス量、ハードウェア、そして出力が写真なのか終わりのないライブストリームなのかに左右される。

混同しやすい3つの問題 #

背景検出は通常、前景または背景を表すバイナリマスク \(M(x)\) を生成する。監視用途では、固定されたシーンの学習済みビューと異なるピクセルを見つけることを意味する場合が多い。ポートレートツールでは、背後のシーンに関係なく人物に属するピクセルを見つけるセマンティックセグメンテーションを意味することが多い。

背景ぼかしには、バイナリマスクまたはソフトマスクを使用できる。前景画像を保持し、ぼかしたコピーの上に合成する：

ここで \(G_\sigma\) はガウシアンぼかしまたはレンズ風のぼかしである。穏やかなぼかしであれば小さなマスク誤差は隠せるが、髪や動きの周囲にはハローが残って見える。

背景除去には、単なるクラスラベルではなく、利用可能なアルファチャンネルが必要である。画像マッティングでは、ピクセルを次のようにモデル化する：

ハードセグメンテーションマスクでは \(\alpha\) は0または1に制限される。マットは、髪、毛皮、ガラス、デフォーカス、アンチエイリアシング、モーションブラーによって生じる部分的な被覆を表す。1つの観測色 \(I\) から \(F\)、\(B\)、\(\alpha\) を復元する問題は不良設定である。そのため高品質なマッティングには、仮定、ユーザーヒント、学習済み事前分布、既知の背景、またはそれらの組み合わせが必要になる。

光学マットから学習済みマスクへ #

最も古い実用的な解決策は、撮影環境を制御することである。トラベリングマット、そして後のブルースクリーンやグリーンスクリーンによるクロマキーは、色によってピクセルを分類する。均一に照明されたクリーンなスクリーンは、この手法を高速で予測可能かつ高解像度にする。放送用ハードウェアなら、ほぼ遅延なく処理できる。前景色がスクリーンに似ている場合に失敗し、影、半透明オブジェクト、細い髪、反射した緑色光、カラースピルへの追加処理も必要になる。

初期のコンピュータビジョンシステムは、しきい値、エッジ、連結成分、領域成長、モルフォロジーを使用した。これらの手法は低コストで説明可能である。スキャン文書、均一な背景上の商品画像、深度カメラのしきい値処理、その他の制約された入力では、現在も十分に機能する。照明、テクスチャ、カメラ露出、またはオブジェクトの外観が変化すると脆弱になる。

インタラクティブアルゴリズムは、人間の意図を取り入れた。ユーザーが矩形や前景・背景の数本のストロークを描くと、アルゴリズムは色モデルを構築し、境界コストを最小化する。2004年に発表された GrabCut は、ガウス混合による色推定とグラフカットを反復する。CPU上で効率的に動作し、しばしば不透明なオブジェクトについてきれいなマスクを生成するが、前景と背景の色が似ている場合、穴、細い構造、透明性には弱く、その仮定が破られる。古典的なマッティング手法は、前景と背景の局所的な色分布を推定する、トライマップからアフィニティを伝播する、または類似した特徴を持つピクセルを接続する。 Bayesian matting、closed-form matting、KNN matting が代表的なアプローチである。細かなエッジを保持できるが、トライマップの作成とグローバル最適化のため、自動処理やインタラクティブなリアルタイム利用には不便である。

2010年代にディープ畳み込みネットワークが標準を変えた。完全畳み込みセグメンテーションネットワークは、固定された色規則ではなくオブジェクトレベルのコンテキストを学習し、エンコーダ・デコーダ構成と拡張畳み込みが空間的詳細を復元した。ポートレート特化ネットワークは人物だけを認識すればよいため、はるかに小型化できた。専門的なマッティングネットワークは、合成コンポジットと実写写真からアルファと前景の詳細を学習し、MODNet のようなトライマップ不要モデルがワンクリックのポートレートマッティングを実用化した。

トランスフォーマーと基盤セグメンテーションモデルは、問題の範囲を再び広げた。 Segment Anything (SAM) は点、ボックス、またはマスクを受け取り、タスク固有の再学習なしに未知のオブジェクトカテゴリを分離できる。 SAM 2 は、ストリーミングメモリによってプロンプト可能なセグメンテーションを画像と動画へ拡張する。これらのモデルは強力なインタラクティブフロントエンドだが、もっともらしいオブジェクトマスクがそのまま本番品質のアルファマットになるわけではない。髪、透明性、デフォーカス、モーションブラーには専門的なリファインメントが依然として有用であり、モバイルやライブ動画の制約下では、より小型のタスク固有モデルが勝つことが多い。

したがって最先端は、1つの汎用モデルではなく、複数のシステム群である。オブジェクト選択にはプロンプト可能な基盤モデル、意味的意図にはオープン語彙モデルまたはテキスト誘導モデル、境界アルファには高解像度の専門マッティングネットワーク、動画には効率的な時間モデルを使う。生成モデルは新たに露出した背景をインペイントしたり、混合ピクセルの前景色を再構成したりできるが、コンテンツを創作する可能性がある。これはレビューを伴う編集ツールには許容できるが、証拠を保持する抽出には適さない。

静止画アルゴリズム #

静止画では、システムはフレーム全体を調べ、大規模モデルを使い、高解像度でタイル処理し、境界のリファインメントに余分な時間をかけられる。一方、時間的な証拠はないため、曖昧なピクセルを隣接フレームから解決することはできない。

品質優先の堅牢なパイプラインは、次のように動作することが多い：

1. 画像をダウンサンプリングし、セマンティックまたはプロンプト可能なセグメンターからオブジェクトマスクを取得する；
2. 不確かな境界ピクセルを自動生成されたトライマップに変換する；
3. 未知領域または重複する高解像度タイルだけでマッティングリファイナーを実行する；
4. 正当な穴を消去せずに孤立領域をクリーンアップする；
5. 混合ピクセルで必要となる前景色を推定する；そして
6. プレマルチプライドアルファを用い、リニアライトで合成する。

このカスケードにより、結果を変える箇所にだけ高コストな計算を使える。ぼかしでは、コンパクトなセグメンテーションモデルにガイド付きアップサンプリングとエッジ対応平滑化を続けるだけで十分なことが多い。透明PNGでは、アルファリファイナーと前景色推定がはるかに重要になる。

ぼかしには微妙な実装上の問題がある。元画像をぼかすと、前景色が背景レイヤーへ漏れ込む。そのレイヤーをソフトな境界付近で合成すると、明るいまたは暗いハローが生じる。本番実装では通常、ぼかす前に前景の背後の背景を膨張または塗りつぶし、その後プレマルチプライドアルファで合成する。より強い合成被写界深度効果には、空間的に変化する深度対応ぼかしも必要である。均一なガウシアンは、すりガラスを模倣するだけである。

動画とライブストリームのアルゴリズム #

動画は情報と制約を追加する。隣接フレームから動きやエッジの繰り返しの観測が得られる一方、すべてのフレームは期限内に到着し、直前のフレームと整合しなければならない。独立したマスクでは優れた結果を生成するモデルでも、境界がちらつくなら、より小型の時間モデルより見た目が悪くなる可能性がある。

固定カメラの背景差分 #

固定カメラでは、シーン自体を時間とともに学習できる：

• フレーム差分は、現在のフレームを参照フレームまたは隣接フレームと比較する；
• 移動平均は参照をゆっくり適応させる；
• Stauffer and Grimson のガウス混合手法は、繰り返し現れるピクセル色を表現し、揺れる木やモニターのちらつきを背景として扱えるようにする；
• ViBe のようなノンパラメトリックなサンプルモデルは、分布を当てはめる代わりに最近のピクセル値を保持する；そして
• 後続の局所特徴手法は、影、ノイズ、照明変化への耐性を向上させる。

これらのアルゴリズムは、多くのCPUおよび組み込み環境で十分高速に動作し、意味的な学習ラベルを必要としない。中心的な仮定が同時に限界でもある。つまり、カメラが固定され、背景が観測可能であることだ。カメラが動くと、フレームのほぼ全体が前景としてマークされる可能性がある。静止した人物が背景に吸収されることもあれば、新たに露出した領域が偽の前景として残ることもある。急激な照明変化や影は大きなマスクを発生させる可能性がある。動き検出が示すのは何かが変化したということだけであり、変化したオブジェクトがユーザーの意図した対象であるとは限らない。

セマンティックセグメンテーションと動画マッティング #

フレーム単位のポートレートセグメンテーションは、安定したシーンではなく人物を認識するため、動くカメラでも機能する。しかし、独立して実行すると、信頼度の不安定化、トポロジーの変化、エッジの揺れが生じる。時間システムは、いくつかの方法でこれに対処する：

• オプティカルフローまたは特徴対応を用いて、高コストなキーフレーム間でマスクを伝播する；
• 前のマスク、アルファ、または隠れ状態をリカレントモデルに入力する；
• XMem のような動画オブジェクトセグメンテーションシステムが行うように、前フレームの特徴の外部メモリを維持する；
• 時間特徴を使いながらアルファと前景を同時に予測する。 Robust Video Matting (RVM) がその例である；または
• SAM 2 のようなストリーミング型のプロンプト可能モデルを使い、選択した1つ以上のオブジェクトを追跡する。

オプティカルフローによる伝播は、大部分のピクセルが滑らかに動く場合には低コストだが、誤差が蓄積し、新たに見える領域には参照元がなく、高速な動きやオクルージョンによって対応関係が壊れる。キーフレームを頻繁に挿入すればドリフトを抑えられるが、周期的なレイテンシスパイクが発生する。リカレントモデルは処理を償却し、学習領域内では安定するが、シーンカット後も悪い状態が残る可能性がある。メモリベースモデルは長時間のオクルージョンをより適切に処理できるが、無期限ストリームではメモリ選択と増加を制限しなければならない。

既知背景手法は有用な中間領域を占める。 Background Matting V2 は、別途撮影したクリーンな背景を使い、高品質な前景とアルファをリアルタイムで復元する。追加の参照によって曖昧さの多くが解消されるが、カメラの位置合わせを維持する必要があり、照明、フォーカス、物理シーンの変化によって利点は小さくなる。

2026年半ばの時点で、新たに登場しているハイブリッドが SAM2Matting である。これはSAM 2の動画オブジェクト追跡を、関心領域と段階的なマッティングステージと組み合わせる。そのアーキテクチャは現在の最前線を示している。一般的なメモリベースモデルでオブジェクトの同一性を維持し、不確かな境界付近に高解像度マッティング計算を使うのである。その「state of the art」という結果はプレプリントにおける著者のベンチマーク上の主張であり、すべてのオブジェクトクラス、デバイス、プロンプト、レイテンシ目標で最良であることの証拠ではない。

ストリーミングパイプライン #

実用的なライブパイプラインは通常、次のようになる：

capture/decode -> resize and normalize -> infer/propagate
               -> refine and stabilize -> effect/composite -> encode/display

推論解像度は出力解像度より低くできる。ネットワークは短辺256～512ピクセルを処理し、その後エッジ対応アップサンプラーまたは軽量なリファインメントヘッドがフルサイズのマスクを復元する。この方法で速度は大幅に向上するが、リファインメントが確認する前に小さなオブジェクトや個々の髪が消える可能性がある。

時間平滑化は動きに従うべきである。単純な指数移動平均は、動く手の後ろに残像を残す。ブレンド前に前のアルファを現在のフレームへ向けてワープすれば、その遅れを減らせる。シーンカット、長い間隔、解像度変更、追跡信頼度の低下では、状態を明示的にリセットしなければならない。そうしなければ、前日の状態、あるいは単に前のショットの状態が次のフレームを汚染する。

通話やライブ放送では、平均フレーム毎秒だけでは不十分である。低いフレーム単位レイテンシと低い分散が必要になる。バッチ処理はアクセラレータのスループットを向上させるが、最初のフレームがバッチを待つことになるため、インタラクティブ経路では通常バッチサイズ1が適切である。過負荷時には、フレームを無限に増加するキューへ蓄積するのではなく、フレームを破棄するか推論をスキップすべきである。完全な予算には、キャプチャ、色変換、GPU転送、推論、合成、エンコードが含まれる。「10 msのモデル」であることは、10 msのエフェクトであることを意味しない。

速度、品質、運用上のトレードオフ #

静止画のエクスポートでは、通常、平均スループットではなく最悪の境界を最適化すべきである。元の解像度を使い、不確かな領域をリファインし、ユーザーがプロンプトやトライマップを修正できるようにする。ライブエフェクトでは、許容可能な最悪フレーム時間と時間的安定性を最適化すべきである。状態を制限し、適応的な品質段階と、見た目の正直さを保つフォールバックを使う。例えば、負荷が高いときは、セグメンテーションを長時間スキップして被写体を壊す前に、ぼかし半径またはリファインメント解像度を下げる。

ハードウェアの詳細がアーキテクチャ比較を左右することがある。CPUとGPU間の繰り返しコピーを避け、可能な限り色変換とリサイズを融合し、確保済みテンソルを再利用し、推論を実行したものと同じアクセラレータ上で合成する。対象デバイスで、コールドスタート、定常状態、メモリピーク、熱スロットリング、シーンカットからの復旧を測定する。論文で報告されたモデルのフレームレートは、解像度、ランタイム、精度、ハードウェア、前処理または後処理をまたいで移植できない。

適切な品質の測定 #

ハードマスクでは、Intersection over UnionとDiceスコアが領域の重なりを測定する。大半のピクセルが容易な背景であるため、境界の悪さが隠れる可能性がある。そのため、境界の適合率、再現率、または境界 \(F\)-score も有用である。

アルファマットでは、一般的な指標に絶対差の総和、平均二乗誤差、勾配誤差、連結性誤差などがある。 Alpha Matting Evaluation benchmark はこの形式の評価の標準化に貢献したが、合成コンポジットはすべてのカメラパイプラインや本番シーンを網羅しない。

動画では、フレーム単位の精度に加えて時間的な測定が必要になる。ワープ後のマスク誤差、動き補償後のアルファ変化、オクルージョン中の追跡維持、静止エッジ上の目に見えるちらつきなどである。システム指標には次を含めるべきである：

• エンドツーエンドレイテンシの中央値とテール；
• 配信フレーム毎秒とフレーム破棄率；
• アクセラレータ、CPU、メモリの使用量；
• 電力と持続的な熱挙動；そして
• カット、オクルージョン、カメラ移動後の復旧時間。

評価セットには、髪、眼鏡、ベール、反射性および透明なオブジェクト、さまざまな肌の色、車椅子と補助器具、複数人、低照度、圧縮アーティファクト、モーションブラー、画面共有、被写体に似た背景を含めるべきである。会議用途では、集合的なIoUが高いことよりも、手や顔の近くに保持されたオブジェクトを保持することが重要な場合がある。

アーキテクチャの選択 #

撮影を制御できる場合は、クロマキーまたは制御された色のしきい値を使う。同じ計算量で、汎用ニューラルモデルほど予測可能なものはない。カメラが固定され、問いが「何が動いたか」である場合は、古典的な背景差分を使う。一般的なポートレートぼかしには、小型のセマンティックモデルを使う。出力を大きく異なる背景に合成する場合、またはフル解像度で検査する場合は、アルファリファインメントを追加する。

前景が任意のオブジェクトになり得て、ユーザーまたは上流の検出器が対象を指示できる場合は、プロンプト可能な基盤モデルを使う。オフライン画像では、そのセマンティックマスクを専門的なマッティングステージと組み合わせる。ライブ動画では、時間モデルまたはリカレントモデルを優先するか、大規模モデルをキーフレームで実行して、その間を伝播する。クリーンな参照背景または深度センサーが利用できるなら使うべきである。追加の証拠は、より大きなモデルよりも確実に速度と品質の両方を向上させることが多い。

ほとんどの本番システムがハイブリッドなのは、誤りの種類が異なるためである。意味理解が意図されたオブジェクトを特定し、マッティングが部分ピクセルを解決し、時間ロジックがちらつきを防ぎ、合成が良いアルファを実際に良く見せる。正しい設計は、最大のパラメータ数を持つモデルではなく、代表的な入力に対して境界、レイテンシ、安定性の要件を満たす最も低コストなパイプラインである。

参考文献 #

• Rother, Kolmogorov, and Blake, “GrabCut: Interactive Foreground Extraction Using Iterated Graph Cuts”, 2004.
• Chuang et al., “A Bayesian Approach to Digital Matting”, 2001.
• Levin, Lischinski, and Weiss, “A Closed-Form Solution to Natural Image Matting”, 2008.
• Chen, Li, and Tang, “KNN Matting”, 2013.
• Stauffer and Grimson, “Adaptive Background Mixture Models for Real-Time Tracking”, 1999.
• Barnich and Van Droogenbroeck, “ViBe: A Universal Background Subtraction Algorithm for Video Sequences”, 2011.
• Ke et al., “MODNet: Real-Time Trimap-Free Portrait Matting via Objective Decomposition”, 2022.
• Sengupta et al., “Background Matting V2: Real-Time High-Resolution Background Matting”, 2021.
• Lin et al., “Robust High-Resolution Video Matting with Temporal Guidance”, 2022.
• Cheng and Schwing, “XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model”, 2022.
• Kirillov et al., “Segment Anything”, 2023.
• Ravi et al., “SAM 2: Segment Anything in Images and Videos”, 2024.
• Sun et al., “SAM2Matting: An Interaction-Free Framework for Video Matting”, 2026 preprint.