背景偵測、模糊與移除

替換背景聽起來像是一個操作，但實際上是由不同問題組成的管線。系統必須判斷前景是什麼、估計每個像素屬於前景的程度、套用效果，並合成結果。因此，最佳演算法較少取決於排行榜，而更多取決於輸入、使用者引導的程度、硬體，以及輸出是照片還是無止境的即時串流。

三個容易混淆的問題 #

背景偵測通常會產生二值遮罩 \(M(x)\)：前景或背景。在監控中，它通常表示找出與固定場景學習視圖不同的像素。在人像工具中，它更常表示語意分割：無論人物後方的場景為何，找出屬於人物的像素。

背景模糊可以使用二值或軟遮罩。它保留前景影像，並將其合成到模糊副本上：

其中 \(G_\sigma\) 是高斯或鏡頭風格的模糊。輕微的模糊可以隱藏小幅遮罩錯誤，但頭髮和移動周圍仍會看見光暈。

背景移除需要可用的 alpha 通道，而不只是類別標籤。影像去背會將像素建模為：

硬式分割遮罩會將 \(\alpha\) 限制為0或1。去背圖表示由頭髮、毛皮、玻璃、失焦、反鋸齒和動態模糊造成的部分覆蓋。從單一觀測色彩 \(I\) 還原 \(F\)、\(B\) 和 \(\alpha\) 是欠約束問題，因此高品質去背需要假設、使用者提示、學習到的先驗、已知背景，或它們的組合。

從光學去背到學習式遮罩 #

最早的實用方案是控制拍攝環境。移動遮罩，以及後來的藍幕和綠幕色鍵，會依照色彩分類像素。乾淨且照明均勻的幕布使此方法快速、可預測並支援高解析度；廣播硬體可以以幾乎可忽略的延遲進行處理。當前景色彩類似幕布時，它會失效；陰影、半透明物件、細髮、反射的綠光和色溢出也需要額外處理。

早期電腦視覺系統使用閾值、邊緣、連通元件、區域成長和形態學。這些方法成本低且可解釋。對於掃描文件、均勻背景上的產品影像、深度相機截斷，以及其他受限輸入，它們至今仍然有效。當光照、紋理、相機曝光或物件外觀發生變化時，它們會變得脆弱。

互動式演算法加入了人類意圖。使用者繪製矩形，或幾筆前景與背景筆畫；演算法建立色彩模型並最小化邊界成本。2004年提出的 GrabCut 反覆執行高斯混合色彩估計與圖割。它適合在CPU上執行，通常可以產生乾淨的不透明物件遮罩，但相似的前景與背景色彩、孔洞、細微結構和透明度會違反其假設。經典去背方法則估計局部前景與背景色彩分布、從三分圖傳播親和度，或連接具有相似特徵的像素。 Bayesian matting、closed-form matting 和 KNN matting 是代表性方法。它們可以保留細緻邊緣，但三分圖建立和全域最佳化使其較不適合自動化或互動式即時使用。

深度卷積網路在2010年代改變了預設方案。全卷積分割網路學習物件層級的上下文，而非固定的色彩規則；編碼器-解碼器設計和擴張卷積恢復了空間細節。人像專用網路只需要辨識人物，因此可以小得多。專業去背網路從合成合成圖和真實照片中學習 alpha 與前景細節；MODNet 等免三分圖模型讓一鍵式人像去背成為實用方案。

Transformer和基礎分割模型再次擴大了問題範圍。 Segment Anything (SAM) 接受點、框或遮罩，不需要針對任務重新訓練就能隔離不熟悉的物件類別。 SAM 2 透過串流記憶體將可提示分割擴展至影像與影片。這些模型是強大的互動式前端，但合理的物件遮罩不會自動成為生產品質的 alpha 去背圖。對於頭髮、透明度、失焦和動態模糊，專業細化仍然有用；在行動裝置或即時影片的限制下，較小的任務專用模型通常更具優勢。

因此，最前沿是由一組系統構成，而不是單一通用模型：使用可提示基礎模型進行物件選取，使用開放詞彙或文字導引模型表達語意意圖，使用專業高解析度去背網路處理邊界 alpha，並使用高效的時間模型處理影片。生成模型可以修補新暴露的背景，或重建混合像素中的前景色彩，但它們可能創造不存在的內容。這對具有人工檢閱的編輯工具可以接受，但不適用於保留證據的擷取。

靜態影像演算法 #

靜態影像允許系統檢查完整畫面、使用大型模型、以高解析度進行分塊處理，並投入額外時間細化邊界。靜態影像也不提供時間證據，因此無法透過查看相鄰影格來解決模糊像素。

穩健的品質優先管線通常如下：

1. 對影像進行下採樣，並從語意或可提示分割器取得物件遮罩；
2. 將不確定的邊界像素轉換為自動產生的三分圖；
3. 僅在未知區域或重疊的高解析度分塊上執行去背細化器；
4. 清理孤立區域，但不要刪除合法孔洞；
5. 在混合像素需要時估計前景色彩；以及
6. 使用預乘 alpha 在線性光中合成。

這種級聯只會在能改變結果的區域使用昂貴計算。對於模糊，精簡的分割模型搭配導引式升頻和邊緣感知平滑通常已經足夠。對於透明PNG，alpha細化器和前景色彩估計重要得多。

模糊引入一個細微的實作問題：模糊原始影像會讓前景色彩洩漏到背景圖層。當該圖層在柔和邊界附近合成時，就會產生明亮或陰暗的光暈。生產實作通常會在模糊前膨脹或填補前景後方的背景，然後使用預乘 alpha 合成。更強的合成景深效果還需要空間變化且具深度感知的模糊；單一均勻高斯模糊只能模擬磨砂玻璃。

影片與即時串流演算法 #

影片增加了資訊與限制。相鄰影格揭示了運動和邊緣的重複觀測，但每一影格都必須準時到達，並與上一影格保持一致。如果某個模型產生優秀的獨立遮罩，卻使邊界閃爍，那麼它看起來可能比一個較小的時間模型更差。

固定相機的背景扣除 #

對於固定相機，可以隨時間學習場景本身：

• 影格差異會將目前影格與參考影格或鄰近影格比較；
• 執行平均會使參考值緩慢適應；
• Stauffer and Grimson 的高斯混合方法表示反覆出現的像素色彩，讓搖曳的樹木或螢幕閃爍可以成為背景；
• ViBe 等非參數樣本模型保留近期像素值，而不是擬合分布；以及
• 後續的局部特徵方法提升了對陰影、雜訊和照明變化的抵抗力。

這些演算法足夠快速，可用於許多CPU和嵌入式部署，而且不需要語意訓練標籤。它們的核心假設同時也是其限制：相機固定，且背景可被觀測。相機移動可能使幾乎整個畫面被標記為前景。保持靜止的人可能被吸收到背景中；新露出的區域可能持續成為錯誤前景；突然的光照變化和陰影可能觸發大範圍遮罩。運動偵測只能表示某些事物發生了變化，不能表示變化的物件就是使用者想要的主體。

語意分割與影片去背 #

逐影格人像分割透過辨識人物而非穩定場景，因此可搭配移動相機使用。然而，獨立執行會造成不穩定的信心度、拓撲變化和邊緣抖動。時間系統透過數種方式處理這些問題：

• 使用光流或特徵對應，在高成本關鍵影格之間傳播遮罩；
• 將前一影格的遮罩、alpha或隱藏狀態輸入循環模型；
• 維護前一影格特徵的外部記憶體，例如 XMem 等影片物件分割系統所做的那樣；
• 使用時間特徵共同預測 alpha 和前景，例如 Robust Video Matting (RVM)；或
• 使用 SAM 2 等串流式可提示模型追蹤一個或多個選定物件。

當大多數像素平滑移動時，光流傳播的成本很低，但錯誤會累積，新出現的區域沒有可用的來源，而快速移動或遮擋會破壞對應關係。頻繁的關鍵影格可以限制漂移，但代價是週期性的延遲尖峰。循環模型會攤銷工作，並在其訓練領域內保持穩定，但場景切換後錯誤狀態可能持續存在。記憶體模型較能處理長時間遮擋，但對於無限期串流，必須限制記憶體選擇和成長。

已知背景方法位於一個有用的中間位置。 Background Matting V2 使用分開拍攝的乾淨背景，即時還原高品質前景與 alpha。額外參考可解決大部分歧義，但相機必須保持對齊；光照、焦點或實體場景的變化會降低這項優勢。

截至2026年年中，一種新興的混合方案是 SAM2Matting，它結合 SAM 2 影片物件追蹤、感興趣區域和漸進式去背階段。其架構展示了目前的前沿方向：使用一般的記憶體式模型維持物件身分，然後在不確定邊界附近投入高解析度去背計算。它的「state of the art」結果是預印本中的作者基準測試主張，並不能證明它在每一種物件類別、裝置、提示或延遲目標下都最佳。

串流管線 #

實用的即時管線通常如下：

capture/decode -> resize and normalize -> infer/propagate
               -> refine and stabilize -> effect/composite -> encode/display

推論解析度可以低於輸出解析度。網路可能處理短邊為256至512像素的影像，然後由邊緣感知升頻器或輕量細化頭恢復全尺寸遮罩。這會大幅提升速度，但小物件和單根頭髮可能在細化器看見它們之前就消失。

時間平滑應跟隨運動。普通的指數移動平均會在移動的手後方留下殘影；在混合前將前一影格的 alpha 朝目前影格變形，可以減少延遲。場景切換、長時間間隔、解析度變更和追蹤信心度下降都必須明確重設狀態。否則，昨天的狀態，或只是前一個鏡頭的狀態，都會污染下一影格。

對於通話或直播，平均每秒影格數並不足夠。系統需要低的逐影格延遲和低變異。批次處理可提高加速器吞吐量，但會使第一影格等待批次，因此互動路徑通常適合批次大小1。過載時應丟棄影格或略過推論，而不是把影格累積在不斷增長的佇列中。完整預算包括擷取、色彩轉換、GPU傳輸、推論、合成和編碼；「10 ms模型」不代表整個效果需要10 ms。

速度、品質與運作權衡 #

靜態匯出通常應最佳化最差邊界，而不是平均吞吐量：使用原始解析度、細化不確定區域，並讓使用者修正提示或三分圖。即時效果應最佳化可接受的最差影格時間和時間穩定性：使用有界狀態、自適應品質階梯，以及保持視覺誠實的回退方案。例如，在負載下，應先降低模糊半徑或細化解析度，而不是長時間跳過分割，直到主體支離破碎。

硬體細節可能主導架構比較。避免重複的CPU-GPU複製，在可能時融合色彩轉換和縮放，重複使用已配置的張量，並在執行推論的同一加速器上進行合成。在目標裝置上測量冷啟動、穩態、記憶體峰值、熱節流和場景切換恢復。論文報告的模型影格率不能跨解析度、執行環境、精度、硬體及前處理或後處理直接移植。

測量正確類型的品質 #

對硬式遮罩而言，交集比聯集和 Dice 分數可測量區域重疊。由於大多數像素都是容易處理的背景，它們可能掩蓋糟糕的邊界，因此邊界精確率、召回率或邊界 \(F\)-score 也很有用。

對 alpha 去背圖而言，常見指標包括絕對差總和、均方誤差、梯度誤差和連通性誤差。 Alpha Matting Evaluation benchmark 協助標準化了這種評估方式，但合成影像並未涵蓋所有相機管線或生產場景。

影片除了逐影格準確度之外，還需要時間測量：變形遮罩誤差、動作補償後的 alpha 變化、遮擋期間的追蹤存活率，以及靜止邊緣上的可見閃爍。系統指標應包括：

• 端到端延遲的中位數與尾端值；
• 傳送影格每秒數和丟影格率；
• 加速器、CPU和記憶體使用量；
• 功耗和持續熱行為；以及
• 切換、遮擋和相機移動後的恢復時間。

評估集應包含頭髮、眼鏡、面紗、反射性和透明物件、不同膚色、輪椅和輔助裝置、多人、低光、壓縮偽影、動態模糊、螢幕分享，以及與主體相似的背景。對於視訊會議，保留手部和臉部附近拿著的物件，可能比更高的整體 IoU 更重要。

選擇架構 #

當拍攝環境可以控制時，使用色鍵或受控色彩閾值；在相同計算量下，沒有通用神經模型能達到同等可預測性。當相機固定且問題是「什麼移動了」時，使用經典背景扣除。對於一般人像模糊，使用小型語意模型。當輸出將合成到差異很大的背景上，或需要在全解析度下檢查時，加入 alpha 細化。

當前景可以是任意物件，且使用者或上游偵測器可以指示它時，使用可提示基礎模型。對於離線影像，將該語意遮罩與專業去背階段結合。對於即時影片，優先使用時間或循環模型，或在關鍵影格上執行大型模型，並在其間傳播。如果可用，應使用乾淨的參考背景或深度感測器：額外證據通常比更大的模型更可靠地同時改善速度和品質。

大多數生產系統都是混合式，因為錯誤類型不同。語意辨識可識別預期物件，去背可解析部分像素，時間邏輯可防止閃爍，而合成決定良好的 alpha 是否真的看起來良好。正確的設計不是參數數量最大的模型，而是在具代表性的輸入上滿足邊界、延遲和穩定性要求的最低成本管線。

參考資料 #

• Rother, Kolmogorov, and Blake, “GrabCut: Interactive Foreground Extraction Using Iterated Graph Cuts”, 2004.
• Chuang et al., “A Bayesian Approach to Digital Matting”, 2001.
• Levin, Lischinski, and Weiss, “A Closed-Form Solution to Natural Image Matting”, 2008.
• Chen, Li, and Tang, “KNN Matting”, 2013.
• Stauffer and Grimson, “Adaptive Background Mixture Models for Real-Time Tracking”, 1999.
• Barnich and Van Droogenbroeck, “ViBe: A Universal Background Subtraction Algorithm for Video Sequences”, 2011.
• Ke et al., “MODNet: Real-Time Trimap-Free Portrait Matting via Objective Decomposition”, 2022.
• Sengupta et al., “Background Matting V2: Real-Time High-Resolution Background Matting”, 2021.
• Lin et al., “Robust High-Resolution Video Matting with Temporal Guidance”, 2022.
• Cheng and Schwing, “XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model”, 2022.
• Kirillov et al., “Segment Anything”, 2023.
• Ravi et al., “SAM 2: Segment Anything in Images and Videos”, 2024.
• Sun et al., “SAM2Matting: An Interaction-Free Framework for Video Matting”, 2026 preprint.