Diffusion-Vas:追蹤視頻目標,可補全遮擋部分
在視頻分析領域,物體的持久性是人類理解物體即使在完全遮擋情況下依然存在的重要線索。然而,目前的物體分割方法大多隻關注可見(模態)物體,而缺乏對無模態(可見 + 不可見)物體的處理。針對這一問題,研究人員提出了一種基於擴散先驗的兩階段方法Diffusion-Vas,旨在提升視頻無模態分割和內容補全的效果,能追蹤視頻中的指定目標,然後利用擴散模型補全被遮擋的部分。該方法的第一階段涉及生成物體的無模態掩碼。研究人員通過將可見掩碼序列與僞深度圖結合,來推斷物體邊