GAM 算法的 pipeline 如图 3-8 所示, Feature Extractor 用于提取特征, Mask-propagation Module 机制和 RGMP 类似, 融合第一帧信息 (RGB 图和分割图在通道拼接的输出) 和前一帧的分割结果图以及当前帧的特征. 为了在解码输入中加入区分前景和背景的强约束信息, 文中还设计了一个基于外观的生成模型 Appearance Module, 它利用多元高斯模型建模并结合 EM 算法 [50] 进行参数学习, 模型输出图像中每个点的后验类别概率, 然后与 Mask-propagation Module 输出在通道上拼接后输入进 Fusion Module 中生成粗粒度的分割预测 (该结果还需反馈给 Mask-propagation Module 和 Appearance Module 用于下一帧的处理) 并结合初级特征在 Upsampling Module 中进行进一步细化, 最后通过 predictor 输出分割结果图.
来源: http://www.bubuko.com/infodetail-3495810.html