算法选型 10
2.1. 现有算法分类 10
2.2. 图像目标跟踪方法 11
1. 概述
1.1. 背景
行为识别的前提是需要对人体目标进行识别和跟踪, 现阶段我们已经通过使用开源人体姿态估计系统 openpose 实现了人体姿态识别, 现在需要对人体目标进行跟踪判断视频后续画面中的人和前面画面中的对应关系. 本文就现阶段计算机视觉目标跟踪方面的研究成果做总结描述.
1.2. 目标跟踪问题描述
简单来说, 目标跟踪就是在连续的视频序列中, 建立所要跟踪物体的位置关系, 得到物体完整的运动轨迹. 给定图像第一帧的目标坐标位置, 计算在下一帧图像中目标的确切位置. 跟踪过程中的 光照变化, 目标尺度变化, 目标被遮挡, 目标的形变, 运动模糊, 目标的快速运动, 目标的旋转, 目标逃离视差, 背景杂波, 低分辨率 等现象, 都是目标跟踪问题的挑战.
根据问题, 目标跟踪算法主要有以下几个关键点:
1, 选取合适的特征: HOG 特征, CNN(卷积神经网络)特征
2, 优秀的分类器: SVM 等
3, 合适的更新模型时间的策略: 因为判别模型更新的太频繁会影响跟踪算法的速度, 更新速度太慢又会导致目标丢失.
1.3. 目标跟踪测试数据集及性能评价标准
现在比较流行的跟踪 Benckmark(基准, 数据集)有 OTB,VOT,KITTI-tracking, 本文主要介绍 VOT 的评价方法:
中心误差: Center Error
中心误差标准值考虑目标中心位置的误差, 该方法具有明显的缺点, 就是无法衡量目标尺度变化的影响. 另外, 目标中心的意义有时候不是很明确(如下图).
区域重叠: Region Overlap
区域的重叠率是使用重叠面积的比例进行衡量的
在区域重叠指标上, 我们一般使用有效帧的重叠率做平均. 除此之外, 我们还可以使用重叠率阈值以上帧的比例作为标准:
这一指标是基于中心位置误差的, 从跟踪开始到中心像素误差下降到阈值以下的 (帧数) 长度定义为跟踪长度.
失败率: Failure Rate
在视频跟踪处理的一段序列中, 当重叠率低于阈值时, 则判定为跟踪失败, 并重新初始化目标框, 在这段视频中, 跟踪失败的次数以及跟踪失败的位置可以被记录下来, 则失败率可以被表示为:
效果图: Performance Plot
常用的效果图有 area-under-the-curve (AUC)曲线, 该曲线和 ROC 曲线表达的含义差不多, 也就是 OTB 中成功率图的表示方法.
评价指标的效果评估
这一部分主要是介绍评估哪些标准可以更好的用来评估跟踪算法, 我们才会推荐使用这些指标来衡量跟踪算法的性能. 下面图中给出了几种指标可视化示意图, 其中能反映出许多问题, 也就是说标准选取的重要性.
评价标准的相关性分析
使用上述 16 个标准, 对样本集中的所有指标的数值, 计算协方差矩阵, 协方差矩阵就代表了评价标准的相关性. 下图是协方差矩阵的可视化:
于是这就是我们最终在 VOT 相关的 Paper 上看到的图了.
EFO
Equivalent Filter Operations,EFO 是用来评价性能的, 因为性能的比较常常因为计算机性能不同而不够直观, EFO 评价标准考虑到了这一点, 使用 600×600 的图像, 做 30*30 窗口的滤波, 来得到机器的性能. 然后使用跟踪算法处理每帧图像的评价时间除以以上滤波操作的时间, 得到了一个归一化的性能参数, 就是 EFO, 是 VOT14 提出的标准, 一直沿用到现在.
EAO 与 EFO 就构成了 VOT16 的跟踪算法评价标准.
2. 算法选型
2.1. 现有算法分类
在早期, Camshift, 光流, 背景差等图像跟踪算法比较流行, 在静态背景条件下成功应用, 大致在 2008 年以后, 这类方法逐渐被淘汰, 人们更多的研究动态背景, 复杂场景环境下的图像跟踪, 为了区别于原先几乎被淘汰的方法, 博主将这一类算法归为现代图像跟踪算法, 并做如下分类
(1)判别式: track-by-detection
判别式的图像跟踪算法将目标检测的思路用于目标跟踪. 在线产生样本, 在线学习, 在线检测, 找到目标出现概率最大的位置, 然后重复这样的步骤, 跟踪目标位置, 这也是当下最流行的方法.
(2)产生式
产生式就是在跟踪过程中, 根据跟踪结果在参数空间产生样本(而非直接从图像空间采样), 然后在这些样本中寻找最优可能的目标作为跟踪结果. 粒子滤波框架是最常用的产生式目标检测模型.
(3)深度学习用于图像跟踪
深度学习的方法主要分为两类, 一类是使用预先训练好的深度神经网络, CNN 或 RNN 部分不做在线训练, 使用另外的算法输出目标位置, 另一类是在线训练的神经网络, 由神经网络输出目标位置.
目前图像跟踪处于百家争鸣的状态, 深度学习方法在目标跟踪方面并没有预期的凶猛, 主要是体现在速度方面. 在检测效果方面深度学习方法微微占优, 但是速度上深度学习方法完全无法和传统方法相比较.
现阶段算法谱系图如下:
2.2. 图像目标跟踪方法
来源: http://blog.51cto.com/yixianwei/2096041