Lecture 18-Photo OCR 应用实例: 图片文字识别
18.1 问题描述和流程图 Problem Description and Pipeline
图像文字识别需要如下步骤:
1. 文字侦测 (Text detection)-- 将图片上的文字与其他环境对象分离开来
2. 字符切分 (Character segmentation)-- 将文字分割成一个个单一的字符
3. 字符分类 (Character classification)-- 确定每一个字符是什么
如果用任务流程图来表达这个问题, 每一项任务可以由一个单独的小队来负责:
18.2 滑动窗口 Sliding Windows
滑动窗口是一项用来从图像中抽取对象的技术.
假使需要在图片中识别行人, 首先用许多固定尺寸的图片来训练一个能够准确识别行人的模型.
之后使用训练模型时用的图片尺寸对预测图片进行剪裁, 将切片交给模型判断其是否为行人, 然后滑动剪裁区域, 剪裁切片后再交给模型判断, 直至将图片全部检测完.
然后按比例放大剪裁的区域, 以新的尺寸对图片进行剪裁, 将新剪裁的切片按比例缩小至模型采纳的尺寸, 交给模型判断, 如此循环.
滑动窗口技术也被用于文字识别, 首先训练模型使其能够区分字符与非字符, 然后, 运用滑动窗口技术识别字符. 一旦完成了识别, 将识别得出的区域进行一些扩展, 然后将重叠的区域进行合并.
接着以宽高比作为过滤条件, 过滤高度比宽度更大的区域 (因为单词的长度通常比高度要大). 下图中绿色区域是识别出的文字区域, 红色区域是被忽略的.
下一步是训练模型分割字符, 需要的训练集为单个字符的图和两个相连字符之间的图. 模型训练完后, 仍然使用滑动窗口技术来进行字符识别.
最后是字符分类阶段, 利用神经网络, 支持向量机或者逻辑回归算法训练一个分类器即可.
18.3 获取大量数据和人工数据 Getting Lots of Data and Artificial Data
以文字识别应用为例, 一种方法是从网站下载各种字体, 利用不同的字体配上各种不同的随机背景, 创造出一些用于训练的实例, 能够获得一个无限大的训练集. 这属于从零开始创造实例.
另一种方法是, 对已有的数据进行修改, 例如将其进行扭曲, 旋转, 模糊处理. 只要认为实际数据有可能和处理后的数据类似, 便可以用这样的方法来创造大量的数据.
某些处理起不到增加数据集的作用, 例如加入高斯噪声, 将单个图片复制多份等
在增大数据集之前, 必须确保当前训练的已经是一个低偏差的模型. 不然增大数据集也没有用
有关获得更多数据的几种方法: 1. 人工数据合成; 2. 手动收集, 标记数据; 3. 众包
18.4 上限分析 What Part of the Pipeline to Work on Next
如何知道哪一部分最值得花时间和精力去改善呢? 可以使用流程图进行上限分析, 流程图中每一部分的输出都是下一部分的输入.
在上限分析中, 我们选取一部分, 手工提供 100% 正确的输出结果, 然后看应用的整体效果提升了多少. 假使当前总体效果为 72% 的正确率:
1) 如果让文字检测部分 100% 正确, 系统的总体效果从 72% 提高到了 89%. 这意味着很值得投入时间精力来提高我们的文字检测的准确度
2) 接着让字符切分结果 100% 正确, 系统总体效果只提升了 1%, 这意味着字符切分部分可能已经足够好了
3) 最后让字符分类 100% 正确, 系统总体效果又提升了 10%, 这意味着我们可能也会应该投入更多的时间和精力到分类这部分
另一个上限分析的例子, 人脸识别:
其中最值得优化的是: 脸部检测 Face detection, 眼部分割 Eyes segmentation 和 逻辑回归 Logistic regression 三个部分.
建议不要根据直觉, 而是使用上限分析判断应该改进哪个模块. 当把精力花在最值得优化的那个模块上, 会让整个系统的表现有显著的提高.
来源: https://www.cnblogs.com/maxiaodoubao/p/10222391.html