1、错误率:分类错误的样本数 a 占总样本数 m 的比例 E=a/m
2、精度:1-E=1-(a/m) 误差:学习器预测输出与样本的真实输出之间的差异叫 "误差"。
学习出来的学习器在训练集上的误差叫'"训练误差"。
在新样本上的误差叫 "泛化误差"。
过拟合:学习能力过于强大,学习到不是一般特征的特征。
欠拟合:通常由于学习能力过于弱导致。
1、理想方案:
对候选模型的泛化误差进行评估,选择泛化误差最小的模型。
通常泛化误差无法直接获得,而训练误差又存在过拟合现象。
2、评估方法 需要用测试集来测试学习器在新的样本上的预测能力,通过 "测试误差" 来近似 "泛化误差"
3、交叉验证法
先将数据集 D 划分为 k 个大小相似的互斥子集,即 D=D1∪D2....
每个子集尽可能保持数据分布的一致性。
每次用 k-1 个子集的并集作为训练集,余下的那个子集作为测试集;这样
就获得 K 组训练 / 测试集,从而可以进行 k 次训练和测试,最终返回的就是
k 个测试结果的均值。显然,交叉验证法评估结果的稳定性和保真性在很大程度上
取决于 k 的取值,通常交叉验证法又叫 "k 折交叉验证"。k 最常用的取值是 10。
4、调参与最终模型 基于验证集上的性能来进行模型选择和调参。
5、性能度量 即模型泛化能力的衡量
根据真实样本和分类器的预测可以分为: 真正例 TP、假正例 FP、真反例 TN、假反例 FN
查准率 P=TP/TP+FP
查全率 p=TP/TP+FN
本文来源于牛客网
作者:图灵 95
来源: http://www.jianshu.com/p/7be0e93aefbc