在对数据进行分类的时候,如何判断算法A的分类结果和算法B的分类结果哪个结果更优?
可以使用“香农熵”。其公式如下:
计算出来的数值H越大,代表分类越不准确。用Python的实现如下:
- from math import log
- # 结果数值越大,说明数据集约杂乱(有其他分类混进来)
- def calcShannonEnt(dataSet):
- numEntries = len(dataSet)
- labelCounts = {}
- # 创建一个字典,记录各个类型的出现的次数,dataset的最后一列是类型
- for featVec in dataSet:
- currentLabel = featVec[-1]
- if currentLabel not in labelCounts.keys():labelCounts[currentLabel] = 0
- labelCounts[currentLabel] += 1
- # 熵,越大代表混合的数据越多
- shannonEnt = 0.0
- for key in labelCounts:
- # 每种类型的占总数的比例
- prob = float(labelCounts[key]) / numEntries
- # 公式
- shannonEnt -= prob * log(prob, 2)
- return shannonEnt
其中featVec[-1]是取最后一个值。假设我们通过某种算法,把下面的5条数据分成了一类,明显‘yes’和‘no’混在了一起,但是我们也要给这种分类‘打个分’,即香农熵。注意,dataSet的最后一列是代表着该条数据的类型。
香农熵的计算公式中与dataSet中前两列的‘0’,‘1’没有关系。只是单纯的计算‘yes’占40%,‘no’占60%,这就是公式中的p(xi)。然后做log2计算,然后把它们的负值加在一起。
上图的数据计算结果是:0.9709505944546686
如果数据是:
计算结果是:0.7219280948873623
数值变小了,说明分类结果更好了。
如果数据是:
计算结果是:1.5219280948873621
数值更大了,说明分类更不准确了,也就是所使用的分类算法效果不好。
当然最完美的数据是:
期计算结果应该比之前所有结果都小,是:0.0
来源: https://juejin.im/post/5a12295bf265da431b6ccdc1