什么是词云呢?
词云又叫文字云,是对文本数据中出现频率较高的 "关键词" 在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。
现在,可以从网络上找到各种各样的词云,下面一图来自沈浩老师的微博:
从百度图片中还可以可以看到更多制作好的词云,部分截图如下:
从技术上来看,词云是一种有趣的数据可视化方法,互联网上有很多现成的工具:
但是作为一个老码农,还是喜欢自己用代码生成自己的词云,复杂么?需要很长时间么? 很多文字都介绍过各种的方法,但实际上只需要 10 行 python 代码即可。
- import matplotlib.pyplot as plt
- from wordcloud import WordCloud
- import jieba
- text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()
- wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
- wl_space_split = " ".join(wordlist_after_jieba)
- my_wordcloud = WordCloud().generate(wl_space_split)
- plt.imshow(my_wordcloud)
- plt.axis("off")
- plt.show()
如此而已,生成的一个词云是这样的:
读一下这 10 行代码:
1~3 行,分别导入了画图的库 matplotlib,词云生成库 wordcloud 和 jieba 的分词库;
4 行,是读取本地的文件, 代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》。
5~6 行,使用 jieba 进行分词,并对分词的结果以空格隔开;
7 行,对分词后的文本生成词云;
8~10 行,用 pyplot 展示词云图。
这是我喜欢 python 的一个原因吧,简洁明快。
如果这十行代码没有运行起来,需要检查自己的执行环境了。对于完整的开发学习环境,可以参考本公众号《老曹眼中的开发学习环境》。 对于面向 python 的数据分析而言,个人喜欢 Anaconda,可以去 https://www.continuum.io/downloads/ 下载安装,安装成功后的运行界面如下:
anaconda 是 python 数据爱好者的福音吧。
安装 wordcloud 和 jieba 两个库同样非常简单:
- pip install wordcloud
- pip install jieba
遇到的一个小坑,刚开始运行这十行代码的时候,只显式了若干彩色的小矩形框,中文词语显式不出来,以为是万恶的 UTF8 问题,debug 一下,发现 print 结巴分词的结果是可以显示中文的,那就是 wordcloud 生成词语的字体库问题了。开源的好处来了,直接进入 wordcloud.py 的源码,找字体库相关的代码
- FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))
wordcloud 默认使用了 DroidSansMono.ttf 字体库,改一下换成一个支持中文的 ttf 字库, 重新运行一下这十行代码,就可以了。当然,解读代码后有更优雅的方法。
既然进入了源码,就会忍不住好奇心,浏览一下 wordcloud 的实现过程和方式吧。
wordcloud.py 总共不过 600 多行,其间有着大量的注释,读起来很方便。其中用到了较多的库,常见的 random,os,sys,re(正则)和可爱的 numpy,还采用了 PIL 绘图,估计一些人又会遇到安装 PIL 的那些坑。
生成词云的原理其实并不复杂,大体分成 5 步:
词语的各种增强功能大都可以通过 wordcloud 的构造函数实现,里面提供了 22 个参数,还可以自行扩展。
看看一个准文言文的词云,文本文字来自本公众号去年的旧文——《妻》,其中在构造函数中传入了关于屏幕和字体大小的几个参数:
- width = 800,
- height = 400,
- max_font_size = 84,
- min_font_size = 16
得到了这样的词云图:
自惭形秽,根本看不出文言文的色彩和对妻子的感情流露,不是好文字呀!或许是词云的局限吧!
矩形的词云的确太简陋了,直接在图片上用词云来填充就有意思多了,wordcloud 中可以采用 mask 的方式来实现。换上一张自己的照片,用《再谈 <全栈架构师> 一文》中的文字,词云出来的效果是这样的 :
还是很难看出肖像的轮廓,还好,可以遮丑。其中增加了 3 行代码
- from PIL import Image
- import numpy as np
- abel_mask = np.array(Image.open("/Users/hecom/chw.png"))
在构造函数的时候,将 mask 传递进去即可:
- background_color = "black",
- mask = abel_mask
自己做的这些词云图片还是太陋,这就是原型简单,好的产品困难呀!做好一个漂亮词云的图片,还是要在诸多细节上下功夫的。
例如:
分词的处理,"就是" 这样没有意义的词不应该出现在词云里呀?
所展示关键词的目的性选择?
如何选择一个合适的字库?
如何更好地自主着色?
图片的预处理,如何让图片和词云表达原图片的主要特征?
......
词云的背后实际上是数据集成处理的典型过程,我们所熟知的 6C, 如下图:
这十行代码构建的词云,没有通过 API 从公众号 (wireless_com) 直接获取, 简化和抽象是工程化的典型方式,这里至今复制粘贴,甚至省略了 correct 的过程,直接将数据存储在纯文本文件中,通过 jieba 分词进行处理即 compose,使用词云生成可视化图片用于消费 consume,把一个个自己生成的词云组织到不同的文件目录便于检索算是初步的管控 control 吧。
来源: http://www.tuicool.com/articles/22qEJjy