一, 基础知识
假设有一份文本数据如下, 数据量很大, 现在要对整个语料库进行文本分析, category 代表新闻种类, theme 代表新闻主题, URL 代表新闻链接地址, content 代表新闻主题内容
停用词: 在 content 这一列, 在数据量很大的情况, 很容易发现某些似乎与新闻本身意义不大的词大量出现, 而我们就把这些在语料库中大量出现但是又没啥大用的词叫做停用词, 在数据集链接中包含一份常见的停用词, 如下所示:
TF-IDF: 用于关键词提取. 比如在一篇名叫《中国的蜜蜂养殖》这篇文章中进行词频 (Term Frequency, 缩写为 TF) 统计出现次数最多的词是 "的","是","在" 等这一类最常用的词 (停用词, 一般来说是要去掉的), 在删除掉停用词过后我们发现 "中国","蜜蜂","养殖" 这三个词的出现次数一样多, 那么这三个词的重要性是一样的吗? 一般来说 "中国" 是很常见的词, 相对而言,"蜜蜂" 和 "养殖" 不那么常见. 这时就需要引入一个叫做逆文档频率来进行衡量."逆文档频率"(Inverse Document Frequency, 缩写为 IDF) 如果某个词相比较于整个语料库来说比较少见, 但是它在这篇文章中多次出现, 那么它很可能就反映了这篇文章的特性, 那它正是我们所需要的关键词.
计算公式
TF-IDF = 词频 (TF) * 逆文档频率(IDF). 还是在《中国的蜜蜂养殖》这篇文章中: 假定该文长度为 1000 个词,"中国","蜜蜂","养殖" 各出现 20 次, 则这三个词的 "词频"(TF) 都为 0.02. 搜索 Google 发现, 包含 "的" 字的网页共有 250 亿张, 假定这就是中文网页总数(也就是语料库). 包含 "中国" 的网页共有 62.3 亿张, 包含 "蜜蜂" 的网页为 0.484 亿张, 包含 "养殖" 的网页为 0.973 亿张.
可以看出蜜蜂和养殖的 TF-IDF 值比中国这个词大, 那么这篇文章的关键词重要性依次为蜜蜂, 养殖和中国.
文本相似度: 假设有如下两个句子 A,B, 我们该怎么判断这两个句子的相似度呢
句子 A: 我喜欢看电视, 不喜欢看电影.
句子 B: 我不喜欢看电视, 也不喜欢看电影.
先进行分词来看一下.
句子 A: 我 / 喜欢 / 看 / 电视, 不 / 喜欢 / 看 / 电影.
句子 B: 我 / 不 / 喜欢 / 看 / 电视, 也 / 不 / 喜欢 / 看 / 电影.
可以得到整个语料库: 我, 喜欢, 看, 电视, 电影, 不, 也.
然后进行词频的统计
句子 A: 我 1, 喜欢 2, 看 2, 电视 1, 电影 1, 不 1, 也 0.
句子 B: 我 1, 喜欢 2, 看 2, 电视 1, 电影 1, 不 2, 也 1.
这样就可以得出词频向量
句子 A:[1, 2, 2, 1, 1, 1, 0]
句子 B:[1, 2, 2, 1, 1, 2, 1]
相似度计算方法: 最常用通过余弦进行计算
二, 任务简介与数据预处理
现在我们手里一份新闻数据, 数据里面包含新闻的内容以及新闻的种类等等, 我们要做的就是对新闻进行一个分类任务, 比如说汽车类时尚类等等.
数据集链接: https://pan.baidu.com/s/1fG_oagJT69bIgCZgasn_Ig 提取码: yzd0
导入相关的 python 库
- import pandas as pd
- import jieba # 如果没有这个库可能需要手动安装
读取数据集并删除缺失的数据集(缺失的数据很少, 所以可以删除)
- # read_table()读取以'/t'分割的文件到 DataFrame
- # 在实际使用中可以通过对 sep 参数的控制来对任何文本文件读取
- df_news = pd.read_table('./data/val.txt',names=['category','theme','URL','content'],encoding='utf-8')
- df_news = df_news.dropna() # 删除缺失数据
- df_news.head()
content 为新闻的主体内容
查看数据集维度
df_news.shape
得到的结果
(5000, 4)
将新闻内容转换为 list 方便进行分词并查看第 1000 条数据内容
- content = df_news.content.values.tolist() # 转换为 list 实际上是二维 list
- print(content[1000])
内容为:
阿里巴巴集团昨日宣布, 将在集团管理层面设立首席数据官岗位(Chief Data Officer), 阿里巴巴B2B公
司CEO陆兆禧将会出任上述职务, 向集团CEO马云直接汇报.>菹ぃ和6月初的首席风险官职务任命相同, 首席数据官亦为阿
里巴巴集团在完成与雅虎股权谈判, 推进 "one company" 目标后, 在集团决策层面新增的管理岗位.016锛团昨日表示
,"变成一家真正意义上的数据公司" 已是战略共识. 记者刘夏
下面使用 python 中的 jieba 库进行分词
- content_S = []
- for line in content:
- # jieba 分词 精确模式. 返回一个列表类型, 建议使用
- current_segment = jieba.lcut(line)
- if len(current_segment)> 1 and current_segment != '\r\n':
- content_S.append(current_segment)
查看第 1000 条数据分词后的内容
content_S[1000]
转为 pandas 支持的 DataFrame 格式
- df_content = pd.DataFrame({
- 'content_S':content_S
- }) # 转换为 DataFrame
- df_content.head()
分完词后的结果为:
可以发现数据里面包含很多无用的词汇, 所以我们需要对这些数据进行清洗, 就是删除掉里面包含的停用词
三, 删除停用词
读取停用词表
- # 读取停词表
- stopwords = pd.read_csv('./data/stopwords.txt',index_col=False,sep='\t',quoting=3,names=['stopword'],encoding='utf-8')
- stopwords.head()
结果为:
删除语料库中的停用词, 这里面的 all_words 是为了后面的词云展示.
- # 删除新闻中的停用词
- def drop_stopwords(contents, stopwords):
- contents_clean = [] # 删除后的新闻
- all_words = [] # 构造词云所用的数据
- for line in contents:
- line_clean = []
- for Word in line:
- if Word in stopwords:
- continue
- line_clean.append(Word)
- all_words.append(str(Word))
- contents_clean.append(line_clean)
- return contents_clean, all_words
- contents = df_content.content_S.values.tolist()
- stopwords = stopwords.stopword.values.tolist()
- # 得到删除停用词后的新闻以及词云数据
- contents_clean, all_words = drop_stopwords(contents, stopwords)
- # df_content.content_S.isin(stopwords.stopword)
- # df_content=df_content[~df_content.content_S.isin(stopwords.stopword)]
- # df_content.head()
查看删除停用词后的新闻内容
- df_content = pd.DataFrame({
- 'contents_clean':contents_clean
- })
- df_content.head()
从结果可以看出, 这次的数据对比上面的数据来说质量提高了很多.
查看一下出现的所有的词汇, 也就是删除停用词后的 all_words.
- df_all_words = pd.DataFrame({
- 'all_words':all_words
- })
- df_all_words.head()
结果为:
统计 all_words 每个词的词频, 统计这个词频也是为了方便后面的词云展示.
- import numpy
- # 分组统计
- words_count = df_all_words.groupby(by=['all_words'])['all_words'].agg({
- 'count':numpy.size
- })
- # 根据 count 排序
- words_count = words_count.reset_index().sort_values(by=['count'],ascending=False)
- words_count.head()
结果为:
四, 词云展示
导入 wordcloud 库以及画图展示
- from wordcloud import WordCloud # 词云库
- import matplotlib.pyplot as plt
- %matplotlib inline
- import matplotlib
- matplotlib.rcParams['figure.figsize'] = (10.0,5.0)
- wordcloud = WordCloud(font_path='./data/simhei.ttf',background_color='white',max_font_size=80)
- word_frequence = {
- x[0]:x[1] for x in words_count.head(100).values
- } # 这里只显示词频前 100 的词汇
- wordcloud = wordcloud.fit_words(word_frequence)
- plt.imshow(wordcloud)
可视化结果为:
未完待续...
来源: https://www.cnblogs.com/xiaoyh/p/11450479.html