近期, 斯坦福大学自然语言处理小组开发了一个 Python 库 StanfordNLP, 用于解决许多常见的自然语言处理问题, 可以处理多达 53 种人类语言模型, 便于数据科学家和 Python 开发人员使用.
语言
StanfordNLP 提供了针对 53 种人类语言 的预训练的深度学习模型, 并使用 PyTorch https://pytorch.org/ 作为其机器学习的入门.
每种语言都有一个 treebank https://en.wikipedia.org/wiki/Treebank , 它是一个巨大的文本数据集, 为语法结构 / 语义内容进行了可靠的注释. 对于某些语言, 库中提供了不只一个 treebank.
如果你想要拥有自己的带注释的语料库 (这种情况并不常见!), 那么你可以基于语料库训练一个新的模型.
解析这句话!
范围
这个库提供下列服务:
将给定的文本分成句子和单词 (符号化). 符号化是指将一个文本 ("The day of the groundhog attracts attention") 转换成七个单词的序列 ("The","day","of","The","groundhog","caught","attention").
为给定的单词指定一个基本形式 (词形归并). 词形归并工具会将 "attraction","attractive" 和 "attractive" 与同一个词形 (例如 "attract") 联系起来.
在一个句子中, 把单词和词性联系起来. 所以 "day" 是名词,"attract" 是动词.
单词有形态特征, 如单数或现在进行时. 这个库也会提供帮助.
它还可以产生句子的句法结构.
最后, StanfordNLP 可以与名气更大, 应用范围更广泛的 Stanford CoreNLP 进行整合.
在这篇文章中, 我们将探讨符号化, 词性和形态学特征.
StanfordNLP 管道
管道
Vish (Ishaya) Abrams 在 文章 中很好地解释了机器学习中的管道. 为了这个目的, 我们可以将库看作是一组组件的序列, 这些组件的执行方式是, 一个组件的输出是另一个组件的输入 (一部分). 这种设计允许替换管道中的一个专用组件, 同时保留其余组件.
考虑到文本在管道中流动, 那么文本会经过不同步骤的处理.
在 StanfordNLP 中, 管道与语言和 treebank 相关联. 详细信息请看这里 ( ), 但你现在还不需要它们. StanfordNLP 管道用于模型评估, 而不是模型训练.
安装
在进行其他步骤之前, 我们需要先安装这个库. Python 3.6 或之后的版本可用. 正如 开发人员 https://stanfordnlp.github.io/stanfordnlp/ 所解释的, 安装 StanfordNLP 最简单的方法是使用 pip:
pip install stanfordnlp
之后, 下载我们想要使用的语言, 例如:
import stanfordnlp #You only download languages once #Each language requires more that 1GB of disk space #It takes time... have a coffee! stanfordnlp.download('en') stanfordnlp.download('es') stanfordnlp.download('fr')
接下来是在哪里存储下载的语言包. 这一步我们建议使用缺省值. 下载完成后, 你可以检查每种语言都有一个对应的文件夹, 其中保存了许多 PyTorch 模型, 这些模型将用于我们将要介绍的各种 NLP 任务.
词性标注及其有用的原因
词性标注是复杂的 NLP 活动中的一项基本任务. 想一下文本分类, 情感分析或信息索引和检索. 建立文本的基本语法结构为进一步的文本处理奠定了基础.
解析和标记一个句子
我们以下面的法语为例:
Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties (René Descartes, Discourse on the method)
中文大意: 如果这句话对于你来说太长了, 不能一次读完, 你可以把它分为六部分 (雷内. 笛卡尔, 关于方法的言论)
但是别担心, 我们会把这句话变得简短很多! 让我们来分析笛卡尔的句子, 评估一下每个单词在其中的作用. 符号化和词性标注开始发挥作用.
- import stanfordnlp
- # English is the default language, so you
- # just invoke stanfordnlp.Pipeline()
- # For Spanish you would call
- # stanfordnlp.Pipeline(lang="es", treebank="es_ancora")
- # This sets up a neural pipeline in French
- nlp = stanfordnlp.Pipeline(lang="fr", treebank="fr_gsd")
- # a document is made of sentences
- doc = nlp("Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties")
- # we pick our first and only sentence
- only_sentence = doc.sentences[0]
- # a sentence is made of words.
- # Each Word is tagged with a part of speech (POS)
- # Good pythonic guys prefer list comprehensions over for loops!
- print("". join(["{
- } ({
- })".format(Word.text,Word.upos)forwordinonly_sentence.words]))
在一些信息量丰富的消息之后, 我们得到单词列表, 每个单词都附在其相应的词性上:
Si(SCONJ)ce(DET)discours(NOUN)semble(VERB)trop(ADV)long(ADJ)pour(ADP) être(AUX)lu(VERB)en(ADP)une(DET)fois(NOUN) , (PUNCT)on(PRON)le(PRON)pourra(VERB)distinguer(VERB)en(ADP)six(NUM)parties(NOUN)
以上这些可以告诉我们, six 是一个数字决定因素, 而 parties 是一个名词. 请注意, 当 lu 被标识为动词时, être 被标记为助动词.
StanfordNLP 利用了 语音集的通用部分 https://universaldependencies.org/u/pos/ , 它的优点是适用于多种语言. 但是, 只要有 treebank 的支持, 属性 pos 也会使用和显示语言的特定词性. 其他 NLP 库 (如 https://spacy.io/ ) 也使用通用的和某种语言特有的语音集部分.
Chomsky 的玩笑
处理一词多义
现在我们用这个库开个小玩笑. 我们想知道这个英语句子的词性:
I book the book while you stand by the stand
在同一个句子中, 不仅 book 和 stand 有两种不同的含义. 它们也充当动词和名词. 运行这句话的类似代码, 我们会得到:
I (PRON) book (VERB) the (DET) book (NOUN) while (SCONJ) you (PRON) stand (VERB) by (ADP) the (DET) stand (NOUN)
我用这个简单的例子引起读者的注意力, 它表明词性标记已经超出了在字典中查找单词, 词的句法结构决定了词性. 这就是伴随着库出现的学习模型在显示其作用.
形态学特征
除了通用形式和特定于语言形式的词性外, 这个库中的单词分类里还带有单词的形态特征 (请注意文档中可能出现的一个故障, 该属性在文档中被称为 ufeats).
我们运行以下代码:
- en_nlp = stanfordnlp.Pipeline()
- doc = en_nlp("My taylor is drunk")
- only_sentence = doc.sentences[0]
- print("". join(["{
- } ({
- } - {
- })".format(Word.text,Word.upos,Word.feats)forwordinonly_sentence.words]))
我们得到:
- My(PRON -Number=Sing|Person=1|Poss=Yes|PronType=Prs)
- taylor(NOUN -Number=Sing)
- is(AUX -Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin)drunk(ADJ -Degree=Pos)
每个词都有自己的特点, 但不只是名词和动词. 要理解上述内容, 可以查找此索引. 例如, Degree=Pos 意味着 positive, 一级 . 注意, drunk 被定义为形容词, 不是动词.
关闭
我想今天这些就够了. 我们喜欢库, 觉得使用它很舒服. 当文档不足时, 你可以查看源代码来帮助你理解. 接下来, 我们将完成对 StanfordNLP 提供的其他功能的理解.
更多信息: https://gitconnected.com/learn/python
来源: http://www.tuicool.com/articles/IVrMzqz