深度学习与人类语言处理 (Deep learning for Human Language Processing)
李宏毅老师深度学习与人类语言处理课程笔记, 请看正文
这门课会学到什么?
为什么叫人类语言处理呢?
现在大家熟知的基本都是自然语言处理, 那什么是自然语言呢?
在自然中发展出来的用于沟通的语言 (例如中文, 英文)
自然语言相反的是人造语言: 例如编程 (Java,python)
人类的自然语言分为两种形态: 语音, 文字
所以这门课叫深度学习与人类语言处理
大多数自然语言处理课程中语音处理只占了一小部分, 是因为语音处理不重要吗?
世界上只有 56% 的语言可以被写出来, 例如闽南语, 台语, 但不是每个说闽南语的人都会写. 文字的书写系统是被创造出来的. 所以很多语言机器无法通过文字理解, 所以这门课程会用一半的时间讲述语音处理.
人类语言有多复杂
一秒钟的声音信号含有 16K 个采样点, 每个采样点有 256 个可能的值.
古希腊哲学家赫拉克利特说过 "No man ever steps in the same river twice, for it's not the same river and he's not the same man."
没有人可以说同一段话两次, 每次的声音信号都不一样
那么文本有多复杂?
有记录的最长英文的句子有 13955 个词 (2014, 吉尼斯世界纪录)
然而,,, 下一秒吉尼斯世界记录就被破了, xx 写 "";xx 说 xx 写了"..."
一张图告诉你本次课程内容
Model 是什么?
老湿说:
硬 Train 一发是一种信念, 是一种梦想, 是一种浪漫, 是人类亘古以来原始的冲动, 总之, 没办法一句话解释清楚.
人类语言处理的下一步
2014 年 seq2seq 模型横空出世, 可以解决大多数人类语言相关的问题, 在拥有目前为止最强武器 Deep learning 的情况下, 人类自然语言处理的下一步在哪里?
这门课程将会关注近三年来的研究, 再有了硬 train 一发后, 接下来还有什么技术?
语音到文本 (语音识别)
传统语音识别, 由多个模块构成, 组合起来模型很大, 2 个 G
那如果使用端到端的深度学习呢? google 的模型只有 80M
语音上的 seq2seq 模型并不是大家所熟知的基于 Attention 的 seq2seq 模型, 我们会揭开语音 seq2seq 模型的神秘面纱, 看看不同领域的 seq2seq 模型有什么区别
文本到语音 (语音合成)
语音合成是怎么做的? 训练一个神经网络, 输入是文字, 输出是语音, 然后就没有然后了...
Tokuda"每次我开除一个语言学家, 语音识别的性能就会提升一点."
所有的问题都被神经网络解决了吗?
google 小姐发生过破音! 在输入多个字是正常发音, 输入单字时破音了, 有想了解的可以去看看 : https://www.youtube.com/watch?v=EwbTlnUkctM
语音到语音
语音到语音什么用呢?
1. 语音分离 (speech separation)
人类可以从不同说话者中辨别说话人, 专注于想要听的说话人; 机器可以吗? 现在用 NN 已经可以做到了, 仅仅硬 train 一发
2. 声音转化 (voice convesion)
让 A 和 B 说同一句话, 采集很多样本, 使用 NN 硬 Train 一发就可以了, 但是如何想要把我的声音转化成新垣结衣的声音, 就不行了, 因为我不能把新垣结衣找来, 新垣结衣不会说中文啊. 所以我们希望的声音转化系统只听过 A 的声音, B 的声音, 不一定要念一样的句子, 机器也可以把 A 声音转化为 B 声音
语音到类别
可以用在说话人识别, 语音唤醒
需要说出指定唤醒词才可以唤醒它们, 但是机器需要不断的收集声音, 直到听见唤醒词, 所以模型需要尽量小, 降低功耗.
输入是文本
Bert 一脚踢翻了玛利亚之墙
模型越来越大...
输出是文字
文本生成 (Text Generation)
- Autoregressive:
- \[ I \rightarrow have \rightarrow a \rightarrow dream \]
句子一定要按顺序生成吗?
Non-autoregressive :
输入输出都是文字
机器翻译, 文本摘要, 聊天机器人, 问答系统
直觉上不是文本到文本问题也可以被转化成文本到文本, 例如句法分析 (systactic parsing), 可以把句法分析树变成文本
这次课程聚焦于问答系统, 其他的应用使用的方法都是大同小异.
更多内容
元学习
参考图像风格转化
知识图谱
对抗攻击
可解释 AI
以上就是本次课程涉及的所有内容
语音和文本相爱想杀的故事
reference:
李宏毅老湿.
来源: https://www.cnblogs.com/gongyanzh/p/12485587.html