- 传统的语音识别模型需要建立一个generative模型，从语言模型中产生单词序列，然后产生tokens（音标）序列，然后产生语音序列（时域或频域的声音序列），然后是计算得到一些特征（信号处理专家给出计算方法），这样当语音序列进来的时候，就会被换算成同样的特征，然后逆流而上搜索对应的Y
- 如果把上述的每一个元件都用神经网络来实现，会发现神经网络在每一个步骤都做得比传统方法要更好
- 但我们希望能做到端到端的模型，而不是上述的组件式模型，也就是说，我们的训练数据是这样的(X, Y)对，X是语音输入，Y是对应的文本，我们用这样的训练数据来训练，从而对这样的测试数据来进行预测。这些端到端模型包括了CTC（connectionist temporal classification）、LAS （listen, attention and spell）等等。
- CTC模型的输入是频谱图，也就是说是一个频率响应随时间变化的一个序列，将RNN用在这个时序数据上，预测出单词或者字母、空音标等。空音标的意义在于，在字母到字母的变化时需要经过一个空音标。如下：当你想要预测cat时，你的softmax必须在不同的时序上先预测c再预测空音标再预测a、、、
- CTC可以进一步改良，因为上述的基于字母预测的CTC并没有对语法和拼写等问题做出足够的限制和监督，所以经常出现语法错误和拼写错误。谷歌的一篇论文进一步解决了这个问题，他们预测的是单词而不是字母。
- LAS model是一个seq2seq model，特点是将一整个语音序列做完一个长vector一次性输入，这就是listen；然后每次根据上一个时序RNN的输出和这一整个长vector产生attention，是一个对这个长vector做的softmax，希望把注意力放在哪个时间点，然后根据attention的结果预测出这一时刻的输出。所以这个softmax理论上会沿着时序将attention的点从前往后移动。
stm32
简单有效
oracle
newman
Linux驱动开发
双目相机
零代码
CAD
数维杯
充放电
gateway
mvc
二分
人手检测
storm
损失函数
skill command
磁盘分区
信息系统项目管理师
Java项目
NLP学习笔记（5）
news/2024/7/3 12:18:49
相关文章
深入浅出话窗体（一）——窗体事件模型（上）
深入浅出话窗体（一）——窗体事件模型（上）作者：CSDN 刘铁猛小序：工作中最大的挑战并不是那些Mission Impossible，而是你需要一边保持安静、平衡的心态以专注于工作，一边对抗公司体制、…
NLP学习笔记（6）
我们希望把多个单词组成的短语同样在词向量的空间中找到对应的向量，当然你也可以在不同的空间中，但是如果在同一空间中是有好处的 ，我可以利用该空间捕捉到短语与单词之间意思的相似度，比如the man on the snowboard 和 snowboard…
Programming C# 4th. Edition 中文/英文版对照阅读体验
Programming C# 4th Edition 中文版/英文版 对照阅读体验大概是耐心所至的缘故，我那几篇冠以“深入浅出C#”的文章在网络里被广泛转载——这当然是好事！有更多的朋友通过我的介绍认识并喜欢上了C#这门可爱的语言。广泛转载的Side Effect就是我的邮箱时常…
C# 3.0 语言定义文档（微软官方版）正式发布！
C# 3.0 语言定义文档（微软官方版）正式发布如果想精通一门编程语言，你就需要像律师研究法律条款一样来研究这门语言的定义文档（Language Specification，简称LangSpec）。静悄悄地，C# 3.0语言定义文…
NLP学习笔记（8）
这节课的内容看得太快而且有点难，所以这里只是做一下记录，并不详细，作为一个内容的索引，事后需要自己取搜论文了解细节 这是一个想改进tree LSTM的模型
有人用基于字符的模型，也有人用基于单词的模型，还有…
进程编程1 – Unix环境高级编程7章读书笔记
Process Environment1 Process Termination进程的终止有些下面的方法：1. 从main函数return2. 调用exit：exit属于ISO C标准中定义的函数，会执行清理工作。包括关闭IO库中所有打开的文件流（这会导致所有的文件buffer都被flu…
NLP学习笔记（7）
QA系统
希望一个QA系统能同时完成：回答问题、语义分析、词性标注三个任务有两个难点，一个是在这三个任务上各自表现效果好的模型不同，也就是说没有一个模型能同时很好地完成者三个任务；第二个是，在NLP中并没有发现在一…