PRODUCTS
近来，我国人机语音交互范畴最威望的学术会议全国人机语音通讯学术会议（NCMMSC2015）在天津举行。会上，来自产学研各界的技能大牛共享了在人机语音交互方面的技能效果和打破，其中最引人重视的当属百度语音技能部负责人贾磊的讲演。
他在会上介绍了百度最新研宣告的语音辨认技能，辨认相对错误率比现有技能下降15%以上，使汉语安静环境一般线年，引入深度学习技能，相对错误率下降20%~30%之后，语音技能范畴又一次具有标志性含义的重要发展。
百度语音技能部负责人贾磊在NCMMSC2015上介绍百度语音技能获得的严重打破
近年来，语音辨认技能日新月异。2011年，跟着深度学习技能被引入语音辨认范畴，语音辨认技能翻开了新的篇章。随后的几年里，CNN（卷积神经网络）、LSTM（长短时记忆模型）、CNN混合LSTM的建模技能在语音辨认工业产品中不断出现，并继续提高语音辨认产品效果。而百度此次研制的打破性技能，是汉语语音技能上一次结构性的改造，成为现在世界上最早进的汉语语音辨认技能。
“百度研宣告了依据多层单向LSTM的汉语声韵母全体建模技能，并成功把衔接时序分类（CTC）练习技能嵌入到传统的语音辨认建模结构中，再结合语音辨认范畴的决策树聚类、跨词解码和区分度练习等技能，大幅度提高线上语音辨认产品功能。”贾磊表明，该技能比较于工业界现有的依据状况建模的深度学习的语音辨认产品技能，相对错误率下降在15%以上。
值得注意的是，这一技能立异并非依托单点的打破，而是“打造依据多层单向LSTM的汉语声韵母全体建模技能”、“引入CTC技能”、“与语音辨认范畴的传统技能相结合”三大方面一同效果的结晶，是一项结构性的立异。
这一改造不纯粹是学术上的研讨效果，而是能够直接运用在产品上。据悉，运用这一新技能的百度查找产品行将上线。
LSTM与CTC技能都现已存在很长时刻。特别是于2006年初次被提出的CTC技能，由于其简单收敛到部分点等特色，以及这两大技能结合后核算量巨大等原因，10多年来，LSTM与CTC的结合一向没有在语音工业范畴成功运用。此次，百度依托三大要素大数据机器学习和语音辨认传统理论结合、立异的算法以及强壮的核算才干，成功打破了这十多年的技能困局。
这一切的成功要回溯到4个多月前。早在本年6月初，百度打开了对语音技能的立异探求。“咱们具体地研讨和剖析了汉语状况建模、声韵母全体半音节建模、音节全体建模等多种汉语建模单元，并深化探求了不同建模单元的CTC练习的价值和效果。”贾磊娓娓道来。
功夫不负有心人。通过短短4个月的不断探求与试验，百度在世界规模内首先克服了在汉语范畴运用CTC技能练习单向LSTM的高精度建模难题。
比较双向LSTM，单向LSTM的优点是显着的。“单向比双向更适于产品体系。由于用双向LSTM技能树立的模型，需求运用语音的未来一段时刻的数据，这就构成了解码器的额定等候，会给语音辨认构成时延；而单向则不需求，解码进程和数据抵达同步进行，辨认速度更快。”贾磊介绍到，“尽管单向LSTM在做建模单元的全体建模上有许多优点，但一向以来，因其存在解码途径右边信息的不完整性，导致辨认效果较低，一直超不过传统的三状况建模。”
LSTM和CTC技能各有特色，将二者结合的技能十分困难，以致10多年来在语音辨认产品范畴从未被成功运用过。“LSTM和CTC建模技能结合，其中心难度之一就在于海量数据下的深度学习需求强壮的核算才干，这两项技能的核算量比传统深度学习的核算量大一个数量级。直接依照数学公式去完成上述算法，LSTM和CTC练习就需求选用单帧递推形式，这样的练习速度在工业条件下的将近1万小时练习数据下，几乎是不或许完成的。”贾磊解说到。
为此，百度进行了一系列的算法改造，并使用百度大数据渠道核算优势，成功地霸占了这一学术练习难题，打破十年来的技能困局。
据了解，比照谷歌2015年9月份于Interspeech 宣告的在英文范畴的相似研讨效果，百度的练习数据是谷歌的4-5倍，模型练习参数规划是谷歌的10-20倍。而该技能成功打破的中心要素之一便是练习才干的极致提高，大模型大数据下的难度要比试验室小数据小模型的情况下难许多。百度研宣告的全新练习算法，更挨近工业大数据的产品实践，是能够推行到10万小时练习的全新技能。
仅凭上述深度学习技能的立异，要想推动汉语辨认技能的产品严重打破是远远不够的。深度学习技能有必要和职业专业理论结合才干以突变的办法提高工业产品技能。
“曩昔，有许多机器学习技能运用于语音辨认范畴获得了不错的效果，但是在处理产品上线的核算量和用户等候时刻方面总是差强人意。”贾磊指出，百度依据自己在语音产品实践中的长时间堆集和经历，通过许多试验具体的比较，在测验了音节、声韵母和状况等不同长度的建模单元之后，终究探求出最合适汉语的声韵母全体建模。终究，把上述效果一同运用到语音辨认的传统技能结构中，结合决策树聚类、跨词解码技能和区分度练习等一系列传统技能，完成了汉语语音辨认工业产品技能的实质性提高。
在处理工业难题的一起，百度还最早对工业情况下的CTC技能在语音产品中发挥巨大效果的实质进行了深化探求。
在研讨进程中，贾磊和他的团队发现，在大数据、大模型条件下，在固定鸿沟的CE练习之后，选用CTC练习，或许对多层双向LSTM模型的功能提高很有限，但对多层单向LSTM模型的改进是明显的。
“咱们对CTC的实质进行了深度探求，”贾磊表明，“咱们以为，一个或许的解说是，CTC的空白吸收机制和动态鸿沟尖峰学习才干，能够动态自适应地构成target delay，然后处理单向LSTM模型的右边信息不完整的问题，而这个效果对双向LSTM模型的价值就小许多。”
该理论的探求和发现，关于CTC技能进一步在语音辨认中的立异研讨打下了很好的根底。除此之外，百度产品团队还探求了语音辨认中CTC练习后的模型具有超快的解码速度的实质原因，并向业界揭露其相应的解码器加快战略。
现在，百度现已开始运用上万小时的样本进行模型练习。不难猜测，不久，语音辨认技能发展将很快进入10万小时数据样本练习阶段，只要这样，才干掩盖千差万别的用户口音差异。再考虑环境改变的影响，未来练习语料量或许会打破100万小时。
在贾磊看来，跟着练习数据量的敏捷添加，怎么完成大规划LSTM建模和CTC的有用练习，会成为一个中心的技能难题。“今后，语音辨认范畴的深度学习将进入数百GPU并行练习的状况，理论立异和算法技能立异都将环绕大数据打开。语音辨认技能的研制办法，相关于现在必将产生深入的革新。”
除此之外,CTC建模技能进一步下降了语音辨认运用的解码本钱，跟着合适深度模型核算的专业硬件的许多出现，语音辨认云服务的本钱将许多下降，然后推动语音交互技能的更大规模的遍及。
贾磊告知咱们，这次百度做出的严重技能立异，更大程度上是百度对核算才干极限发掘的一次测验。“未来这样的测验必定还会更多”。
每日头条、业界资讯、热门资讯、八卦爆料，全天盯梢微博播报。各种爆料、内情、花边、资讯一扫而光。百万互联网粉丝互动参加，TechWeb官方微博等待您的重视。
蚂蚁链发布BTN：可将区块链网络吞吐量提高186% 带宽本钱下降80%
蚂蚁自研数据库OceanBase宣告开源 300万行中心代码向社区敞开
高通推出全球首个10Gbps 5G M.2参阅规划，加快推动5G在新式细分商场中的遍及
腾讯引入 拳头重磅FPS高文《VALORANT》中文预告：枪法才是王道
