当6亿用户习惯每天通过QQ发语音、打视频电话，或者在群里和网友完成一场Pia的玩法，或者和朋友来一场语音答题，你有没有想过，在不同场景下清晰流畅的QQ影音体验背后，是什么黑科技支撑着这些场景下的“声”和“词”的美感？
今年11月16日举行的Google 2021开发者大会期间，大会官网更新了一个案例—— 《助力：AI语音降噪打造QQ音视频通话新体验》，是QQ音视频通话技术团队写的。作为Google的优秀应用案例，腾讯QQ团队在本文中详细揭示了语音增强技术在QQ音视频功能中的研发和应用。
用QQ，搭建AI降噪模型的训练框架。
如今的应用市场，音视频通话功能几乎已经成为APP的标配。2021年10月，中国下载量前100名中，超过70%的app都配备了音视频通话功能。影音功能的体验是衡量一个APP体验是否优秀的重要指标。
降噪算法是优化音视频通话质量的核心技术之一。
目前主流的降噪方案主要有传统降噪和AI降噪。传统的降噪方法由于计算量小，具有实时语音降噪的优势。但同时，由于它们都是基于数学和物理原理的推导，其过程不可避免地建立在人类认知的理想先验假设之上，使得传统降噪对于实际场景中频繁出现的各种非平稳噪声表现不佳。
人工智能降噪是一种新兴的数据驱动降噪方法，可以有效处理各种突发的非平稳噪声。但前期需要大量的数据训练和合适的数据模型作为基础。但是模型在移动端的部署需要权衡模型大小、降噪效果、CPU利用率、内存利用率等诸多因素，这给降噪技术的实现带来了一定的挑战。
为了满足6亿用户对QQ音视频的巨大需求，腾讯QQ团队基于开源机器学习平台，构建了AI降噪和噪声场景分类并行训练框架，并设计了音频降噪、音质提升和模型优化的算法。
噪声的多样性是提高降噪模型泛化能力的关键。因此，腾讯QQ团队在训练模型时，通过多个等时长音频数据的“喂食”和场景训练，结合适当的数据扩展，进一步提高了模型的泛化能力。结合精心设计的网络结构，AI降噪模型可以适应生活中数百种常见噪音，为用户提供AI加持的智能通信体验。
同时，腾讯QQ团队还借助于的量化功能缩小了模型的规模，在基本不影响模型降噪效果的前提下，大幅提升了性能优势，并成功部署到产品功能中。
AI降噪算法蒸馏技术模型优化打造实时、高品质清晰通话体验。
案例中，腾讯QQ团队指出，AI降噪算法包括音频降噪模块和音质提升模块。
音频降噪模块主要是基于对有噪音频中干净的语音建模，然后提取有噪音频的频域特征，对比计算有噪音频和干净音频的频域特征，使AI对开门声、键盘声、走路声等常见语音有更准确的识别能力和降噪处理。并将干净的声音从嘈杂的环境中分离出来。
在此基础上，腾讯QQ团队增加了音质提升模块，平衡降噪范围，保证噪音去除更干净，同时避免造成其他有用音频静音，保证实时降噪过程中“有用信息进来，无用噪音隔离”。
当代人的生活更加多样化。餐厅、咖啡馆、车厢、电影院、街道、小区等不同场景，晴天、雨天、台风天等不同天气，都伴随着不同种类的噪音，也可能干扰用户的影音体验。
为了测试AI降噪针对不同场景的深度优化能力，腾讯QQ团队还选取了100种办公场景中常见的噪音，如键盘噪音、关门噪音、风扇噪音等。结合干净的语音按照0dB、5dB、10dB、15dB的信噪比制作混合音频，分别测试原始降噪模型和经过蒸馏技术改进的AI - model的性能。
测试结果表明，短时目标可懂度(STOI)和语音质量感知评价(PESQ)均有所提升，随着降噪力度的加大，AI降噪效果的优势可以进一步凸显。
高质量的社交功能体验往往隐藏在用户“看不见”的地方。
社交软件几乎占据了当代人使用的手机时间的一半。它不仅是人们日常交流中至关重要的工具，而且与用户体验和社交质量密切相关。
每一条文字或语音消息的背后，每一次音频或视频通话的背后，都有无数环节的技术支持，每一个环节的好坏也关系到用户体验的好坏。用一句通俗的话来说，——“只有用尽了所有的力气，才是毫不费力的”。
基于腾讯QQ团队研发的降噪技术，通过AI算法带来智能降噪功能和清晰干净的影音体验。对于音频降噪这一行业难点之一，在保证音质的同时，也有针对性的优化方案，可以为语音质量和视频通话提供更好的技术支持。
腾讯QQ一直专注于社交和通讯，致力于提供高品质的社交体验。很多和音视频相关的功能，比如有趣的变声，语音暂停，最早出现在QQ里。这些功能在年轻人中也很受欢迎。据悉，腾讯QQ未来将加强对AI基础算法和模型的研究，拓展更多社交应用场景。
相关阅读
本文链接：http://www.slxf119.com/16426.html 转载需授权！
网友评论