小米OmniVoice震撼发布：语音克隆技术覆盖数百语种，性能超越商用系统！
创始人
2026-05-07 18:26:31
0次
5月7日，小米AI实验室新一代Kaldi团队宣布推出OmniVoice，一款覆盖数百语种的语音克隆TTS模型。该模型在中英文场景中达到顶尖性能，并在多语言任务中展现出超越商用系统的实力。OmniVoice以其极简的模型架构为特点，仅用一个双向Transformer网络实现文本到语音的转化，省去了多余的结构和环节，是目前最简单的非自回归TTS模型。
OmniVoice在训练和推理速度上具有显著优势，一天内可完成10万小时的训练，并在PyTorch推理中达到40倍实时速度，适配各类应用场景。其背后的两项关键设计包括全码本随机掩蔽策略，提升训练效率和模型能力；以及引入大语言模型作为预训练参数，有效利用大语言模型，提升语音合成的可懂度，解决“读不准”的问题。
在多语言测试中，OmniVoice即使仅基于开源数据训练，也能在24语种测试中超越多款商用系统，在102种语种测试中逼近甚至优于真实语音的可懂度。对于训练数据不足10小时的小语种，OmniVoice同样能实现高质量的语音合成，降低低资源语种的语音合成门槛。此外，该模型还具备自定义音色设计、带噪参考音频适配、丰富语气表达和发音精准纠正等多项实用功能。
相关内容
热门资讯
“红棉创新先锋榜”助企创效超2...
文、图/羊城晚报全媒体记者 江皓轩 通讯员 荔宣2026年7月9日下午，广州市荔湾区2026年非公党...
广建鼎新集团493名人员抵达广...
受今年第10号台风“美莎克”残余环流、西南季风及天文潮共同影响，广西多地遭遇持续强降雨，部分区域电力...
外媒：中国共产党领导中国人民创...
国际在线专稿：斯里兰卡《岛报》近日刊登了斯里兰卡政治学者、前外交官达延·贾亚提莱卡（Dayan Ja...
广西多地遭遇持续性极端强降雨 ...
受今年第10号台风“美莎克”影响，广西多地遭遇持续性极端强降雨，引发系列灾情。南宁、贵港多座水库发生...
视频丨日本学者：日元贬值红利正...
日本民间调查机构帝国数据库公司7日公布的最新数据显示，今年上半年因物价上涨导致的企业破产共计556起...
习近平党建思想系列解读九丨高素...
《以理服人丨习近平党建思想系列解读》第九期洪向华：中共中央党校（国家行政学院）科研部副主任习近平党建...
无人机搜救、空中通信保障 科技...
这几天，多方力量驰援广西，通过夜间照明、无人机搜救、重载物资投送、空中通信保障等手段，为防汛救灾打通...
重走西行漫记之路② | 时代...
1936年7月，美国记者埃德加·斯诺突破重重封锁，前往陕北地区采访，写成《红星照耀中国》（《西行漫记...
行进中国｜“西藏造”接出高原新...
雅鲁藏布江支流畔，西藏山南市扎囊县，海拔3600多米的中车山南清洁能源装备产业园车间内机器低鸣。藏族...
活力中国调研行｜支撑完成3万个...
高级记者 邹娟 张呈君 见习记者 洪旭东上海光源。 本文图除署名外均为 上海光源 供图如果科学探索本...
售卖不合规海外保健品，代购被判...
海外代购抗疲劳胶囊，吃了反而入睡更困难，其中还有成分竟然未获生产许可！当消费者海外代购保健食品，买到...
大湾区涉外审判人才研修班在广州...
文/羊城晚报全媒体记者 鄢敏7月6日至8日，由广东省高级人民法院与香港国际法律人才培训学院联合主办的...
肇庆封开：电商培训孵出“新农人...
文/羊城晚报全媒体记者 周聪图/受访者供图盛夏时节，广东省肇庆市封开县麒麟李迎来丰收季，一颗颗饱满清...
“圈”出家门口的幸福——重庆市...
服务业贯通生产生活，关乎千行百业、千家万户。“十五五”开局起步，一系列部署密集展开，推进服务业扩能提...
“全球作家写广东”开启采风 7...
来自APEC成员经济体的7名作家将在广东走访近两个月，汲取创作养分羊城晚报讯 记者党学为报道：7月8...
阿根廷队的“超级逆转”引发“超...
一场跌宕起伏的超级逆转，引发的却是超级争议。阿根廷3比2绝杀埃及的美加墨世界杯1/8决赛，终场前，埃...
广东一男子私自屠宰生猪销售27...
文/羊城晚报全媒体记者 鄢敏猪肉是家家户户餐桌上的常客，但仍有黑心商家为了牟取暴利，私设屠宰场，售卖...
腾讯系燧原科技科创板IPO获批...
7月9日晚间，证监会网站披露，上海燧原科技股份有限公司（燧原）的科创板IPO注册申请已获同意。燧原自...