【导语】8月4日，小米公司正式发布了自研的声音理解大模型MiDashengLM-7B，并决定全量开源该模型。据官方介绍，MiDashengLM-7B在速度和精度上均实现了显著突破，刷新了多项评测记录。该模型基于创新的训练策略，能够统一理解语音、环境声音和音乐，为小米的“人车家全生态”战略提供关键技术支撑。通过自然语言交互，MiDashengLM-7B能为用户提供更人性化的沟通和反馈，未来还将进一步优化计算效率，拓展更多功能。
8 月 4 日消息，小米自研声音理解大模型 MiDashengLM-7B 正式发布，并全量开源。
据小米官方介绍，MiDashengLM-7B 速度精度上实现双突破：单样本首 Token 延迟仅为同类模型 1/4、同显存下并发超 20 倍，在 22 个公开评测集上刷新多模态大模型最好成绩（SOTA）。
MiDashengLM-7B 基于 Xiaomi Dasheng 作为音频编码器和 Qwen2.5-Omni-7B Thinker 作为自回归解码器，通过创新的通用音频描述训练策略，实现了对语音、环境声音和音乐的统一理解。
2024 年，小米发布的 Xiaomi Dasheng 声音基座模型在国际上首次突破 AudioSet 50+ mAP，在 HEAR Benchmark 环境声、语音、音乐三大领域建立领先优势并保持至今。
Xiaomi Dasheng 在小米的智能家居和汽车座舱等场景有超过 30 项落地应用。行业首发的(de)车(chē)外(wài)唤(huàn)醒(xǐng)防御、手机音箱全天候监控异常声音、“打个响指”环境音关联 IoT 控制能力，以及小米 YU7 上搭载的增强哨兵模式划车检测等，背后都有 Xiaomi Dasheng 作为核心算法的赋能。
MiDashengLM 的训练数据由 100% 的公开数据构成，模型以宽松的 Apache License 2.0 发布，同时支持学术和商业应用。
小米表示，不同于 Qwen2.5-Omni 等未公开训练数据细节的模型，MiDashengLM 完整公开了 77 个数据源的详细配比，技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。
作为小米“人车家全生态”战略的关键技术，MiDashengLM 通过统一理解语音、环境声与音乐的跨领域能力，不仅能听懂用户周围发生了什么事情，还能分析发现这些事情的隐藏含义，提高用户场景理解的泛化性。
基于 MiDashengLM 的模型通过自然语言和用户交互，为用户提更人性化的沟通和反馈，比如在用户练习唱歌或练习(xí)外(wài)语(yǔ)时(shí)提(tí)供(gōng)发(fā)音(yīn)反(fǎn)馈(kuì)并(bìng)制(zhì)定(dìng)针(zhēn)对(duì)性(xìng)提(tí)升(shēng)方(fāng)案(àn)，又(yòu)比(bǐ)如(rú)在(zài)用(yòng)户(hù)驾(jià)驶(shǐ)车(chē)辆(liàng)时(shí)实(shí)时(shí)对(duì)用(yòng)户(hù)关于(yú)环(huán)境(jìng)声(shēng)音(yīn)的(de)提(tí)问(wèn)做(zuò)出(chū)解(jiě)答(dá)。
MiDashengLM 以(yǐ) Xiaomi Dasheng 音(yīn)频(pín)编(biān)码(mǎ)器为核心组件，是 Xiaomi Dasheng 系(xì)列(liè)模(mó)型(xíng)的(de)重(zhòng)要(yào)升(shēng)级(jí)。在(zài)当(dāng)前(qián)版(bǎn)本(běn)的(de)基(jī)础(chǔ)上(shàng)，小(xiǎo)米(mǐ)已(yǐ)着(zhe)手(shǒu)对(duì)该(gāi)模(mó)型(xíng)做(zuò)计(jì)算(suàn)效(xiào)率(lǜ)的(de)进(jìn)一(yī)步(bù)升(shēng)级(jí)，寻(xún)求(qiú)终(zhōng)端(duān)设(shè)备(bèi)上(shàng)可(kě)离(lí)线(xiàn)部(bù)署(shǔ)，并(bìng)完(wán)善(shàn)基(jī)于(yú)用(yòng)户(hù)自(zì)然(rán)语(yǔ)言(yán)提(tí)示(shì)的(de)声(shēng)音(yīn)编(biān)辑(ji)等更全面的功能。
