上海交大推出口語(yǔ)對(duì)話情感大模型，支持多人實(shí)時(shí)對(duì)話

　　多知4月16日消息，上海交通大學(xué)聽(tīng)覺(jué)認(rèn)知與計(jì)算聲學(xué)實(shí)驗(yàn)室推出純學(xué)術(shù)界自研的支持多人實(shí)時(shí)口語(yǔ)對(duì)話的語(yǔ)音情感大模型“交交”，它不僅是一個(gè)智能語(yǔ)音助手，更是一個(gè)多說(shuō)話人、多語(yǔ)言、多角色、多情感的全能對(duì)話伙伴。當(dāng)前，該模型已經(jīng)開(kāi)啟內(nèi)測(cè)申請(qǐng)。

　　據(jù)介紹，“交交”可用于教育輔導(dǎo)、家庭互動(dòng)、商務(wù)溝通、客服支持、娛樂(lè)陪伴等。

（“交交”對(duì)話界面）

　　根據(jù)介紹， “交交”，除了在對(duì)話上下文內(nèi)容上的強(qiáng)大理解和知識(shí)問(wèn)答能力，還同時(shí)具備多人對(duì)話與身份辨識(shí)，多語(yǔ)種和方言感知，角色切換與實(shí)時(shí)模仿，情感實(shí)時(shí)理解和表達(dá)等多項(xiàng)能力。這在目前已知發(fā)布的語(yǔ)音對(duì)話大模型中，尚屬首次。

　　實(shí)時(shí)對(duì)話采用了端到端語(yǔ)音對(duì)話，還有基于上下文信息，用思維鏈技術(shù)生成符合對(duì)話場(chǎng)景的情感全局表征，用在生動(dòng)的情感語(yǔ)音回復(fù)生成?？梢杂糜诳头С帧?/p>

　　多人對(duì)話很像一個(gè)家庭聚會(huì)，或者開(kāi)會(huì)的場(chǎng)景， “交交”能針對(duì)不同的人給出不同的回應(yīng)。這采用了實(shí)時(shí)音色克隆技術(shù)。

　　“交交”支持漢語(yǔ)、英語(yǔ)、日語(yǔ)和法語(yǔ)四大主流語(yǔ)言，具備跨語(yǔ)言回復(fù)能力。

　　“交交”還具備角色扮演與情感互動(dòng)，根據(jù)對(duì)話內(nèi)容和場(chǎng)景理解用戶情緒，生成富有情感的回應(yīng)。

　　知識(shí)問(wèn)答方面，涵蓋廣泛的知識(shí)領(lǐng)域，如古詩(shī)詞背誦、科學(xué)原理講解、文學(xué)名著解讀等。這可用于家庭輔導(dǎo)，輔助教學(xué)。

　　根據(jù)介紹，“交交”可靈活拓展，具備對(duì)齊策略，支持文本與音頻模態(tài)的任意方式拼接融合，為集成大規(guī)模文本大模型中的多種增強(qiáng)機(jī)制(如聯(lián)網(wǎng)搜索、RAG檢索增強(qiáng)生成等)提供統(tǒng)一且可擴(kuò)展的接口。