2024 vivo開(kāi)發(fā)者大會(huì)于10月10日在廣東深圳正式召開(kāi)，vivo發(fā)布自研大模型——全新藍(lán)心大模型矩陣，為用戶和開(kāi)發(fā)者帶來(lái)諸多驚喜。在同日舉辦的人工智能會(huì)場(chǎng)上，vivo AI團(tuán)隊(duì)分享了在AI領(lǐng)域取得的最新成果,，以前沿解決方案引領(lǐng)大模型創(chuàng)新與用戶體驗(yàn)升級(jí)，助力開(kāi)發(fā)者高效創(chuàng)新,。

全新藍(lán)心大模型矩陣

　　長(zhǎng)期以來(lái),，vivo持續(xù)在AI領(lǐng)域深耕，緊跟前沿技術(shù),，不斷探索AI在終端設(shè)備上的用戶使用場(chǎng)景,，致力于為用戶帶來(lái)更優(yōu)質(zhì)的用機(jī)體驗(yàn)。vivo AI算法技術(shù)總監(jiān)李方圓表示,，隨著大模型技術(shù)日益成熟,，vivo在語(yǔ)言、圖像,、語(yǔ)音,、多模態(tài)等全模態(tài)的AI技術(shù)上逐步升級(jí)為大模型能力，正從傳統(tǒng)的AI技術(shù)時(shí)代邁向大模型AI技術(shù)時(shí)代,。

vivo AI算法技術(shù)總監(jiān)李方圓

　　全新藍(lán)心大模型帶來(lái)4項(xiàng)核心升級(jí)：

　　1,、語(yǔ)言大模型升級(jí)：BlueLM-70B 2.0模型較1.0模型能力提升30%，新增多模態(tài)多輪指令理解,、工具使用和代碼能力等亮點(diǎn)功能;

　　2,、圖像大模型創(chuàng)新：推出中文原生文生圖大模型，突破文字可控生成技術(shù)難題;

　　3,、全模態(tài)技術(shù)擴(kuò)展：新增語(yǔ)音和多模態(tài)理解大模型,，實(shí)現(xiàn)全模態(tài)AI技術(shù)升級(jí);

　　4,、端側(cè)大模型發(fā)布：隆重推出3B端側(cè)大模型，能力更強(qiáng),、速度更快、更加安全和應(yīng)用更廣的4大特性,。

　　全新語(yǔ)言大模型帶來(lái)3項(xiàng)核心升級(jí)：

　　1,、云端語(yǔ)言大模型升級(jí)：BlueLM-70B 2.0新增學(xué)習(xí)了1億知識(shí)問(wèn)答，500w篇的論文,，以及1.2億代碼倉(cāng)庫(kù)等高質(zhì)量數(shù)據(jù),。新增了多模態(tài)多輪對(duì)話能力，支持400+手機(jī)系統(tǒng)工具和180+三方工具的調(diào)用,，以及全面升級(jí)了大模型的代碼生成能力,，能實(shí)現(xiàn)數(shù)理計(jì)算和Excel的數(shù)據(jù)分析能力。

　　2,、重磅推出3B端側(cè)大模型：帶來(lái)手機(jī)終端黃金尺寸3B端側(cè)大模型,。極致出詞速度達(dá)到80字/s，內(nèi)存占用僅1.4G,，真正打破了“模型小,、能力強(qiáng)、消耗低“的不可能三角定律”,。

　　3,、語(yǔ)言大模型新增圖像理解能力：通過(guò)將文本、圖像抽象成統(tǒng)一的token表示,，vivo為語(yǔ)言大模型新增了看世界的“眼睛”,，能夠理解手機(jī)上的文字和圖片多種模態(tài)的信息。

　　語(yǔ)音大模型四大核心能力,，讓智能語(yǔ)音交互更簡(jiǎn)單,、高效

　　語(yǔ)音技術(shù)在智能手機(jī)中的地位日益凸顯，廣泛應(yīng)用于出行,、家居娛樂(lè),、辦公及無(wú)障礙功能等多個(gè)領(lǐng)域。vivo AI語(yǔ)音中心負(fù)責(zé)人陳彬彬指出,，vivo自2017年起便致力于語(yǔ)音技術(shù)的研發(fā),，并將多項(xiàng)創(chuàng)新成果融入其產(chǎn)品中。為進(jìn)一步提升體驗(yàn),，vivo帶來(lái)了自研語(yǔ)音大模型,。

vivo AI語(yǔ)音中心負(fù)責(zé)人陳彬彬

　　vivo自研語(yǔ)音大模型基于藍(lán)心文本大模型開(kāi)發(fā)，通過(guò)離散化編碼結(jié)合文本大模型學(xué)習(xí),，實(shí)現(xiàn)更智能,、豐富和簡(jiǎn)單的語(yǔ)音交互,。它具備四大核心能力：語(yǔ)音合成、音色復(fù)刻,、語(yǔ)音翻譯和方言自由說(shuō),。語(yǔ)音合成能將文本轉(zhuǎn)化為逼真擬人的語(yǔ)音，支持多語(yǔ)言及方言;音色復(fù)刻則只需用戶一句話即可復(fù)制音色;方言自由說(shuō)功能不僅滿足用戶方言交流需求,，還助力方言文化的保護(hù)與傳承;語(yǔ)音翻譯能力則能直接將語(yǔ)音轉(zhuǎn)化為目標(biāo)語(yǔ)言文本,，提高翻譯效率。vivo將繼續(xù)深耕語(yǔ)音大模型在各場(chǎng)景的應(yīng)用,，提升用戶體驗(yàn),，并期待與各界共同探索大模型技術(shù)的更多可能性，造福社會(huì),。未來(lái),，vivo計(jì)劃將語(yǔ)音大模型能力逐步開(kāi)放至智能體平臺(tái)，以更廣泛地服務(wù)于用戶和開(kāi)發(fā)者,。

　　讓圖像生成技術(shù)觸手可及,，實(shí)現(xiàn)AI普惠

　　隨著擴(kuò)散模型與AI架構(gòu)的深度融合，圖像生成技術(shù)迎來(lái)了指數(shù)級(jí)飛躍,，其中文生圖技術(shù)尤為顯著,。vivo AIGC圖像大模型技術(shù)總監(jiān)阮曉虎在論壇上介紹了vivo的文生圖大模型——藍(lán)心圖像大模型BlueLM-Art，該模型精通中文語(yǔ)境,，融合了中國(guó)特色與東方美學(xué),，其在中文理解、中國(guó)文化詮釋,、人物攝影美學(xué)及中文文字繪制等多個(gè)維度都取得了出色的效果,，多次榮登SuperCLUE-Image基準(zhǔn)榜單中文領(lǐng)域榜首。

vivo AIGC圖像大模型技術(shù)總監(jiān)阮曉虎

　　通過(guò)在算法架構(gòu),、數(shù)據(jù)處理,、工程以及算力上的全面優(yōu)化，使藍(lán)心圖像大模型BlueLM-Art擁有諸多特性,，不僅精通中文,，擁有出色的指令跟隨性，還能生成與圖文完美結(jié)合的中文字符,，并提供藝術(shù)字繪制插件,。同時(shí)，藍(lán)心圖像大模型BlueLM-Art在人物攝影美學(xué)方面有著卓越表現(xiàn),，能呈現(xiàn)美觀,、真實(shí)、富有質(zhì)感的人物形象,。最后,，BlueLM-Art還擁有可控性生成能力,，能在圖像創(chuàng)作中保持更高的主體一致性。

　　基于藍(lán)心圖像大模型BlueLM-Art,，vivo在藍(lán)心小V中推出了圖像創(chuàng)作,、AI消除、圖像風(fēng)格化,、藝術(shù)字創(chuàng)作等一系列AI功能,，并在PAD的原子筆記中加入了AI涂鴉美化功能，極大地提升了用戶的創(chuàng)作體驗(yàn),。后續(xù)vivo將繼續(xù)優(yōu)化文生圖大模型及其相關(guān)AIGC功能，為用戶提供更多創(chuàng)意資源,，讓先進(jìn)的AI技術(shù)惠及更廣泛的用戶群體,，持續(xù)推動(dòng)圖像生成技術(shù)的創(chuàng)新與發(fā)展。

　　大模型端側(cè)化,，用戶體驗(yàn)持續(xù)升級(jí)

　　vivo AI端計(jì)算負(fù)責(zé)人魯晶分享了vivo在全模態(tài)大模型端側(cè)化的探索與成就,。AI算法端側(cè)化作為平衡體驗(yàn)、安全與成本的解決方案,，不僅保障了用戶在無(wú)網(wǎng)或弱網(wǎng)環(huán)境下的智能體驗(yàn),，還確保了個(gè)人數(shù)據(jù)安全，并有效降低了使用成本,。

vivo AI端計(jì)算負(fù)責(zé)人魯晶

　　大模型時(shí)代,，vivo持續(xù)推進(jìn)各模態(tài)大模型端側(cè)化能力建設(shè)，探索大模型在各業(yè)務(wù)場(chǎng)景端側(cè)產(chǎn)品落地,，覆蓋“聽(tīng),、說(shuō)、讀,、寫,、畫”各應(yīng)用場(chǎng)景。在“聽(tīng)”方面,，vivo升級(jí)應(yīng)用語(yǔ)音識(shí)別大模型,，讓語(yǔ)音操作隨時(shí)可用;在“說(shuō)”方面，利用語(yǔ)音生成大模型生成超擬人音色,，為故事講述賦予更鮮活的魅力;在“讀”方面,，利用多模態(tài)大模型針對(duì)視障用戶打造圖像問(wèn)答功能;在“寫”方面，將語(yǔ)言大模型在端側(cè)更廣泛的應(yīng)用,，同時(shí)升級(jí)為3B端側(cè)大模型,，給用戶更為優(yōu)質(zhì)的體驗(yàn)。此外,，vivo還探索了圖像大模型端側(cè)化,，為用戶帶來(lái)隨時(shí)可用的AI消除功能,。

　　針對(duì)全模態(tài)大模型端側(cè)化，vivo 從算法模型設(shè)計(jì),，到量化,、性能瓶頸分析工具建設(shè)，再到底層運(yùn)行時(shí)異構(gòu)方案設(shè)計(jì)和業(yè)務(wù)框架層靈活的多業(yè)務(wù)部署架構(gòu)建設(shè),，提供了完整的解決方案,。通過(guò)軟硬件協(xié)同，充分挖掘芯片潛力,，確保大模型在端側(cè)運(yùn)行時(shí)的強(qiáng)悍性能,。未來(lái)，vivo計(jì)劃開(kāi)放成熟算法能力與端側(cè)加速能力,，與行業(yè)開(kāi)發(fā)者合作,，共同打造創(chuàng)新、便利,、智能的業(yè)務(wù)場(chǎng)景,，為用戶提供更優(yōu)質(zhì)的智能化體驗(yàn)。

　　攻克AI三大挑戰(zhàn),，打造高效穩(wěn)定的大模型工程體系

　　vivo AI工程架構(gòu)專家陳崇沛分享了vivo在大規(guī)模高性能計(jì)算領(lǐng)域的探索與創(chuàng)新,。他指出，大規(guī)模訓(xùn)練,、高性能推理及海量算力治理是AI落地面臨的三大挑戰(zhàn),。為此，vivo構(gòu)建了大模型工程體系,，解決了大規(guī)模訓(xùn)練的問(wèn)題,，讓模型能按天迭代;解決高性能推理的問(wèn)題，能秒級(jí)生成圖片;搭建了堅(jiān)如磐石的萬(wàn)卡集群,，算力能持續(xù)穩(wěn)定輸出,。這一體系全面支撐了vivo各模態(tài)、模型的訓(xùn)練與推理,，廣泛應(yīng)用于vivo的AI產(chǎn)品中,。

vivo AI工程架構(gòu)專家陳崇沛

　　展望未來(lái)，vivo要打造出強(qiáng)有力的個(gè)人化智能產(chǎn)品,，就要具備o1這類強(qiáng)邏輯推斷能力的模型,。而大模型工程的關(guān)鍵是性能和靈活性兼具的強(qiáng)化學(xué)習(xí)訓(xùn)練框架，這樣才能發(fā)揮出強(qiáng)化學(xué)習(xí)Scaling law的威力,。為了實(shí)現(xiàn)這個(gè)目標(biāo),，vivo的思路是：以訓(xùn)推一體架構(gòu)為基礎(chǔ)，整合自研推理引擎和訓(xùn)練框架，滿足多模型訓(xùn)練推理協(xié)同的要求,，支持高性能,、高靈活性的自博弈強(qiáng)化學(xué)習(xí)。o1的技術(shù)路線目前只露出冰山一角,，還有很大的探索空間,，讓我們拭目以待。

　　vivo意圖框架,，實(shí)現(xiàn)精準(zhǔn)服務(wù)分發(fā)與全場(chǎng)景智能化體驗(yàn)

　　如今AI改變了人機(jī)交互方式,，在AI大模型的加持下，智能化體驗(yàn)有了較大升級(jí),，用戶可以通過(guò)對(duì)話等方式來(lái)替代傳統(tǒng)的交互方式,，實(shí)現(xiàn)以AI為中心的交互模式變革。vivo AI系統(tǒng)技術(shù)總監(jiān)許勝華表示,，智慧服務(wù)在體驗(yàn)升級(jí)的同時(shí),，也面臨全新的挑戰(zhàn)，vivo持續(xù)與生態(tài)伙伴探索高效精準(zhǔn)的服務(wù)分發(fā)模式,，基于此vivo面向開(kāi)發(fā)者提供了意圖框架解決方案。

vivo AI系統(tǒng)技術(shù)總監(jiān)許勝華

　　通過(guò)意圖框架,，連接開(kāi)發(fā)者和系統(tǒng),，結(jié)合AI能力理解用戶意圖，再通過(guò)系統(tǒng)入口將生態(tài)服務(wù)精準(zhǔn)分發(fā)至用戶,，從而提供全場(chǎng)景,、智能化的服務(wù)體驗(yàn)。在原系統(tǒng)5(Origin OS 5)上,，意圖框架已經(jīng)跟系統(tǒng)的藍(lán)心小V,、原子島、小V建議等交互入口全面打通,，帶給用戶帶來(lái)便捷貼心的用機(jī)體驗(yàn),。目前vivo意圖框架已上線24個(gè)垂域，53個(gè)意圖標(biāo)準(zhǔn),，方便開(kāi)發(fā)者接入使用,。

　　藍(lán)心智能體開(kāi)放平臺(tái)賦能，助力構(gòu)建智能體生態(tài)

　　vivo AI解決方案中心高級(jí)經(jīng)理蔡永超介紹了藍(lán)心智能體開(kāi)放平臺(tái),，該平臺(tái)可以提升AI與人的協(xié)作體驗(yàn),。基于智能體開(kāi)放平臺(tái),，還支撐起vivo 1+X+N智能體協(xié)作體系的構(gòu)建,，為用戶提供溫暖、智能的體驗(yàn)。

vivo AI解決方案中心高級(jí)經(jīng)理蔡永超

　　vivo為開(kāi)發(fā)者提供一站式智能體開(kāi)發(fā),、分發(fā),、運(yùn)營(yíng)平臺(tái)，助力開(kāi)發(fā)者高效,、便捷地實(shí)現(xiàn)智能體的開(kāi)發(fā),。在流量方面，vivo提供了包含鎖屏,、息屏,、通知、負(fù)一屏,、全搜,、藍(lán)心小V等入口在內(nèi)的多個(gè)分發(fā)入口，為開(kāi)發(fā)者帶來(lái)億級(jí)流量曝光和轉(zhuǎn)化,。

　　vivo藍(lán)心智能體的創(chuàng)建流程簡(jiǎn)單快捷,，只需創(chuàng)建、配置,、調(diào)試,、發(fā)布四個(gè)步驟即可快速搭建一個(gè)智能體。目前平臺(tái)已與支付寶AI健康管家,、攜程,、百度地圖、懂車帝,、同程旅行等應(yīng)用合作,，提供多種智能服務(wù)。

　　藍(lán)心智能體平臺(tái)將協(xié)同開(kāi)發(fā)者共同構(gòu)建智能體生態(tài),，以大模型+智能體平臺(tái)為基座,，以O(shè)S內(nèi)核+應(yīng)用為依托，服務(wù)用戶,、開(kāi)發(fā)者和行業(yè)伙伴,。后續(xù)，藍(lán)心智能體開(kāi)放平臺(tái)將逐步開(kāi)放更多AI能力,，基于智能體平臺(tái)開(kāi)發(fā)的智能體應(yīng)用,，經(jīng)過(guò)安全審核可以上線到藍(lán)心千詢APP及PC供廣大開(kāi)發(fā)者使用，并支持發(fā)布到三方應(yīng)用,。

　　未來(lái),，vivo將持續(xù)以用戶為中心，深化AI技術(shù)研發(fā)與應(yīng)用,，攜手開(kāi)發(fā)者與生態(tài)伙伴,，共同推動(dòng)AI技術(shù)的普惠與發(fā)展，為用戶帶來(lái)更智能、更便捷,、更安全的用機(jī)體驗(yàn),。