2024 vivo開發(fā)者大會(huì)于10月10日在廣東深圳正式召開,，vivo發(fā)布自研大模型——全新藍(lán)心大模型矩陣,，為用戶和開發(fā)者帶來諸多驚喜。在同日舉辦的人工智能會(huì)場(chǎng)上,，vivo AI團(tuán)隊(duì)分享了在AI領(lǐng)域取得的最新成果,，以前沿解決方案引領(lǐng)大模型創(chuàng)新與用戶體驗(yàn)升級(jí)，助力開發(fā)者高效創(chuàng)新,。

全新藍(lán)心大模型矩陣

　　長期以來,，vivo持續(xù)在AI領(lǐng)域深耕，緊跟前沿技術(shù),，不斷探索AI在終端設(shè)備上的用戶使用場(chǎng)景,，致力于為用戶帶來更優(yōu)質(zhì)的用機(jī)體驗(yàn)。vivo AI算法技術(shù)總監(jiān)李方圓表示,，隨著大模型技術(shù)日益成熟,，vivo在語言、圖像,、語音,、多模態(tài)等全模態(tài)的AI技術(shù)上逐步升級(jí)為大模型能力，正從傳統(tǒng)的AI技術(shù)時(shí)代邁向大模型AI技術(shù)時(shí)代,。

vivo AI算法技術(shù)總監(jiān)李方圓

　　全新藍(lán)心大模型帶來4項(xiàng)核心升級(jí)：

　　1,、語言大模型升級(jí)：BlueLM-70B 2.0模型較1.0模型能力提升30%，新增多模態(tài)多輪指令理解,、工具使用和代碼能力等亮點(diǎn)功能;

　　2,、圖像大模型創(chuàng)新：推出中文原生文生圖大模型,，突破文字可控生成技術(shù)難題;

　　3、全模態(tài)技術(shù)擴(kuò)展：新增語音和多模態(tài)理解大模型,，實(shí)現(xiàn)全模態(tài)AI技術(shù)升級(jí);

　　4,、端側(cè)大模型發(fā)布：隆重推出3B端側(cè)大模型，能力更強(qiáng),、速度更快,、更加安全和應(yīng)用更廣的4大特性。

　　全新語言大模型帶來3項(xiàng)核心升級(jí)：

　　1,、云端語言大模型升級(jí)：BlueLM-70B 2.0新增學(xué)習(xí)了1億知識(shí)問答,，500w篇的論文，以及1.2億代碼倉庫等高質(zhì)量數(shù)據(jù),。新增了多模態(tài)多輪對(duì)話能力,，支持400+手機(jī)系統(tǒng)工具和180+三方工具的調(diào)用，以及全面升級(jí)了大模型的代碼生成能力,，能實(shí)現(xiàn)數(shù)理計(jì)算和Excel的數(shù)據(jù)分析能力,。

　　2、重磅推出3B端側(cè)大模型：帶來手機(jī)終端黃金尺寸3B端側(cè)大模型,。極致出詞速度達(dá)到80字/s,，內(nèi)存占用僅1.4G，真正打破了“模型小,、能力強(qiáng),、消耗低“的不可能三角定律”。

　　3,、語言大模型新增圖像理解能力：通過將文本,、圖像抽象成統(tǒng)一的token表示，vivo為語言大模型新增了看世界的“眼睛”,，能夠理解手機(jī)上的文字和圖片多種模態(tài)的信息,。

　　語音大模型四大核心能力，讓智能語音交互更簡單,、高效

　　語音技術(shù)在智能手機(jī)中的地位日益凸顯,，廣泛應(yīng)用于出行、家居娛樂,、辦公及無障礙功能等多個(gè)領(lǐng)域,。vivo AI語音中心負(fù)責(zé)人陳彬彬指出，vivo自2017年起便致力于語音技術(shù)的研發(fā),，并將多項(xiàng)創(chuàng)新成果融入其產(chǎn)品中,。為進(jìn)一步提升體驗(yàn)，vivo帶來了自研語音大模型,。

vivo AI語音中心負(fù)責(zé)人陳彬彬

　　vivo自研語音大模型基于藍(lán)心文本大模型開發(fā),，通過離散化編碼結(jié)合文本大模型學(xué)習(xí),，實(shí)現(xiàn)更智能、豐富和簡單的語音交互,。它具備四大核心能力：語音合成,、音色復(fù)刻、語音翻譯和方言自由說,。語音合成能將文本轉(zhuǎn)化為逼真擬人的語音,，支持多語言及方言;音色復(fù)刻則只需用戶一句話即可復(fù)制音色;方言自由說功能不僅滿足用戶方言交流需求，還助力方言文化的保護(hù)與傳承;語音翻譯能力則能直接將語音轉(zhuǎn)化為目標(biāo)語言文本,，提高翻譯效率,。vivo將繼續(xù)深耕語音大模型在各場(chǎng)景的應(yīng)用，提升用戶體驗(yàn),，并期待與各界共同探索大模型技術(shù)的更多可能性,，造福社會(huì)。未來,，vivo計(jì)劃將語音大模型能力逐步開放至智能體平臺(tái),，以更廣泛地服務(wù)于用戶和開發(fā)者。

　　讓圖像生成技術(shù)觸手可及,，實(shí)現(xiàn)AI普惠

　　隨著擴(kuò)散模型與AI架構(gòu)的深度融合，圖像生成技術(shù)迎來了指數(shù)級(jí)飛躍,，其中文生圖技術(shù)尤為顯著,。vivo AIGC圖像大模型技術(shù)總監(jiān)阮曉虎在論壇上介紹了vivo的文生圖大模型——藍(lán)心圖像大模型BlueLM-Art，該模型精通中文語境,，融合了中國特色與東方美學(xué),，其在中文理解、中國文化詮釋,、人物攝影美學(xué)及中文文字繪制等多個(gè)維度都取得了出色的效果,，多次榮登SuperCLUE-Image基準(zhǔn)榜單中文領(lǐng)域榜首。

vivo AIGC圖像大模型技術(shù)總監(jiān)阮曉虎

　　通過在算法架構(gòu),、數(shù)據(jù)處理,、工程以及算力上的全面優(yōu)化，使藍(lán)心圖像大模型BlueLM-Art擁有諸多特性,，不僅精通中文,，擁有出色的指令跟隨性，還能生成與圖文完美結(jié)合的中文字符,，并提供藝術(shù)字繪制插件,。同時(shí)，藍(lán)心圖像大模型BlueLM-Art在人物攝影美學(xué)方面有著卓越表現(xiàn),，能呈現(xiàn)美觀,、真實(shí),、富有質(zhì)感的人物形象。最后,，BlueLM-Art還擁有可控性生成能力,，能在圖像創(chuàng)作中保持更高的主體一致性。

　　基于藍(lán)心圖像大模型BlueLM-Art,，vivo在藍(lán)心小V中推出了圖像創(chuàng)作,、AI消除、圖像風(fēng)格化,、藝術(shù)字創(chuàng)作等一系列AI功能,，并在PAD的原子筆記中加入了AI涂鴉美化功能，極大地提升了用戶的創(chuàng)作體驗(yàn),。后續(xù)vivo將繼續(xù)優(yōu)化文生圖大模型及其相關(guān)AIGC功能,，為用戶提供更多創(chuàng)意資源，讓先進(jìn)的AI技術(shù)惠及更廣泛的用戶群體,，持續(xù)推動(dòng)圖像生成技術(shù)的創(chuàng)新與發(fā)展,。

　　大模型端側(cè)化，用戶體驗(yàn)持續(xù)升級(jí)

　　vivo AI端計(jì)算負(fù)責(zé)人魯晶分享了vivo在全模態(tài)大模型端側(cè)化的探索與成就,。AI算法端側(cè)化作為平衡體驗(yàn),、安全與成本的解決方案，不僅保障了用戶在無網(wǎng)或弱網(wǎng)環(huán)境下的智能體驗(yàn),，還確保了個(gè)人數(shù)據(jù)安全,，并有效降低了使用成本。

vivo AI端計(jì)算負(fù)責(zé)人魯晶

　　大模型時(shí)代,，vivo持續(xù)推進(jìn)各模態(tài)大模型端側(cè)化能力建設(shè),，探索大模型在各業(yè)務(wù)場(chǎng)景端側(cè)產(chǎn)品落地，覆蓋“聽,、說,、讀、寫,、畫”各應(yīng)用場(chǎng)景,。在“聽”方面，vivo升級(jí)應(yīng)用語音識(shí)別大模型,，讓語音操作隨時(shí)可用;在“說”方面,，利用語音生成大模型生成超擬人音色，為故事講述賦予更鮮活的魅力;在“讀”方面,，利用多模態(tài)大模型針對(duì)視障用戶打造圖像問答功能;在“寫”方面,，將語言大模型在端側(cè)更廣泛的應(yīng)用，同時(shí)升級(jí)為3B端側(cè)大模型，給用戶更為優(yōu)質(zhì)的體驗(yàn),。此外,，vivo還探索了圖像大模型端側(cè)化，為用戶帶來隨時(shí)可用的AI消除功能,。

　　針對(duì)全模態(tài)大模型端側(cè)化,，vivo 從算法模型設(shè)計(jì)，到量化,、性能瓶頸分析工具建設(shè),，再到底層運(yùn)行時(shí)異構(gòu)方案設(shè)計(jì)和業(yè)務(wù)框架層靈活的多業(yè)務(wù)部署架構(gòu)建設(shè)，提供了完整的解決方案,。通過軟硬件協(xié)同,，充分挖掘芯片潛力，確保大模型在端側(cè)運(yùn)行時(shí)的強(qiáng)悍性能,。未來,，vivo計(jì)劃開放成熟算法能力與端側(cè)加速能力，與行業(yè)開發(fā)者合作,，共同打造創(chuàng)新,、便利、智能的業(yè)務(wù)場(chǎng)景,，為用戶提供更優(yōu)質(zhì)的智能化體驗(yàn),。

　　攻克AI三大挑戰(zhàn)，打造高效穩(wěn)定的大模型工程體系

　　vivo AI工程架構(gòu)專家陳崇沛分享了vivo在大規(guī)模高性能計(jì)算領(lǐng)域的探索與創(chuàng)新,。他指出,，大規(guī)模訓(xùn)練、高性能推理及海量算力治理是AI落地面臨的三大挑戰(zhàn),。為此，vivo構(gòu)建了大模型工程體系,，解決了大規(guī)模訓(xùn)練的問題,，讓模型能按天迭代;解決高性能推理的問題，能秒級(jí)生成圖片;搭建了堅(jiān)如磐石的萬卡集群,，算力能持續(xù)穩(wěn)定輸出,。這一體系全面支撐了vivo各模態(tài)、模型的訓(xùn)練與推理,，廣泛應(yīng)用于vivo的AI產(chǎn)品中,。

vivo AI工程架構(gòu)專家陳崇沛

　　展望未來，vivo要打造出強(qiáng)有力的個(gè)人化智能產(chǎn)品,，就要具備o1這類強(qiáng)邏輯推斷能力的模型,。而大模型工程的關(guān)鍵是性能和靈活性兼具的強(qiáng)化學(xué)習(xí)訓(xùn)練框架，這樣才能發(fā)揮出強(qiáng)化學(xué)習(xí)Scaling law的威力,。為了實(shí)現(xiàn)這個(gè)目標(biāo),，vivo的思路是：以訓(xùn)推一體架構(gòu)為基礎(chǔ),，整合自研推理引擎和訓(xùn)練框架，滿足多模型訓(xùn)練推理協(xié)同的要求,，支持高性能,、高靈活性的自博弈強(qiáng)化學(xué)習(xí)。o1的技術(shù)路線目前只露出冰山一角,，還有很大的探索空間,，讓我們拭目以待。

　　vivo意圖框架,，實(shí)現(xiàn)精準(zhǔn)服務(wù)分發(fā)與全場(chǎng)景智能化體驗(yàn)

　　如今AI改變了人機(jī)交互方式,，在AI大模型的加持下，智能化體驗(yàn)有了較大升級(jí),，用戶可以通過對(duì)話等方式來替代傳統(tǒng)的交互方式,，實(shí)現(xiàn)以AI為中心的交互模式變革。vivo AI系統(tǒng)技術(shù)總監(jiān)許勝華表示,，智慧服務(wù)在體驗(yàn)升級(jí)的同時(shí),，也面臨全新的挑戰(zhàn)，vivo持續(xù)與生態(tài)伙伴探索高效精準(zhǔn)的服務(wù)分發(fā)模式,，基于此vivo面向開發(fā)者提供了意圖框架解決方案,。

vivo AI系統(tǒng)技術(shù)總監(jiān)許勝華

　　通過意圖框架，連接開發(fā)者和系統(tǒng),，結(jié)合AI能力理解用戶意圖,，再通過系統(tǒng)入口將生態(tài)服務(wù)精準(zhǔn)分發(fā)至用戶，從而提供全場(chǎng)景,、智能化的服務(wù)體驗(yàn),。在原系統(tǒng)5(Origin OS 5)上，意圖框架已經(jīng)跟系統(tǒng)的藍(lán)心小V,、原子島,、小V建議等交互入口全面打通，帶給用戶帶來便捷貼心的用機(jī)體驗(yàn),。目前vivo意圖框架已上線24個(gè)垂域,，53個(gè)意圖標(biāo)準(zhǔn)，方便開發(fā)者接入使用,。

　　藍(lán)心智能體開放平臺(tái)賦能,，助力構(gòu)建智能體生態(tài)

　　vivo AI解決方案中心高級(jí)經(jīng)理蔡永超介紹了藍(lán)心智能體開放平臺(tái)，該平臺(tái)可以提升AI與人的協(xié)作體驗(yàn),?；谥悄荏w開放平臺(tái)，還支撐起vivo 1+X+N智能體協(xié)作體系的構(gòu)建，為用戶提供溫暖,、智能的體驗(yàn),。

vivo AI解決方案中心高級(jí)經(jīng)理蔡永超

　　vivo為開發(fā)者提供一站式智能體開發(fā)、分發(fā),、運(yùn)營平臺(tái),，助力開發(fā)者高效、便捷地實(shí)現(xiàn)智能體的開發(fā),。在流量方面,，vivo提供了包含鎖屏、息屏,、通知,、負(fù)一屏、全搜,、藍(lán)心小V等入口在內(nèi)的多個(gè)分發(fā)入口,，為開發(fā)者帶來億級(jí)流量曝光和轉(zhuǎn)化。

　　vivo藍(lán)心智能體的創(chuàng)建流程簡單快捷,，只需創(chuàng)建,、配置、調(diào)試,、發(fā)布四個(gè)步驟即可快速搭建一個(gè)智能體,。目前平臺(tái)已與支付寶AI健康管家、攜程,、百度地圖,、懂車帝、同程旅行等應(yīng)用合作,，提供多種智能服務(wù),。

　　藍(lán)心智能體平臺(tái)將協(xié)同開發(fā)者共同構(gòu)建智能體生態(tài)，以大模型+智能體平臺(tái)為基座,，以O(shè)S內(nèi)核+應(yīng)用為依托,，服務(wù)用戶、開發(fā)者和行業(yè)伙伴,。后續(xù)，藍(lán)心智能體開放平臺(tái)將逐步開放更多AI能力,，基于智能體平臺(tái)開發(fā)的智能體應(yīng)用,，經(jīng)過安全審核可以上線到藍(lán)心千詢APP及PC供廣大開發(fā)者使用，并支持發(fā)布到三方應(yīng)用,。

　　未來,，vivo將持續(xù)以用戶為中心，深化AI技術(shù)研發(fā)與應(yīng)用，攜手開發(fā)者與生態(tài)伙伴,，共同推動(dòng)AI技術(shù)的普惠與發(fā)展,，為用戶帶來更智能、更便捷,、更安全的用機(jī)體驗(yàn),。