薛弘揚(yáng)博士是多模態(tài)人機(jī)交互領(lǐng)域的專家,，并于去年 12 月以合伙人身份加入一知智能,，擔(dān)任虛擬人業(yè)務(wù)研發(fā)團(tuán)隊(duì)負(fù)責(zé)人,。薛博士畢業(yè)于浙江大學(xué),，在 2017 年與浙大人工智能所趙洲教授一起開創(chuàng)性地提出首個視頻問答這一重要的多模態(tài)任務(wù),，并在該領(lǐng)域取得了杰出的科研成果,，然而在薛博士看來,，研究成果終將需要載體實(shí)現(xiàn)落地才能發(fā)揮科技應(yīng)有的價值，因此在畢業(yè)后一直致力于將 AI 應(yīng)用于各行各業(yè),，讓科技變成真正有價值的生產(chǎn)力,。

豐碩研究成果,，開創(chuàng)視頻問答領(lǐng)域先河

自本科開始薛弘揚(yáng)博士就在浙江大學(xué)計(jì)算機(jī)學(xué)院一路耕耘，后進(jìn)入計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)（CAD&CG）國家重點(diǎn)實(shí)驗(yàn)室直接攻讀博士學(xué)位,，并受到何曉飛和蔡登教授的親自指導(dǎo),。在博士期間的研究成果豐碩，他的勤奮和才華也贏得了各項(xiàng)榮譽(yù)的認(rèn)可,，其中包括博士研究生國家獎學(xué)金,、ARM 獎學(xué)金以及浙江省優(yōu)秀畢業(yè)生等榮譽(yù)稱號。

薛博士專注于計(jì)算機(jī)視覺和多模態(tài)相關(guān)研究,，深度探索 3D 計(jì)算機(jī)視覺,、圖像補(bǔ)全、視頻問答等不同的研究方向,。其中最引人矚目的是開篇提到的與趙洲教授聯(lián)手,，共同提出的視頻問答這一重要的多模態(tài)任務(wù)，后來相繼創(chuàng)新性地提出一系列創(chuàng)新性的注意力機(jī)制,，如統(tǒng)一注意力機(jī)制和基于語法樹上注意力機(jī)制的模型等,，在視頻問答這個領(lǐng)域取得了當(dāng)時 SOTA 的研究成果，并在 CCF A 類期刊與會議上發(fā)表多篇論文,。這一系列的研究成果為薛弘揚(yáng)博士后來的職業(yè)生涯奠定了基礎(chǔ),，近幾年已被廣泛應(yīng)用于多個場景領(lǐng)域，實(shí)現(xiàn)了科研成果的商業(yè)轉(zhuǎn)化,。

薛博士正進(jìn)行研究工作

以 AI 賦能游戲,，打造智能決策新高度

博士畢業(yè)后,，薛弘揚(yáng)博士將熱情和智慧投入人工智能領(lǐng)域最前沿，即強(qiáng)化學(xué)習(xí)的研究和應(yīng)用,，并以游戲?yàn)檩d體,，探索 AI 在智能決策中的理論與實(shí)踐。而且他的眾多研究成果都已被廣泛應(yīng)用于網(wǎng)易等知名公司的游戲產(chǎn)品中,，為游戲注入了優(yōu)秀的陪玩機(jī)器人和競技 AI，賦予游戲更豐富的趣味性,。這不僅在用戶粘性和游戲收益上有顯著提升,，更是節(jié)省了傳統(tǒng)游戲陪玩機(jī)器人開發(fā)所需的大量人力和資源。這種方式大幅降低了開發(fā)游戲 AI 的成本，進(jìn)一步提升整體效能,，為整個游戲產(chǎn)業(yè)帶來了無法估量的價值,。

薛弘揚(yáng)博士也正是在這一期間，開始實(shí)現(xiàn)把學(xué)術(shù)界的最新成果逐漸應(yīng)用于實(shí)際的游戲 AI 問題中,，摸索并構(gòu)建了一整套落地的方法論和流程,。同時，在谷歌于 2020 年舉辦的全球 AI 足球比賽（GRF）中,，薛弘揚(yáng)博士憑借其強(qiáng)化學(xué)習(xí)算法,，成功指導(dǎo)隊(duì)伍在全世界千余支隊(duì)伍中取得了令人矚目的第四名成績，這再次證明了他在 AI 領(lǐng)域的優(yōu)秀實(shí)力和前瞻視野,，也代表著薛博士一直以來追求的技術(shù)與應(yīng)用的鏈接更進(jìn)了一步,。

薛博士正在研讀文獻(xiàn)

數(shù)字人算法研究成果引領(lǐng)行業(yè)進(jìn)步

除了探索人工智能在游戲領(lǐng)域的應(yīng)用,，在加入一知智能后的薛博士開始積極投身于數(shù)字人產(chǎn)品的相關(guān)算法技術(shù)研究。其研究內(nèi)容涵蓋了語音驅(qū)動口型,、人臉生成,、人臉融合、AIGC 等多個方面,，并且大量的研究成果已經(jīng)成功轉(zhuǎn)化到公司的數(shù)字人相關(guān)產(chǎn)品中,。更值得一提的是，薛博士在短短數(shù)月內(nèi),，就攻破了目前數(shù)字人音唇同步準(zhǔn)確率不高的難題,。

在數(shù)字人產(chǎn)品中，語音和圖像兩個模態(tài)特征的融合與關(guān)聯(lián)能力是決定音唇同步準(zhǔn)確率的關(guān)鍵,。由薛弘揚(yáng)博士主導(dǎo)自研的數(shù)字人算法模型,，可以精準(zhǔn)地將不同模態(tài)特征進(jìn)行關(guān)聯(lián)，而且特征關(guān)聯(lián)的模塊具備強(qiáng)大的泛化能力,，僅需少量數(shù)據(jù)進(jìn)行模型訓(xùn)練,，數(shù)字人便能實(shí)現(xiàn)業(yè)界領(lǐng)先的音唇同步效果，其同步精度達(dá)到了近乎 99.9%,，超過業(yè)界其他同類型產(chǎn)品,，這在國內(nèi)屬于頂尖水平。

此外,，算法同時具備極高的泛化能力和魯棒性,，能夠支持全球一百多種語言，即使在使用外語語音驅(qū)動的情況下,，數(shù)字人的效果也與漢語沒有差異,。并且該算法還能兼容包含背景噪聲,、背景音樂的語音，在這些情況下,，大部分時候也能合成非常逼真的數(shù)字人視頻,，滿足在歌唱等多樣化場合的應(yīng)用需求。不僅如此,，該數(shù)字人算法還能支持實(shí)時交互,，能夠在用戶察覺不到的延遲內(nèi)，與人進(jìn)行流暢自然的溝通,，達(dá)到與真人無異的效果,。目前，該創(chuàng)新研究成果已經(jīng)應(yīng)用于一知智能的數(shù)字人產(chǎn)品中,，包含短視頻制作,、數(shù)字人直播等，其效果贏得了業(yè)界同行與用戶的一致稱贊和好評,。

一知智能芽勢數(shù)字人自今年 3 月推出以來已憑借其獨(dú)特優(yōu)勢迅速占領(lǐng)市場高地,，渠道網(wǎng)絡(luò)覆蓋全國各個省份，為各大品牌賦能,。通過與各類企業(yè)的深度合作,，芽勢數(shù)字人已在短短幾月內(nèi)實(shí)現(xiàn)了多元化業(yè)務(wù)的拓展和應(yīng)用，這都得益于薛博士和一知智能團(tuán)隊(duì)的創(chuàng)新研發(fā)和不斷努力,。

薛博士和一知小伙伴

推動數(shù)字人技術(shù)發(fā)展,，助力社會進(jìn)步

未來,，薛弘揚(yáng)博士表示將繼續(xù)致力于數(shù)字人相關(guān)算法的研究與優(yōu)化，不斷提高數(shù)字人的智能性和真實(shí)度,。他希望通過降低數(shù)字人運(yùn)行成本,，使這項(xiàng)技術(shù)成為新時代與每個人息息相關(guān)的基礎(chǔ)設(shè)施，讓所有人都能體驗(yàn)到數(shù)字人所帶來的便利,。

薛弘揚(yáng)博士堅(jiān)信,，數(shù)字人技術(shù)能夠有效提高社會整體的生產(chǎn)效率，減少日常溝通所需的成本,，從而推動社會進(jìn)步,，作為浙大?一知聯(lián)合研究中心主任的他也期待有更多人能和自己一起投身于這項(xiàng)具有深遠(yuǎn)影響的科研工作中，將智能時代的數(shù)字勞動真正轉(zhuǎn)變?yōu)榇龠M(jìn)共享發(fā)展,、實(shí)現(xiàn)人類解放的勞動新形態(tài),。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼,、口令等形式）,，用于傳遞更多信息,，節(jié)省甄選時間,，結(jié)果僅供參考,，早報(bào)網(wǎng)所有文章均包含本聲明。