亚洲国产成人精品无码一区二区_亚洲国产成人久久精品APP_亚洲精品成人网久久久久久_亚洲精品午夜无码电影网_亚洲另类欧美综合久久图片区_亚洲人成人无码网WWW电影首页_亚洲午夜福利AV一区二区无码_亚洲伊人久久精品影院_一本加勒比HEZYO无码人妻_怡红院精品久久久久久久高清,自拍偷在线精品自拍偷99,久久精品国产77777蜜臀,娇妻穿丁字裤被领导玩弄

網(wǎng)站地圖 - 關(guān)于我們
您的當(dāng)前位置: 首頁 > 業(yè)界 > 頭條 正文

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門

作者:用戶投稿 時間:2023-04-01 14:28 點(diǎn)擊:次
導(dǎo)讀:AIGC 正從效率,、質(zhì)量,、創(chuàng)意、多樣性各方面革新內(nèi)容生產(chǎn)流程,,伴隨 firely,、midjourney 等現(xiàn)象級的產(chǎn)品出現(xiàn),,AIGC 將逐步廣泛服務(wù)于內(nèi)容生產(chǎn)的各類場景與內(nèi)容生產(chǎn)者,隨著 AIGC 在內(nèi)容生產(chǎn)的需求場景不斷增加,,騰訊多媒體實(shí)驗(yàn)室也在 AIGC 領(lǐng)域持續(xù)發(fā)力,,并通過數(shù)據(jù)萬象將能力成功應(yīng)用到傳媒、社交,、文娛等多個行業(yè),,逐步夯實(shí)全場景內(nèi)容生產(chǎn)力。足球精彩集錦數(shù)據(jù)萬象泛互與傳媒客戶擁有不小

AIGC 正從效率,、質(zhì)量,、創(chuàng)意、多樣性各方面革新內(nèi)容生產(chǎn)流程,,伴隨 firely,、midjourney 等現(xiàn)象級的產(chǎn)品出現(xiàn),AIGC 將逐步廣泛服務(wù)于內(nèi)容生產(chǎn)的各類場景與內(nèi)容生產(chǎn)者,,隨著 AIGC 在內(nèi)容生產(chǎn)的需求場景不斷增加,,騰訊多媒體實(shí)驗(yàn)室也在 AIGC 領(lǐng)域持續(xù)發(fā)力,并通過數(shù)據(jù)萬象將能力成功應(yīng)用到傳媒,、社交,、文娛等多個行業(yè),逐步夯實(shí)全場景內(nèi)容生產(chǎn)力,。

足球精彩集錦

數(shù)據(jù)萬象泛互與傳媒客戶擁有不小體量的體育視頻數(shù)據(jù)處理需求,,尤其是賽事期間,足球賽事作為最受歡迎的體育賽事內(nèi)容消費(fèi)量一直居高不下,,球迷對其內(nèi)容的可觀賞性要求也頗高,,由于時長問題,未經(jīng)剪輯的足球比賽不能直接投放到體育新聞,、短視頻等場景用于賽事宣傳,。為此,騰訊多媒體實(shí)驗(yàn)室基于自研的 AIGC 系列技術(shù),通過騰訊云數(shù)據(jù)萬象產(chǎn)品為廣大客戶帶來足球比賽的智能剪輯能力,,在沒有人工剪輯參與的情況下自動生成賽事高光內(nèi)容,。

技術(shù)介紹

數(shù)據(jù)方面,騰訊多媒體實(shí)驗(yàn)室采集了 1200 多場具有代表性的足球賽事并標(biāo)注了高精度的數(shù)據(jù)集,。數(shù)據(jù)集覆蓋各類著名聯(lián)賽和杯賽,,累計 600 多個小時。同時,,騰訊多媒體實(shí)驗(yàn)室設(shè)置了 19 個關(guān)鍵事類別,,針對每一段視頻準(zhǔn)確標(biāo)注出全部關(guān)鍵事件的起始點(diǎn)、結(jié)束點(diǎn)和對應(yīng)類別,。關(guān)鍵事件分布如下圖,,基本可以反映真實(shí)比賽的數(shù)據(jù)分布。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖1)

【數(shù)據(jù)集關(guān)鍵事件分布】

算法方面,,騰訊多媒體實(shí)驗(yàn)室設(shè)計了一個基于智能拆條和進(jìn)球檢測的多模態(tài)方案來完成智能剪輯,。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖2)

【多模態(tài)智能剪輯方案】

智能拆條模塊基于視頻的圖像序列和音頻信息,通過子任務(wù)抽取多模態(tài)特征,,再由事件檢測模型定位各類關(guān)鍵事件,。針對單幀圖像、音頻信息,、圖像序列,,騰訊多媒體實(shí)驗(yàn)室基于事件標(biāo)簽有監(jiān)督地訓(xùn)練了三個特征提取器,用于提取圖片,、聲音,、動作等多模態(tài)特征。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖3)

事件檢測模型接受由時序卷積編碼再拼接的多模態(tài)融合特征作為輸入,,評估各個時刻屬于事件開始,、結(jié)束、過程的概率,,并由此構(gòu)建候選區(qū)間和對應(yīng)的時序特征,。候選區(qū)間評估階段利用時序特征評估對應(yīng)區(qū)間與真實(shí)事件區(qū)間的交并比,進(jìn)而實(shí)現(xiàn)事件定位,。最后結(jié)合子任務(wù)階段獲取的事件標(biāo)簽以及后處理算法就可以得到準(zhǔn)確的事件拆條結(jié)果,。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖4)

【事件檢測模型】

智能拆條的效果指標(biāo) mAP 達(dá)到了 82%,其中定位球和回放等事件的對應(yīng)指標(biāo)更是達(dá)到 90% 以上,。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖5)

【運(yùn)動戰(zhàn)精彩集錦示例】

進(jìn)球檢測模塊通過判斷比分變化情況來對進(jìn)球事件作補(bǔ)充,。在上述方案中,進(jìn)球事件的召回率并不高,,原因是騰訊多媒體實(shí)驗(yàn)室并沒有充分利用視頻里的比分信息,,最直觀的解決辦法是利用比分信息幫助判斷當(dāng)前的進(jìn)球情況,。在實(shí)際應(yīng)用中,,進(jìn)球檢測模塊針對視頻幀序列檢測出比分牌位置,,然后適當(dāng)擴(kuò)大邊緣后再做文字檢測獲取當(dāng)前幀比分?jǐn)?shù)位置,通過多幀聚類得到當(dāng)前比賽的比分?jǐn)?shù)位置,,最后利用文字識別技術(shù)獲得比分序列,,根據(jù)比分單邊遞增規(guī)則確認(rèn)進(jìn)球時刻。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖6)

【進(jìn)球檢測模塊】

進(jìn)球檢測模塊將進(jìn)球事件的召回率提高到 96%,,提高了集錦的完整性和精彩程度,。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖7)

【進(jìn)球精彩集錦示例】

在足球場景的智能剪輯方案中,騰訊多媒體實(shí)驗(yàn)室還新增了球星識別模塊,,用于剪輯特定球星片段,。該模塊通過使用人臉檢測算法定位視頻中的所有人臉,然后使用人臉識別模型編碼人臉特征,,通過聚類算法得到相似人臉序列,,最后在球星人臉數(shù)據(jù)庫中查找與之匹配的球星。目前騰訊多媒體實(shí)驗(yàn)室的方案可識別 500 多位人氣球星,。

現(xiàn)該功能已在數(shù)據(jù)萬象多個體育客戶案例中落地,,日均處理量持續(xù)攀升,大幅提升數(shù)據(jù)萬象客戶賽事周邊后期生產(chǎn)速率,。

影視精彩集錦

除了體育,,自研的智能剪輯還支持電視劇、動漫等影視場景,,可以根據(jù)用戶指定的人物,、動作、情感,、關(guān)鍵詞等信息自動生成所需集錦視頻,。

以人物向?yàn)槔脩糁恍枰峁?2~3 張某個人物的照片,,系統(tǒng)便可注冊對應(yīng)人物,,剪輯時指定需要剪輯的角色(或列表)即可生成人物集錦。再搭配音樂卡點(diǎn),,上熱門妥妥的,!

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖8)

【人物向集錦】

線索集錦方面,用戶可以根據(jù)劇情內(nèi)容指定某個關(guān)鍵詞作為線索,,系統(tǒng)將自動檢索劇集中與此相關(guān)的內(nèi)容,,并生成關(guān)鍵詞集錦,打造全網(wǎng)最清晰的故事線,。

騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門(圖9)

【線索詞集錦】

現(xiàn)該功能已獲得數(shù)據(jù)萬象體驗(yàn)館,、智能工具箱,、控制臺中超高點(diǎn)擊率,吸引眾多用戶關(guān)注使用,,此場景能夠根據(jù)用戶需求靈活調(diào)整集錦所需關(guān)鍵動作,、人物等,歡迎各位用戶前往測試,。

未來,,騰訊多媒體實(shí)驗(yàn)室將持續(xù)投入包括智能剪輯在內(nèi)的 AIGC 核心能力建設(shè),數(shù)據(jù)萬象負(fù)責(zé)人葉嘉梁表示道數(shù)據(jù)萬象將借助多媒體實(shí)驗(yàn)室在底層 AI 算法多年的積累和建設(shè),,結(jié)合自身對行業(yè)和業(yè)務(wù)的理解,,快速上線了能夠幫助客戶業(yè)務(wù)實(shí)現(xiàn)智能內(nèi)容生產(chǎn)的能力,豐富的算法也讓業(yè)務(wù)具備更好的多樣性和靈活性,。您可以前往數(shù)據(jù)萬象進(jìn)行相關(guān)能力體驗(yàn),,對存儲在對象存儲 COS 上的數(shù)據(jù)進(jìn)行創(chuàng)作。數(shù)據(jù)萬象將持續(xù)攜手多媒體實(shí)驗(yàn)室為廣大客戶提供視頻自動剪輯,、智能作曲,、音樂評分等更多智能化服務(wù),提升內(nèi)容生產(chǎn)和創(chuàng)作效率,。

更多演示內(nèi)容,,可參見公眾號“騰訊多媒體實(shí)驗(yàn)室”。

打賞

取消

感謝您的支持,,我會繼續(xù)努力的!

掃碼支持
掃碼打賞,你說多少就多少

打開支付寶掃一掃,,即可進(jìn)行掃碼打賞哦

相關(guān)推薦:

網(wǎng)友評論:

推薦使用友言,、多說、暢言(需備案后使用)等社會化評論插件

欄目分類
Copyright ? 2021 早報網(wǎng) 版權(quán)所有
蘇ICP備19042297號-4

蘇公網(wǎng)安備32131102000875號

本網(wǎng)站所刊載信息,,不代表早報網(wǎng)觀點(diǎn)。如您發(fā)現(xiàn)內(nèi)容涉嫌侵權(quán)違法立即與我們聯(lián)系客服 [email protected] 對其相關(guān)內(nèi)容進(jìn)行刪除,。
早報網(wǎng)登載文章只用于傳遞更多信息之目的,,并不意味著贊同其觀點(diǎn)或證實(shí)其描述。文章內(nèi)容僅供參考,,不構(gòu)成投資建議,。投資者據(jù)此操作,風(fēng)險自擔(dān),。
《早報網(wǎng)》官方網(wǎng)站:xzxyjj.com互聯(lián)網(wǎng)違法和不良信息舉報中心
Top