蕭簫 發(fā)自 凹非寺

通往AGI的路究竟怎么走,，微軟有了新想法——

基于ChatGPT這類大模型的強大理解能力，將輸入的任何信號拆解成一個個可完成的任務(wù),，交給其他的AI和程序完成,。

簡單來說,，就像是建了一座司令塔,，每個大模型都能成為其中的“大腦”指揮官，其他專門解決某類任務(wù)的模型,，則聽它調(diào)令——

這樣一來，不限定某個AI,，所有大模型都能使用這套方法,。

能解決什么問題,？

人類只需要提需求，AI從自動做PPT,、Word和Excel三件套（Office自動化）,，到驅(qū)動機器人完成各種智能任務(wù),，都能搞定,。

這個最新的研究名叫TaskMatrix，據(jù)微軟表示,，它能直接驅(qū)動數(shù)百萬個用于完成任務(wù)的AI和API,。

論文還引用了OpenAI CEO奧特曼那句AI版摩爾定律：

宇宙中的智能數(shù)量每18個月翻一番,。

一起來看看TaskMatrix是怎樣工作的。

AI“司令塔”如何工作,？

這是TaskMatrix的整體工作流程：

從架構(gòu)圖來看,，TaskMatrix可以被分為四部分：

• 多模態(tài)對話基礎(chǔ)模型（MCFM）：與用戶對話并了解需求,，從而生成API可執(zhí)行代碼以完成特定任務(wù)
• API平臺：提供統(tǒng)一API格式，存儲數(shù)百萬個不同功能的API,，允許擴展和刪除API
• API選擇器：負責根據(jù)MCFM生成的內(nèi)容推薦API
• API執(zhí)行器：調(diào)用API并執(zhí)行生成代碼,，給出結(jié)果

簡單來說，MCFM負責生成解決方案,，API選擇器從API平臺中選取API,，隨后API執(zhí)行器基于MCFM生成的代碼調(diào)用API，并解決任務(wù),。

其中,，為了統(tǒng)一API管理，API平臺又給API統(tǒng)一了文檔格式,，包含以下五個部分：

API名稱（提供API摘要,，避免與其他API混淆），參數(shù)列表（包含輸入?yún)?shù)和返回值等）,，API描述（功能描述）,，組合指令（如何組合多個API完成復雜用戶指令）

例如這是“打開本地文件”API的文檔格式：

據(jù)微軟介紹,，搭建TaskMatrix的原因，從學術(shù)角度來說主要有兩點,。

其一,，擴大AI適用范圍,，如通過擴展API來提升可完成任務(wù)的類型和數(shù)量；其二,，便于進一步提升AI可解釋性,，通過觀察AI分配任務(wù)的方式就能理解它的“思路”。

能完成什么任務(wù)了,？

目前從已經(jīng)搭建好的TaskMatrix部分來看,，它能完成的任務(wù)已經(jīng)非常廣泛。

小到文字,、圖像信息的基礎(chǔ)信息處理,，大到控制機器人平臺、接入物聯(lián)網(wǎng)這種通用平臺任務(wù),，TaskMatrix都能搞定,。

先來看看圖像處理任務(wù)。

TaskMatrix解讀用戶想要完成的任務(wù)后,，就能通過對話的方式,，搞定PS（把老人背景P成白的）、解讀圖像,、文生圖,、草圖轉(zhuǎn)真實圖像、摳圖等一系列現(xiàn)實生活中常見的圖像處理操作：

如果說這些都還太常見，基于TextMatrix還能搞定真·圖像擴展,，基于一小角擴展到一整張圖的那種,，而不僅僅是采用平鋪的方式。例如輸入一朵花：

輸出一片花田：

再來看看文字處理任務(wù),。

以往需要手動改AI寫過的方案，如今直接將問題拋給AI,，它就能完成,，例如具體修改某個特定的步驟。

（像不像被甲方一點點催改文件的樣子？只是如今你變成了甲方）

以后生成文章,，就是連插圖都配好的那種：

當然，既然是微軟的研究,，少不了調(diào)用Office系列的API,，包括做PPT這種活，如今交給AI來做就行：

再進一步到通用任務(wù)上，之前一直存在瓶頸的機器人和物聯(lián)網(wǎng)等平臺,，如今TaskMatrix也給出了解決通用任務(wù)的方案,。

家里接入AI后,，和它對話就能完成你想要的各種瑣碎任務(wù),，包括定鬧鐘、查看天氣等：

屬實是解放人類生產(chǎn)力了,。

你想好把它用在哪里了嗎,？

論文地址：

— 完 —

量子位 QbitAI · 頭條號簽約