Pre AGI 時(shí)代的第一場(chǎng)大型輿論「鬧劇」,。

馬斯克和「深度學(xué)習(xí)三巨頭」之一的 Bengio 等一千多位學(xué)界業(yè)界人士，聯(lián)名呼吁叫停 AI 大模型研究的新聞,，刷屏網(wǎng)絡(luò)，掀起軒然大波,。

GPT 的研究會(huì)被叫停嗎,？在學(xué)界業(yè)界看來(lái),，AI 真的會(huì)對(duì)人類產(chǎn)生威脅嗎？這封聯(lián)名信是證據(jù)鑿鑿的警示還是徒有恐慌的噱頭,？支持者,、反對(duì)者紛紛表態(tài)，吵作一團(tuán),。

在混亂中,，我們發(fā)現(xiàn)，這份聯(lián)名信的真實(shí)性和有效性都存在問(wèn)題,。很多位列署名區(qū)的人們,，連他們自己都不知道簽署了這封聯(lián)名信。

另一方面,，聯(lián)名信本身的內(nèi)容也值得商榷,，呼吁人們重視 AI 安全性的問(wèn)題當(dāng)然沒(méi)錯(cuò)，可叫停 AI 研究 6 個(gè)月，甚至呼吁政府介入,，等待相關(guān)規(guī)則,、共識(shí)的制定。這種天真且不切實(shí)際的做法,，在科技發(fā)展的歷史上實(shí)屬少見(jiàn),。

與此同時(shí)，不少人發(fā)現(xiàn),，OpenAI 開(kāi)放了一批 GPT-4 API 的接口申請(qǐng),，開(kāi)發(fā)者們正興奮地想要將這轟動(dòng)世界的技術(shù)成功應(yīng)用在他們的產(chǎn)品中。Pre AGI 時(shí)代的序幕,，已經(jīng)緩緩拉開(kāi),。

AI 會(huì)停下來(lái)嗎？AI 能停下來(lái)嗎,？

又或者像網(wǎng)友所說(shuō)的,，你想要叫停福特 A 型車的量產(chǎn)嗎？

在福特 T 型車退出市場(chǎng)后，A 型車幫助福特重新奪回汽車銷量的頭把交椅,。

截至發(fā)稿前,，F(xiàn)ounder Park 發(fā)現(xiàn)，聯(lián)名信簽名人數(shù)從 1125 減少為 1123 人,。

注：極客公園記者凌梓郡對(duì)本文亦有貢獻(xiàn),。

01

聯(lián)名信說(shuō)了什么？

在 Future of Life Institute（FLI）的官網(wǎng)上,，有著公開(kāi)信的全文內(nèi)容,，總結(jié)如下：

公開(kāi)信呼吁所有人工智能實(shí)驗(yàn)室，至少在 6 個(gè)月內(nèi)立即暫停訓(xùn)練比 GPT-4 更強(qiáng)大的人工智能系統(tǒng)研究包括當(dāng)前正在訓(xùn)練的 GPT-5,。

這封信認(rèn)為,，具有人類競(jìng)爭(zhēng)力的人工智能系統(tǒng)可能對(duì)社會(huì)和人類構(gòu)成深刻的風(fēng)險(xiǎn)，因?yàn)檫@已經(jīng)得到了廣泛的研究并得到了頂級(jí)人工智能實(shí)驗(yàn)室的認(rèn)可,。

此外,，該信還呼吁 AI 實(shí)驗(yàn)室和獨(dú)立研究者們，利用這個(gè)暫停時(shí)間共同開(kāi)發(fā)和實(shí)施一套共享的高級(jí) AI 設(shè)計(jì)和開(kāi)發(fā)安全協(xié)議,，并由獨(dú)立外部專家進(jìn)行嚴(yán)格審核和監(jiān)督,。這些協(xié)議應(yīng)確保遵守這些協(xié)議的系統(tǒng)是安全的，而且必須有充分的理由證明這種信心,，并隨著系統(tǒng)潛在影響的大小而增加,。

02

發(fā)起方是誰(shuí)？

Future of Life Institute：生命未來(lái)研究所創(chuàng)立于 2014 年 3 月，創(chuàng)始人為麻省理工學(xué)院宇宙學(xué)家馬克斯·泰格馬克,，Skype 聯(lián)合創(chuàng)始人讓·塔林,，哈佛大學(xué)博士生維多利亞·克拉科夫那（Viktoriya Krakovna），波士頓大學(xué)博士生,、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學(xué)圣克魯茲分校宇宙學(xué)家安東尼·阿吉雷,。

官網(wǎng)上介紹的公司使命是：

保護(hù)生命的未來(lái)，某些技術(shù)的開(kāi)發(fā)和使用對(duì)地球上的所有生命有著深遠(yuǎn)的影響,。目前,，人工智能、生物技術(shù)和核技術(shù)就是這種情況,。

如果管理得當(dāng),，這些技術(shù)可以改變世界，使今天活著的人和所有尚未出生的人的生活大大改善,。它們可以被用來(lái)治療和消除疾病,，加強(qiáng)民主進(jìn)程，以及緩解--甚至阻止--氣候變化,。

如果管理不當(dāng),，它們可能會(huì)起到相反的作用。它們可能產(chǎn)生災(zāi)難性的事件,，使人類屈服,，甚至可能將我們推向滅絕的邊緣。

生命未來(lái)研究所的使命是引導(dǎo)變革性技術(shù)遠(yuǎn)離極端,、大規(guī)模的風(fēng)險(xiǎn),，并使之有益于生命。

03

誰(shuí)簽署了聯(lián)名信,？

截至北京時(shí)間 3 月 29 日下午 16 點(diǎn)，公開(kāi)信簽名人數(shù)為 1125 人,，我們整理了其中比較知名的一些學(xué)者和科技行業(yè)的從業(yè)人士等,。

Yoshua Bengio：約書亞·本吉奧，加拿大計(jì)算機(jī)科學(xué)家,，因其在人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方面的研究而知名,。本希奧與杰弗里·辛頓和楊立昆一起獲得 2018 年的圖靈獎(jiǎng)，以表彰他們?cè)谏疃葘W(xué)習(xí)方面的貢獻(xiàn),。這三位也被稱為「圖靈三巨頭」,。

Stuart Russell：加州大學(xué)伯克利分校人工智能統(tǒng)計(jì)中心創(chuàng)始人兼計(jì)算機(jī)科學(xué)專業(yè)教授，一直關(guān)注人工智能領(lǐng)域的發(fā)展,。同時(shí),，他還是人工智能領(lǐng)域里標(biāo)準(zhǔn)教科書《人工智能：現(xiàn)代方法》的作者。

Elon Musk：埃隆·馬斯克，眾所周知,，SpaceX,、特斯拉和 Twitter 的 CEO，OpenAI 的前股東,。

Steve Wozniak：史蒂夫·沃茲尼亞克,，蘋果公司聯(lián)合創(chuàng)始人。

Yuval Noah Harari：尤瓦爾·赫拉利,，耶路撒冷希伯來(lái)大學(xué)的歷史系教授,，《人類簡(jiǎn)史》三部曲作者。

Andrew Yang：楊安澤,，前進(jìn)黨創(chuàng)始人暨現(xiàn)任該黨共同黨主席,，美國(guó)創(chuàng)業(yè)組織創(chuàng)始人、2020 年美國(guó)總統(tǒng)選舉民主黨初選候選人,。

Jaan Tallinn：讓·塔林,，Skype 聯(lián)合創(chuàng)始人,，也是這封公開(kāi)信的發(fā)起網(wǎng)站 Future of Life 的創(chuàng)始人之一,。

Evan Sharp：伊文·夏普，Pinterest 聯(lián)合創(chuàng)始人,。

Emad Mostaque：Stability AI 創(chuàng)始人,，Stability AI 成立于 2019 年,，目前已經(jīng)是估值超過(guò) 10 億美元的獨(dú)角獸企業(yè)，旗下產(chǎn)品有 Stable Diffusion 等,，Stable Diffusion 是近期熱門的文本生成圖片的應(yīng)用,。

John J Hopfield：約翰·約瑟夫·霍普菲爾德，美國(guó)科學(xué)家,，1982 年發(fā)明了聯(lián)想神經(jīng)網(wǎng)絡(luò),，現(xiàn)在通常稱為霍普菲爾德網(wǎng)絡(luò)。

Rachel Bronson：雷切爾·布朗森,，《原子科學(xué)家公報(bào)》總裁兼首席執(zhí)行官,。《原子科學(xué)家公報(bào)》由知名物理學(xué)家阿爾伯特·愛(ài)因斯坦 (Albert Einstein) 和羅伯特·奧本海默（Robert Oppenheimer）等物理學(xué)家于 1945 年創(chuàng)立,，負(fù)責(zé)管理「末日時(shí)鐘」的倒計(jì)時(shí)情況,。

Max Tegmark：馬克斯·泰格馬克，宇宙學(xué)家,，現(xiàn)為麻省理工學(xué)院教授,、基礎(chǔ)問(wèn)題研究所科學(xué)主任。生命未來(lái)研究所的創(chuàng)始人之一,。

Victoria Krakovna：DeepMind 的研究科學(xué)家,，也是生命未來(lái)研究所的創(chuàng)始人之一,。DeepMind 是一家英國(guó)的人工智能公司，2014 年被 Google 收購(gòu),，2016 年他們開(kāi)發(fā)的 AlphaGo 打敗了李世石,，引起不小的反響。

我們實(shí)測(cè)了提交簽名的流程,，在提交了個(gè)人姓名（杜撰了一個(gè)）和郵箱后,，會(huì)收到這樣的提示，暫時(shí)不確認(rèn)后續(xù)的人工確認(rèn)流程是怎樣的,。

03

聯(lián)名信有哪些問(wèn)題,？

三巨頭的另外兩位

深度學(xué)習(xí)學(xué)界三巨頭的表態(tài)必然會(huì)引人關(guān)注,，Yoshua Bengio 的名字赫然列在聯(lián)名者的第一位，那么另外兩位態(tài)度如何呢,？

泰斗級(jí)的 Hinton 還沒(méi)有公開(kāi)表態(tài),，但他對(duì) OpenAI 的研究成果一直大加褒獎(jiǎng)。

LeCun 的表態(tài)更加清晰,。

有人在推特上轉(zhuǎn)發(fā)這封聯(lián)名信,，@LeCun 說(shuō)他和「深度學(xué)習(xí)三巨頭」的另一位 Benjio 都簽署了這封聯(lián)名信。

Lecun 很快轉(zhuǎn)發(fā)回應(yīng)：「沒(méi)有,。我沒(méi)有簽署這封信,。我不同意他的前提?！?/span>

據(jù)行業(yè)觀察者猜測(cè),，LeCun 所說(shuō)的前提,，也許來(lái)源于兩方面。

一是所謂「失控的軍備競(jìng)賽」,，LeCun 作為 Meta AI 研究的門面,，顯然是參與者之一，一個(gè)月前他還在推特上推廣 Meta 的大語(yǔ)言模型 LLaMA,；

二是對(duì)于當(dāng)下 LLM 的研究方向，LeCun 一直保持懷疑,，在 ChatGPT 剛剛引起公眾關(guān)注的時(shí)候,，他就表示其底層技術(shù)沒(méi)有了不起的創(chuàng)新，只是一款組合很好的產(chǎn)品而已,?！杆鼈冇悬c(diǎn)像那些死記硬背地學(xué)習(xí)了材料但還沒(méi)有真正建立起潛在現(xiàn)實(shí)的深刻心智模型的學(xué)生,。」

Sam Altman 的表態(tài)

在推特上,，廣為流傳一張 OpenAI CEO Sam Altman 參與簽署的截圖,。

但當(dāng)我們現(xiàn)在去聯(lián)名人中搜索 Sam Altman 的名字時(shí)，已經(jīng)找不到了,。另外,，截圖中有 typo，i 應(yīng)該是大寫 I,。

這也許意味著聯(lián)名信初期并沒(méi)有嚴(yán)格的信息核查機(jī)制,，填報(bào)聯(lián)名的人并沒(méi)有確認(rèn)真實(shí)身份。借用名人（甚至很多跟 AI 沒(méi)關(guān)系的名人）,。

Sam Altman 近期的確討論過(guò)關(guān)于 AI 安全性的問(wèn)題,。在著名播客,、YouTuber Lex Fridman 的訪談中，他表示 AI 的確存在偏見(jiàn),、人類失業(yè)等問(wèn)題,，但唯一的解法是 AI 不斷迭代，盡早學(xué)習(xí),，盡量避免「只有一次機(jī)會(huì),、必須做對(duì)」的情境。

這一話題的前提是,，在訪談開(kāi)頭,，Sam Altman 表達(dá)了他對(duì) GPT-4 的看法：

「未來(lái)當(dāng)我們回頭看的時(shí)候，我們會(huì)認(rèn)為 GPT-4 是一個(gè)非常早期的人工智能（AI）,，它的處理速度緩慢,，有很多 Bug，很多事都做不太好,?？墒牵缙诘挠?jì)算機(jī)也是這樣,。它們需要幾十年時(shí)間的演進(jìn),，但在當(dāng)時(shí)仍然指明了一條道路，通往一些對(duì)我們的生活非常重要的東西,?！?/span>

其他值得關(guān)注的署名者

毫無(wú)疑問(wèn)，「暫停訓(xùn)練比 GPT-4 更強(qiáng)大的 AI 系統(tǒng)」首先會(huì)影響的就是 OpenAI 接下來(lái)的技術(shù)進(jìn)展,。而這對(duì)部分署名者而言,，并不是一件壞事,。

比如馬斯克。

他正在計(jì)劃組建自己的 AI 研究實(shí)驗(yàn)室,，開(kāi)發(fā) ChatGPT 的替代品,。過(guò)去幾個(gè)月，馬斯克對(duì) OpenAI 相關(guān)信息狂轟亂炸,，一會(huì)兒強(qiáng)調(diào) AI 安全性的問(wèn)題,，一會(huì)兒又在酸微軟投資 100 億拿到了 OpenAI 的代碼庫(kù)，而他作為第一位投資者,，什么都沒(méi)有得到,。

而一個(gè)事實(shí)是，馬斯克當(dāng)初退出 OpenAI,，是因?yàn)樘厮估?AI 領(lǐng)域的研究與當(dāng)時(shí)還是開(kāi)源非盈利組織的 OpenAI 的想法背道而馳,。

「我仍然很困惑，一個(gè)我捐贈(zèng)了 1 億美元的非營(yíng)利組織是如何變成一個(gè)市值 300 億美元的營(yíng)利性組織的,?！?/span>

另一個(gè)位于前列的署名者是 Stability AI 的創(chuàng)始人 Emad Mostaque。

他在去年的采訪中曾表示,，未來(lái)模型會(huì)實(shí)現(xiàn)在視覺(jué)和語(yǔ)言等不同模態(tài)之間的信息流通,，到那時(shí)候，人們說(shuō)話時(shí)就可以制作出精美的 PPT,，這已經(jīng)被微軟實(shí)現(xiàn),。Open AI 的發(fā)展速度也給他帶來(lái)了某種慌亂。ChatGPT 讓人工智能行業(yè)的競(jìng)爭(zhēng)加劇,，他曾給員工發(fā)短信:「你們都會(huì)在 2023 年死去,。」

一直跟 LeCun 對(duì)戰(zhàn)的計(jì)算機(jī)科學(xué)家 Gary Marcus 也參與了簽名,，但這次他的態(tài)度有所不同,。

紐約大學(xué)教授 Gary Marcus（蓋瑞·馬庫(kù)斯）一直是深度學(xué)習(xí)和大預(yù)言模型的反對(duì)者，他認(rèn)為依靠海量數(shù)據(jù)來(lái)喂食大模型雖然會(huì)繼續(xù)發(fā)展,，但永遠(yuǎn)無(wú)法達(dá)到通用 AI 所需要的能力,。在他看來(lái)，目前的通用 AI 的研發(fā)是一條死路,。

他在之前與 LeCun 的關(guān)于人工智能的爭(zhēng)論廣為人知,，Marcus 在 2022 年公開(kāi)表示「深度學(xué)習(xí)撞墻了」，引來(lái)了深度學(xué)習(xí)三巨頭中 Hinton 和 LeCun 的反駁,。

不過(guò)這一次,，他雖然簽名了，卻在自己的 Substack 上表示,，他擔(dān)心的不是 LLM 變成真正的通用人工智能的風(fēng)險(xiǎn),，而是現(xiàn)在仍然不可靠但被廣泛部署的中等人工智能（New Bing 和 GPT-4）帶來(lái)的風(fēng)險(xiǎn)。

還有暢銷書作家,，《人類簡(jiǎn)史》《未來(lái)簡(jiǎn)史》的作者尤瓦爾·赫拉利,。

他一直在關(guān)注 AI 發(fā)展的臨界點(diǎn)何時(shí)到來(lái)。在 2021 年嘗試了 GPT-3 之后,，就對(duì) AI 智能的影響有所警醒,，他曾在《人類簡(jiǎn)史》出版十周年之際寫到，「很快,，人工智能就能比我們更近了解我們自己,。它是會(huì)繼續(xù)做我們手中的工具，還是我們會(huì)成為它的工具呢,？」

幾天前,，他剛剛在《紐約時(shí)報(bào)》發(fā)表文章，《你可以吃藍(lán)藥丸或紅藥丸,，但是我們快沒(méi)有藍(lán)藥丸了》,。

文章中討論了人工智能對(duì)人類的威脅，特別是 ChatGPT,。他認(rèn)為,，ChatGPT 可能會(huì)被用來(lái)制造虛假信息、操縱人們的情感和行為,、甚至取代人類的創(chuàng)造力和智慧,。他呼吁人類采取措施，保護(hù)自己免受人工智能的侵害,，同時(shí)利用它的優(yōu)勢(shì),。他建議人類升級(jí)自己的教育、政治和倫理制度,，以適應(yīng)人工智能的世界,，并學(xué)會(huì)掌控人工智能，而不是被它掌控,。

聲明全文

以下為 ChatGPT 翻譯版本,，經(jīng)人工編輯初校。

人類智能競(jìng)爭(zhēng)型的 AI 系統(tǒng)可能會(huì)對(duì)社會(huì)和人類構(gòu)成深刻的風(fēng)險(xiǎn),，這已經(jīng)得到廣泛的研究和頂級(jí) AI 實(shí)驗(yàn)室的承認(rèn),。如阿西洛馬人工智能原則所述，先進(jìn)的 AI 可能代表著地球生命歷史的深刻變革,，應(yīng)該通過(guò)相應(yīng)的謹(jǐn)慎和資源規(guī)劃和管理,。但是，即使最近幾個(gè)月 AI 實(shí)驗(yàn)室陷入了一場(chǎng)失控的競(jìng)賽,，試圖開(kāi)發(fā)和部署越來(lái)越強(qiáng)大的數(shù)字智能,，甚至連他們的創(chuàng)造者都無(wú)法理解,、預(yù)測(cè)或可靠地控制的智能，但我們并沒(méi)有看到此類規(guī)劃和管理的出現(xiàn),。

現(xiàn)代 AI 系統(tǒng)正在成為一般任務(wù)中具有人類競(jìng)爭(zhēng)力的系統(tǒng),，我們必須問(wèn)我們自己：我們是否應(yīng)讓機(jī)器用宣傳和不實(shí)言論淹沒(méi)我們的信息渠道？我們是否應(yīng)該自動(dòng)化所有的工作,，包括那些充實(shí)的工作,？我們是否應(yīng)該開(kāi)發(fā)非人類的頭腦，最終比我們更多,、更聰明,，更過(guò)時(shí)、更能替代我們,？我們是否應(yīng)該冒失失去對(duì)我們文明的控制,？這些決定不應(yīng)該被委托給非民選的技術(shù)領(lǐng)導(dǎo)人。只有當(dāng)我們確信它們的影響將是積極的,，它們的風(fēng)險(xiǎn)將是可管理的時(shí)候,，才應(yīng)該開(kāi)發(fā)強(qiáng)大的 AI 系統(tǒng)。這種信心必須得到很好的證明,，并隨著一個(gè)系統(tǒng)潛在影響的大小而增加,。OpenAI 最近在關(guān)于人工通用智能的聲明中指出，「在某個(gè)時(shí)刻,，可能有必要在開(kāi)始訓(xùn)練未來(lái)的系統(tǒng)之前進(jìn)行獨(dú)立審查,，并對(duì)創(chuàng)建新模型所使用的計(jì)算速度進(jìn)行限制」。我們同意?，F(xiàn)在就是那個(gè)時(shí)候,。

因此，我們呼吁所有 AI 實(shí)驗(yàn)室立即暫停訓(xùn)練比 GPT-4 更強(qiáng)大的 AI 系統(tǒng),，至少暫停 6 個(gè)月,。暫停應(yīng)該是公開(kāi)和可驗(yàn)證的，包括所有關(guān)鍵角色,。如果不能迅速實(shí)施這樣的暫停,，政府應(yīng)該介入并實(shí)施停止令。

AI 實(shí)驗(yàn)室和獨(dú)立專家應(yīng)該利用這個(gè)暫停,，共同開(kāi)發(fā)和實(shí)施一套共享的安全協(xié)議,，用獨(dú)立的外部專家嚴(yán)格審核和監(jiān)督。這些協(xié)議應(yīng)確保符合它們的系統(tǒng)是安全的,，超越了合理懷疑的范圍,。這并不意味著 AI 開(kāi)發(fā)的總體暫停，而僅僅是從危險(xiǎn)的競(jìng)賽中暫停，邁向更精確,、更安全,、更可解釋、更透明,、更強(qiáng)大,、更可靠和更忠誠(chéng)的現(xiàn)有先進(jìn)系統(tǒng)。

與此同時(shí),，AI 開(kāi)發(fā)者必須與決策者合作，大大加速健全 AI 治理體系的發(fā)展,。這至少應(yīng)包括：新的,、有能力的針對(duì) AI 的監(jiān)管機(jī)構(gòu)，對(duì)高度能力的 AI 系統(tǒng)和大量計(jì)算能力進(jìn)行監(jiān)視和跟蹤的機(jī)構(gòu),；可以幫助區(qū)分真實(shí)和合成并追蹤模型泄漏的來(lái)源和水印系統(tǒng),；健全的審計(jì)和認(rèn)證生態(tài)系統(tǒng)；對(duì)由 AI 造成的傷害負(fù)責(zé)的責(zé)任制,；強(qiáng)有力的公共資金支持技術(shù) AI 安全研究,；以及處理對(duì)民主產(chǎn)生巨大經(jīng)濟(jì)和政治破壞的機(jī)構(gòu)。

人類可以享有 AI 帶來(lái)的繁榮未來(lái),。我們已經(jīng)成功創(chuàng)造出強(qiáng)大的 AI 系統(tǒng),，現(xiàn)在我們可以收獲回報(bào)，把這些系統(tǒng)設(shè)計(jì)為真正有益于所有人的系統(tǒng),，并給社會(huì)一個(gè)適應(yīng)的機(jī)會(huì),。社會(huì)已經(jīng)在其他可能對(duì)社會(huì)產(chǎn)生災(zāi)難性影響的技術(shù)上暫停了。在這里我們也能這樣做,。讓我們享受長(zhǎng)長(zhǎng)的 AI 夏季,，不要冒失地進(jìn)入秋季。

極客一問(wèn)

你認(rèn)為有必要叫停 AI 研究嗎,？