Pre AGI 時代的第一場大型輿論「鬧劇」,。

馬斯克和「深度學(xué)習(xí)三巨頭」之一的 Bengio 等一千多位學(xué)界業(yè)界人士,，聯(lián)名呼吁叫停 AI 大模型研究的新聞,，刷屏網(wǎng)絡(luò)，掀起軒然大波,。

GPT 的研究會被叫停嗎,？在學(xué)界業(yè)界看來,，AI 真的會對人類產(chǎn)生威脅嗎？這封聯(lián)名信是證據(jù)鑿鑿的警示還是徒有恐慌的噱頭,？支持者,、反對者紛紛表態(tài)，吵作一團,。

在混亂中,，我們發(fā)現(xiàn)，這份聯(lián)名信的真實性和有效性都存在問題,。很多位列署名區(qū)的人們,，連他們自己都不知道簽署了這封聯(lián)名信。

另一方面，聯(lián)名信本身的內(nèi)容也值得商榷,，呼吁人們重視 AI 安全性的問題當(dāng)然沒錯,，可叫停 AI 研究 6 個月,，甚至呼吁政府介入,，等待相關(guān)規(guī)則、共識的制定,。這種天真且不切實際的做法,，在科技發(fā)展的歷史上實屬少見。

與此同時,，不少人發(fā)現(xiàn),，OpenAI 開放了一批 GPT-4 API 的接口申請，開發(fā)者們正興奮地想要將這轟動世界的技術(shù)成功應(yīng)用在他們的產(chǎn)品中,。Pre AGI 時代的序幕,，已經(jīng)緩緩拉開。

AI 會停下來嗎,？AI 能停下來嗎,？

又或者像網(wǎng)友所說的，你想要叫停福特 A 型車的量產(chǎn)嗎,？

在福特 T 型車退出市場后,，A 型車幫助福特重新奪回汽車銷量的頭把交椅,。

截至發(fā)稿前，F(xiàn)ounder Park 發(fā)現(xiàn),，聯(lián)名信簽名人數(shù)從 1125 減少為 1123 人,。

注：極客公園記者凌梓郡對本文亦有貢獻。

01

聯(lián)名信說了什么,？

在 Future of Life Institute（FLI）的官網(wǎng)上,，有著公開信的全文內(nèi)容，總結(jié)如下：

公開信呼吁所有人工智能實驗室,，至少在 6 個月內(nèi)立即暫停訓(xùn)練比 GPT-4 更強大的人工智能系統(tǒng)研究包括當(dāng)前正在訓(xùn)練的 GPT-5,。

這封信認(rèn)為，具有人類競爭力的人工智能系統(tǒng)可能對社會和人類構(gòu)成深刻的風(fēng)險,，因為這已經(jīng)得到了廣泛的研究并得到了頂級人工智能實驗室的認(rèn)可,。

此外，該信還呼吁 AI 實驗室和獨立研究者們,，利用這個暫停時間共同開發(fā)和實施一套共享的高級 AI 設(shè)計和開發(fā)安全協(xié)議,，并由獨立外部專家進行嚴(yán)格審核和監(jiān)督。這些協(xié)議應(yīng)確保遵守這些協(xié)議的系統(tǒng)是安全的，而且必須有充分的理由證明這種信心,，并隨著系統(tǒng)潛在影響的大小而增加,。

02

發(fā)起方是誰？

Future of Life Institute：生命未來研究所創(chuàng)立于 2014 年 3 月,，創(chuàng)始人為麻省理工學(xué)院宇宙學(xué)家馬克斯·泰格馬克,，Skype 聯(lián)合創(chuàng)始人讓·塔林，哈佛大學(xué)博士生維多利亞·克拉科夫那（Viktoriya Krakovna）,，波士頓大學(xué)博士生,、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學(xué)圣克魯茲分校宇宙學(xué)家安東尼·阿吉雷。

官網(wǎng)上介紹的公司使命是：

保護生命的未來,，某些技術(shù)的開發(fā)和使用對地球上的所有生命有著深遠的影響,。目前，人工智能,、生物技術(shù)和核技術(shù)就是這種情況,。

如果管理得當(dāng)，這些技術(shù)可以改變世界,，使今天活著的人和所有尚未出生的人的生活大大改善,。它們可以被用來治療和消除疾病，加強民主進程,，以及緩解--甚至阻止--氣候變化,。

如果管理不當(dāng)，它們可能會起到相反的作用,。它們可能產(chǎn)生災(zāi)難性的事件,，使人類屈服，甚至可能將我們推向滅絕的邊緣,。

生命未來研究所的使命是引導(dǎo)變革性技術(shù)遠離極端,、大規(guī)模的風(fēng)險，并使之有益于生命,。

03

誰簽署了聯(lián)名信,？

截至北京時間 3 月 29 日下午 16 點，公開信簽名人數(shù)為 1125 人,，我們整理了其中比較知名的一些學(xué)者和科技行業(yè)的從業(yè)人士等,。

Yoshua Bengio：約書亞·本吉奧，加拿大計算機科學(xué)家,，因其在人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方面的研究而知名,。本希奧與杰弗里·辛頓和楊立昆一起獲得 2018 年的圖靈獎，以表彰他們在深度學(xué)習(xí)方面的貢獻,。這三位也被稱為「圖靈三巨頭」,。

Stuart Russell：加州大學(xué)伯克利分校人工智能統(tǒng)計中心創(chuàng)始人兼計算機科學(xué)專業(yè)教授，一直關(guān)注人工智能領(lǐng)域的發(fā)展。同時,，他還是人工智能領(lǐng)域里標(biāo)準(zhǔn)教科書《人工智能：現(xiàn)代方法》的作者,。

Elon Musk：埃隆·馬斯克，眾所周知,，SpaceX,、特斯拉和 Twitter 的 CEO，OpenAI 的前股東,。

Steve Wozniak：史蒂夫·沃茲尼亞克,，蘋果公司聯(lián)合創(chuàng)始人,。

Yuval Noah Harari：尤瓦爾·赫拉利,，耶路撒冷希伯來大學(xué)的歷史系教授，《人類簡史》三部曲作者,。

Andrew Yang：楊安澤,，前進黨創(chuàng)始人暨現(xiàn)任該黨共同黨主席，美國創(chuàng)業(yè)組織創(chuàng)始人,、2020 年美國總統(tǒng)選舉民主黨初選候選人,。

Jaan Tallinn：讓·塔林，Skype 聯(lián)合創(chuàng)始人,，也是這封公開信的發(fā)起網(wǎng)站 Future of Life 的創(chuàng)始人之一,。

Evan Sharp：伊文·夏普，Pinterest 聯(lián)合創(chuàng)始人,。

Emad Mostaque：Stability AI 創(chuàng)始人,，Stability AI 成立于 2019 年，目前已經(jīng)是估值超過 10 億美元的獨角獸企業(yè),，旗下產(chǎn)品有 Stable Diffusion 等,，Stable Diffusion 是近期熱門的文本生成圖片的應(yīng)用。

John J Hopfield：約翰·約瑟夫·霍普菲爾德,，美國科學(xué)家,，1982 年發(fā)明了聯(lián)想神經(jīng)網(wǎng)絡(luò)，現(xiàn)在通常稱為霍普菲爾德網(wǎng)絡(luò),。

Rachel Bronson：雷切爾·布朗森,，《原子科學(xué)家公報》總裁兼首席執(zhí)行官?！对涌茖W(xué)家公報》由知名物理學(xué)家阿爾伯特·愛因斯坦 (Albert Einstein) 和羅伯特·奧本海默（Robert Oppenheimer）等物理學(xué)家于 1945 年創(chuàng)立,，負(fù)責(zé)管理「末日時鐘」的倒計時情況。

Max Tegmark：馬克斯·泰格馬克,，宇宙學(xué)家,，現(xiàn)為麻省理工學(xué)院教授、基礎(chǔ)問題研究所科學(xué)主任。生命未來研究所的創(chuàng)始人之一,。

Victoria Krakovna：DeepMind 的研究科學(xué)家,，也是生命未來研究所的創(chuàng)始人之一。DeepMind 是一家英國的人工智能公司,，2014 年被 Google 收購,，2016 年他們開發(fā)的 AlphaGo 打敗了李世石，引起不小的反響,。

我們實測了提交簽名的流程,，在提交了個人姓名（杜撰了一個）和郵箱后，會收到這樣的提示,，暫時不確認(rèn)后續(xù)的人工確認(rèn)流程是怎樣的,。

03

聯(lián)名信有哪些問題,？

三巨頭的另外兩位

深度學(xué)習(xí)學(xué)界三巨頭的表態(tài)必然會引人關(guān)注，Yoshua Bengio 的名字赫然列在聯(lián)名者的第一位,，那么另外兩位態(tài)度如何呢,？

泰斗級的 Hinton 還沒有公開表態(tài)，但他對 OpenAI 的研究成果一直大加褒獎,。

LeCun 的表態(tài)更加清晰,。

有人在推特上轉(zhuǎn)發(fā)這封聯(lián)名信，@LeCun 說他和「深度學(xué)習(xí)三巨頭」的另一位 Benjio 都簽署了這封聯(lián)名信,。

Lecun 很快轉(zhuǎn)發(fā)回應(yīng)：「沒有,。我沒有簽署這封信。我不同意他的前提,?！?/span>

據(jù)行業(yè)觀察者猜測,，LeCun 所說的前提，也許來源于兩方面,。

一是所謂「失控的軍備競賽」,，LeCun 作為 Meta AI 研究的門面，顯然是參與者之一,，一個月前他還在推特上推廣 Meta 的大語言模型 LLaMA,；

二是對于當(dāng)下 LLM 的研究方向，LeCun 一直保持懷疑,，在 ChatGPT 剛剛引起公眾關(guān)注的時候,，他就表示其底層技術(shù)沒有了不起的創(chuàng)新,，只是一款組合很好的產(chǎn)品而已?！杆鼈冇悬c像那些死記硬背地學(xué)習(xí)了材料但還沒有真正建立起潛在現(xiàn)實的深刻心智模型的學(xué)生,。」

Sam Altman 的表態(tài)

在推特上,，廣為流傳一張 OpenAI CEO Sam Altman 參與簽署的截圖,。

但當(dāng)我們現(xiàn)在去聯(lián)名人中搜索 Sam Altman 的名字時，已經(jīng)找不到了,。另外,，截圖中有 typo，i 應(yīng)該是大寫 I,。

這也許意味著聯(lián)名信初期并沒有嚴(yán)格的信息核查機制,，填報聯(lián)名的人并沒有確認(rèn)真實身份。借用名人（甚至很多跟 AI 沒關(guān)系的名人）,。

Sam Altman 近期的確討論過關(guān)于 AI 安全性的問題,。在著名播客、YouTuber Lex Fridman 的訪談中,，他表示 AI 的確存在偏見,、人類失業(yè)等問題，但唯一的解法是 AI 不斷迭代,，盡早學(xué)習(xí),，盡量避免「只有一次機會、必須做對」的情境,。

這一話題的前提是,，在訪談開頭，Sam Altman 表達了他對 GPT-4 的看法：

「未來當(dāng)我們回頭看的時候,，我們會認(rèn)為 GPT-4 是一個非常早期的人工智能（AI）,，它的處理速度緩慢，有很多 Bug,，很多事都做不太好,。可是,，早期的計算機也是這樣,。它們需要幾十年時間的演進，但在當(dāng)時仍然指明了一條道路,，通往一些對我們的生活非常重要的東西,?！?/span>

其他值得關(guān)注的署名者

毫無疑問，「暫停訓(xùn)練比 GPT-4 更強大的 AI 系統(tǒng)」首先會影響的就是 OpenAI 接下來的技術(shù)進展,。而這對部分署名者而言,，并不是一件壞事。

比如馬斯克,。

他正在計劃組建自己的 AI 研究實驗室,，開發(fā) ChatGPT 的替代品。過去幾個月,，馬斯克對 OpenAI 相關(guān)信息狂轟亂炸,，一會兒強調(diào) AI 安全性的問題，一會兒又在酸微軟投資 100 億拿到了 OpenAI 的代碼庫,，而他作為第一位投資者,，什么都沒有得到。

而一個事實是,，馬斯克當(dāng)初退出 OpenAI,，是因為特斯拉在 AI 領(lǐng)域的研究與當(dāng)時還是開源非盈利組織的 OpenAI 的想法背道而馳。

「我仍然很困惑,，一個我捐贈了 1 億美元的非營利組織是如何變成一個市值 300 億美元的營利性組織的,。」

另一個位于前列的署名者是 Stability AI 的創(chuàng)始人 Emad Mostaque,。

他在去年的采訪中曾表示,，未來模型會實現(xiàn)在視覺和語言等不同模態(tài)之間的信息流通，到那時候,，人們說話時就可以制作出精美的 PPT,，這已經(jīng)被微軟實現(xiàn)。Open AI 的發(fā)展速度也給他帶來了某種慌亂,。ChatGPT 讓人工智能行業(yè)的競爭加劇,，他曾給員工發(fā)短信:「你們都會在 2023 年死去?！?/span>

一直跟 LeCun 對戰(zhàn)的計算機科學(xué)家 Gary Marcus 也參與了簽名,，但這次他的態(tài)度有所不同。

紐約大學(xué)教授 Gary Marcus（蓋瑞·馬庫斯）一直是深度學(xué)習(xí)和大預(yù)言模型的反對者,，他認(rèn)為依靠海量數(shù)據(jù)來喂食大模型雖然會繼續(xù)發(fā)展,，但永遠無法達到通用 AI 所需要的能力。在他看來,，目前的通用 AI 的研發(fā)是一條死路,。

他在之前與 LeCun 的關(guān)于人工智能的爭論廣為人知，Marcus 在 2022 年公開表示「深度學(xué)習(xí)撞墻了」,，引來了深度學(xué)習(xí)三巨頭中 Hinton 和 LeCun 的反駁,。

不過這一次,，他雖然簽名了，卻在自己的 Substack 上表示,，他擔(dān)心的不是 LLM 變成真正的通用人工智能的風(fēng)險,，而是現(xiàn)在仍然不可靠但被廣泛部署的中等人工智能（New Bing 和 GPT-4）帶來的風(fēng)險。

還有暢銷書作家,，《人類簡史》《未來簡史》的作者尤瓦爾·赫拉利,。

他一直在關(guān)注 AI 發(fā)展的臨界點何時到來。在 2021 年嘗試了 GPT-3 之后,，就對 AI 智能的影響有所警醒,，他曾在《人類簡史》出版十周年之際寫到，「很快,，人工智能就能比我們更近了解我們自己,。它是會繼續(xù)做我們手中的工具，還是我們會成為它的工具呢,？」

幾天前,，他剛剛在《紐約時報》發(fā)表文章，《你可以吃藍藥丸或紅藥丸,，但是我們快沒有藍藥丸了》,。

文章中討論了人工智能對人類的威脅，特別是 ChatGPT,。他認(rèn)為,，ChatGPT 可能會被用來制造虛假信息、操縱人們的情感和行為,、甚至取代人類的創(chuàng)造力和智慧。他呼吁人類采取措施,，保護自己免受人工智能的侵害,，同時利用它的優(yōu)勢。他建議人類升級自己的教育,、政治和倫理制度,，以適應(yīng)人工智能的世界，并學(xué)會掌控人工智能,，而不是被它掌控,。

聲明全文

以下為 ChatGPT 翻譯版本，經(jīng)人工編輯初校,。

人類智能競爭型的 AI 系統(tǒng)可能會對社會和人類構(gòu)成深刻的風(fēng)險,，這已經(jīng)得到廣泛的研究和頂級 AI 實驗室的承認(rèn)。如阿西洛馬人工智能原則所述,，先進的 AI 可能代表著地球生命歷史的深刻變革,，應(yīng)該通過相應(yīng)的謹(jǐn)慎和資源規(guī)劃和管理,。但是，即使最近幾個月 AI 實驗室陷入了一場失控的競賽,，試圖開發(fā)和部署越來越強大的數(shù)字智能,，甚至連他們的創(chuàng)造者都無法理解、預(yù)測或可靠地控制的智能,，但我們并沒有看到此類規(guī)劃和管理的出現(xiàn),。

現(xiàn)代 AI 系統(tǒng)正在成為一般任務(wù)中具有人類競爭力的系統(tǒng)，我們必須問我們自己：我們是否應(yīng)讓機器用宣傳和不實言論淹沒我們的信息渠道,？我們是否應(yīng)該自動化所有的工作,，包括那些充實的工作？我們是否應(yīng)該開發(fā)非人類的頭腦,，最終比我們更多,、更聰明，更過時,、更能替代我們,？我們是否應(yīng)該冒失失去對我們文明的控制？這些決定不應(yīng)該被委托給非民選的技術(shù)領(lǐng)導(dǎo)人,。只有當(dāng)我們確信它們的影響將是積極的,，它們的風(fēng)險將是可管理的時候，才應(yīng)該開發(fā)強大的 AI 系統(tǒng),。這種信心必須得到很好的證明,，并隨著一個系統(tǒng)潛在影響的大小而增加。OpenAI 最近在關(guān)于人工通用智能的聲明中指出,，「在某個時刻,，可能有必要在開始訓(xùn)練未來的系統(tǒng)之前進行獨立審查，并對創(chuàng)建新模型所使用的計算速度進行限制」,。我們同意?，F(xiàn)在就是那個時候。

因此,，我們呼吁所有 AI 實驗室立即暫停訓(xùn)練比 GPT-4 更強大的 AI 系統(tǒng),，至少暫停 6 個月。暫停應(yīng)該是公開和可驗證的,，包括所有關(guān)鍵角色,。如果不能迅速實施這樣的暫停，政府應(yīng)該介入并實施停止令,。

AI 實驗室和獨立專家應(yīng)該利用這個暫停,，共同開發(fā)和實施一套共享的安全協(xié)議，用獨立的外部專家嚴(yán)格審核和監(jiān)督,。這些協(xié)議應(yīng)確保符合它們的系統(tǒng)是安全的,，超越了合理懷疑的范圍,。這并不意味著 AI 開發(fā)的總體暫停，而僅僅是從危險的競賽中暫停,，邁向更精確,、更安全、更可解釋,、更透明,、更強大、更可靠和更忠誠的現(xiàn)有先進系統(tǒng),。

與此同時,，AI 開發(fā)者必須與決策者合作，大大加速健全 AI 治理體系的發(fā)展,。這至少應(yīng)包括：新的,、有能力的針對 AI 的監(jiān)管機構(gòu)，對高度能力的 AI 系統(tǒng)和大量計算能力進行監(jiān)視和跟蹤的機構(gòu),；可以幫助區(qū)分真實和合成并追蹤模型泄漏的來源和水印系統(tǒng),；健全的審計和認(rèn)證生態(tài)系統(tǒng)；對由 AI 造成的傷害負(fù)責(zé)的責(zé)任制,；強有力的公共資金支持技術(shù) AI 安全研究,；以及處理對民主產(chǎn)生巨大經(jīng)濟和政治破壞的機構(gòu)。

人類可以享有 AI 帶來的繁榮未來,。我們已經(jīng)成功創(chuàng)造出強大的 AI 系統(tǒng),，現(xiàn)在我們可以收獲回報，把這些系統(tǒng)設(shè)計為真正有益于所有人的系統(tǒng),，并給社會一個適應(yīng)的機會,。社會已經(jīng)在其他可能對社會產(chǎn)生災(zāi)難性影響的技術(shù)上暫停了。在這里我們也能這樣做,。讓我們享受長長的 AI 夏季,，不要冒失地進入秋季。

極客一問

你認(rèn)為有必要叫停 AI 研究嗎,？