6月10日，OpenAI創(chuàng )始人Sam Altman以視頻連線(xiàn)的方式現身于中國北京舉辦的2023智源人工智能大會(huì )，這是Altman首次對中國觀(guān)眾發(fā)表演講。

(資料圖片)

Altman在演講中引用了《道德經(jīng)》，談及大國合作，表示AI安全始于足下，各國間必須進(jìn)行合作和協(xié)調。

隨后Altman接受了智源研究院理事長(cháng)張宏江的一對一問(wèn)答。

張宏江博士目前任北京智源人工智能研究院理事長(cháng)，同時(shí)擔任多家公司的獨立董事和顧問(wèn)。曾任金山集團執行董事及首席執行官兼金山云的首席執行官，是微軟亞洲研究院創(chuàng )始人之一，曾擔任副院長(cháng)、微軟亞太研發(fā)集團（ARD）首席技術(shù)官及微軟亞洲工程院（ATC）院長(cháng)以及微軟“杰出科學(xué)家”。

加盟微軟之前，張宏江曾任美國硅谷的惠普實(shí)驗室任經(jīng)理；此前還在新加坡國立大學(xué)系統科學(xué)研究院工作。

Altman演講核心內容：

當下人工智能革命影響如此之大的原因，不僅在于其影響的規模，也是其進(jìn)展的速度。這同時(shí)帶來(lái)紅利和風(fēng)險。

隨著(zhù)日益強大的 AI 系統的出現，全球合作的重要性從未如此之大。在一些重要的大事上，各國間必須進(jìn)行合作和協(xié)調。推進(jìn) AGI 安全是我們需要找到共同利益點(diǎn)的最重要的領(lǐng)域之一。

對齊仍然是一個(gè)未解決的問(wèn)題。GPT-4 花了八個(gè)月的時(shí)間完成對齊方面的工作。但相關(guān)的研究還在升級，主要分為擴展性和可解釋性?xún)煞矫妗?/p>

問(wèn)答環(huán)節核心內容：

十年內人類(lèi)將擁有強大的人工智能系統（AI System）。

OpenAI沒(méi)有相關(guān)的新的有關(guān)開(kāi)源的時(shí)間表，開(kāi)源模型具有優(yōu)勢，但開(kāi)源一切可能并不是一條（促進(jìn)AI發(fā)展的）最佳路線(xiàn)。

看明白神經(jīng)網(wǎng)絡(luò )比看明白人類(lèi)腦子容易多了。

在某個(gè)時(shí)候，會(huì )嘗試做GPT-5的模型，但不會(huì )是很快。不知道具體GPT-5出現的時(shí)候。

AI安全需要中國研究者的參與和貢獻。

注：“AI對齊”是AI控制問(wèn)題中的最主要的問(wèn)題，即要求AI系統的目標要和人類(lèi)的價(jià)值觀(guān)與利益相對齊（保持一致）。

Sam Altman演講內容：

隨著(zhù)日益強大的人工智能系統的出現，全球合作的賭注從未如此之高。

如果我們不小心，一個(gè)旨在改善公共衛生結果的錯位的人工智能系統，可能會(huì )提供沒(méi)有根據的建議，從而擾亂整個(gè)醫療保健系統。同樣，為優(yōu)化農業(yè)生產(chǎn)而設計的人工智能系統可能會(huì )無(wú)意中耗盡自然資源或破壞生態(tài)系統，因為缺乏對影響糧食生產(chǎn)的長(cháng)期可持續性的考慮，這是一種環(huán)境平衡。

我希望我們都能同意，推進(jìn)AGI安全是我們需要共同努力，尋找共性的最重要領(lǐng)域之一。

我發(fā)言的其余部分將集中在我們可以從哪里開(kāi)始：1.第一個(gè)方面是AGI治理，AGI從根本上成為了改變我們文明的強大力量，強調了有意義的國際合作和協(xié)調的必要性。每個(gè)人都會(huì )從合作治理方法中受益。如果我們安全、負責任地駕馭這條道路，AgI系統可以為全球經(jīng)濟創(chuàng )造無(wú)與倫比的經(jīng)濟繁榮，解決氣候變化和全球健康安全等共同挑戰，并提高社會(huì )福祉。

我也深深地相信在未來(lái)。我們需要在A(yíng)GI安全方面進(jìn)行投資，才能到達所想要達到的地方，并在那里享受它。

要做到這樣我們需要認真協(xié)調。這是一項具有全球影響力的全球技術(shù)。不計后果的開(kāi)發(fā)和部署所造成的事故成本將影響到我們所有人。

國際合作中，我認為有兩個(gè)關(guān)鍵領(lǐng)域是最重要的。

首先我們需要建立國際規范和標準，并注意過(guò)程中注重包容性。在任何國家使用 AGI 系統，都應平等而一致地遵循這樣的國際標準和規范。在這些安全護欄內，我們相信人們有足夠的機會(huì )做出自己的選擇。

第二，我們需要國際合作，以可核查的方式建立對安全開(kāi)發(fā)日益強大的 AI 系統的國際間信任。我并不妄想這是一件容易的事，需要投入大量和持續的關(guān)注。

《道德經(jīng)》告訴我們：千里之行，始于足下。我們認為，在這方面最具建設性的第一步是與國際科學(xué)和技術(shù)界合作。

需要強調的是，我們應該在推動(dòng)技術(shù)進(jìn)步這一方面增加透明度和知識共享的機制。在A(yíng)GI安全方面，發(fā)現新出現的安全問(wèn)題的研究人員們應該為了更大的利益分享他們的見(jiàn)解。

我們需要認真思考如何在鼓勵這種規范的同時(shí)，也尊重和保護知識產(chǎn)權。如果我們這樣做，那么，它將為我們深化合作打開(kāi)新的大門(mén)。

更廣泛地來(lái)講，我們應該投資于促進(jìn)和引導對AI對齊和安全的研究。

在Open AI，我們今天的研究主要集中在技術(shù)問(wèn)題上，讓AI在我們目前的系統中充當一個(gè)有幫助且更安全的角色。這可能也意味著(zhù)，我們訓練ChatGPT的方式，使其不做出暴力威脅或協(xié)助用戶(hù)進(jìn)行有害活動(dòng)的舉措。

但隨著(zhù)我們日益接近 AGI 的時(shí)代，沒(méi)有對齊的 AI 系統的潛在影響力和影響規模將成倍增長(cháng)?，F在積極主動(dòng)地解決這些挑戰，能將未來(lái)出現災難性結果的風(fēng)險降到最低。

對于目前的系統，我們主要利用人類(lèi)反饋進(jìn)行強化學(xué)習來(lái)訓練我們的模型，使其成為一個(gè)有幫助的安全助手。這只是各種訓練后調整技術(shù)中的一個(gè)例子。而且我們也在努力研究新的技術(shù)，其中需要很多艱苦的工程工作。

從 GPT4 完成預培訓到我們部署它，我們專(zhuān)門(mén)花了 8 個(gè)月的時(shí)間來(lái)進(jìn)行對齊方面的工作?？偟膩?lái)說(shuō)，我們認為我們在這方面做得很好。GPT4 比我們以前的任何模型都更加與人類(lèi)對齊。

然而，對于更先進(jìn)的系統，對齊仍然是一個(gè)未解決的問(wèn)題，我們認為這需要新的技術(shù)方法，同時(shí)增強治理和監督。

對于未來(lái)的AGI系統，它提出了10萬(wàn)行二進(jìn)制代碼。人類(lèi)監督者不太可能發(fā)現這樣的模型是否在做一些邪惡的事情。所以我們正在投資一些新的、互補的研究方向，希望能夠實(shí)現突破。

一個(gè)是可擴展的監督。我們可以嘗試使用人工智能系統來(lái)協(xié)助人類(lèi)監督其他人工智能系統。例如，我們可以訓練一個(gè)模型來(lái)幫助人類(lèi)監督發(fā)現其他模型的輸出中的缺陷。

第二個(gè)是解釋能力。我們想嘗試更好地了解這些模型內部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用 GPT-4 來(lái)解釋 GPT-2 中的神經(jīng)元。在另一篇論文中，我們使用 Model Internals 來(lái)檢測一個(gè)模型何時(shí)在說(shuō)謊。我們還有很長(cháng)的路要走。我們相信，先進(jìn)的機器學(xué)習技術(shù)可以進(jìn)一步提高我們解釋的能力。

最終，我們的目標是訓練 AI 系統來(lái)幫助進(jìn)行對齊研究。這種方法的好處在于，它可以隨著(zhù) AI 的發(fā)展速度而擴展。

獲得 AGI 帶來(lái)的非凡好處，同時(shí)降低風(fēng)險，是我們這個(gè)時(shí)代的開(kāi)創(chuàng )性挑戰之一。我們看到中國、美國以及世界各地的研究人員有很大的潛力來(lái)共同實(shí)現同一個(gè)目標，并致力于努力解決 AGI 對齊帶來(lái)的技術(shù)挑戰。

如果我們這樣做，我相信我們將能夠利用 AGI 來(lái)解決世界上最重要的問(wèn)題，并極大地改善人類(lèi)的生活質(zhì)量。非常感謝。

以下為對話(huà)實(shí)錄：

未來(lái)十年我們會(huì )有非常強大的AI系統

智源研究院理事長(cháng)張宏江提問(wèn)：我們距離通用人工智能（AGI）還有多遠？風(fēng)險是不是很緊迫，還是我們離它還很遙遠？

Sam Altman：這很難評估具體時(shí)間。很可能未來(lái)十年我們會(huì )有非常強大的AI系統，新技術(shù)從根本上改變世界的速度比我們想象的快。在那樣的世界里，我認為把這件事（AI安全規則）做好是重要且緊迫的，這就是為什么我呼吁國際社會(huì )共同努力的原因。

從某種意義上說(shuō)，我們現在看到的新技術(shù)的加速和系統的影響是前所未有的。所以我認為要為即將發(fā)生的事情做好準備，并了解有關(guān)安全的問(wèn)題?？紤]到AI規模龐大，這其中的利害關(guān)系相當重要。

中國、美國和其他國家以及歐洲這三個(gè)主要集團是人工智能創(chuàng )新背后的驅動(dòng)力，在你看來(lái)，在A(yíng)GI安全這個(gè)領(lǐng)域中，不同國家分別又有什么優(yōu)勢來(lái)解決這一問(wèn)題，特別是解決人工智能安全問(wèn)題。如何將這些優(yōu)勢結合到一起？

全球合作為AI提出安全標準和框架

張宏江：您剛才在前期的介紹中也提到了幾次，正在進(jìn)行全球合作。我們知道，在過(guò)去世界面臨著(zhù)相當多的危機。不知何故，對他們中的許多人來(lái)說(shuō)，我們設法建立了共識，建立全球合作。你也在進(jìn)行一次全球巡演，你正在努力推動(dòng)怎樣的全球合作？

Sam Altman：是的，我對到目前為止大家的反應和回答都非常滿(mǎn)意。我認為人們非常認真地對待AGI的風(fēng)險和機遇。

我認為在過(guò)去的6個(gè)月里，對于安全的討論已經(jīng)取得了相當大的進(jìn)展。人們似乎真的致力于找出一種結構，讓我們能夠享受這些好處，同時(shí)在全球范圍內共同努力降低風(fēng)險。我認為我們非常適合做這件事。全球合作總是困難的，但我認為這是一種將世界團結在一起的機會(huì )和威脅。我們可以為這些系統提出一個(gè)框架和安全標準，這將非常有幫助。

人工智能的對齊問(wèn)題如何解決

張宏江：你提到先進(jìn)人工智能的對齊是一個(gè)尚未解決的問(wèn)題。我還注意到OpenAI在過(guò)去的幾年里付出了很多努力。你提到GPT-4是迄今為止在對齊領(lǐng)域最好的例子。你認為我們可以?xún)H僅通過(guò)微調(API)來(lái)解決AGI的安全問(wèn)題嗎？或者比這個(gè)問(wèn)題的解決方式要困難得多？

Sam Altman：我認為對齊這個(gè)詞有不同的理解方式。我認為我們需要解決的是整個(gè)人工智能系統中的挑戰，傳統意義上的對齊——讓模型的行為符合用戶(hù)的意圖，當然是其中的一部分。

但還會(huì )有其他問(wèn)題，比如我們如何驗證系統正在做什么，我們希望它們做什么，以及我們如何調整系統的價(jià)值。最重要的是要看到AGI安全的整體情況。

如果沒(méi)有技術(shù)解決方案，其他一切都很難。我認為集中精力確保我們解決安全方面的技術(shù)問(wèn)題是非常重要的。正如我所提到的，弄清楚我們的價(jià)值觀(guān)是什么，這不是一個(gè)技術(shù)問(wèn)題。盡管它需要技術(shù)投入，但這是一個(gè)值得全社會(huì )深入討論的問(wèn)題。我們必須設計公平、具有代表性和包容性的系統。

張宏江：針對對齊，我們那看到GPT-4所做的，仍然是從技術(shù)的角度出發(fā)的解決方案。但除了技術(shù)之外，還有許多其他因素，且往往是系統性的。人工智能安全在這里可能也不例外。除了技術(shù)方面，還有哪些因素和問(wèn)題？你認為對人工智能安全至關(guān)重要嗎？我們應該如何應對這些挑戰？尤其是我們大多數人都是科學(xué)家。我們應該做什么。

Sam Altman：這無(wú)疑是一個(gè)非常復雜的問(wèn)題。但如果沒(méi)有技術(shù)解決方案，其他一切都很難解決。我認為集中精力確保我們解決安全方面的技術(shù)問(wèn)題是非常重要的。正如我所提到的，弄清楚我們的價(jià)值觀(guān)是什么，這不是一個(gè)技術(shù)問(wèn)題。它需要技術(shù)投入，但這同時(shí)也是一個(gè)值得全社會(huì )深入討論的問(wèn)題。我們必須設計公平、具有代表性和包容性的系統。

而且，正如你所指出的，我們需要考慮的不僅僅是人工智能模型拉動(dòng)本身的安全性，而是整個(gè)系統。

因此，可以構建在系統上運行的安全分類(lèi)器和檢測器很重要，它們可以監控AI是否符合使用策略。我認為很難提前預測任何技術(shù)會(huì )出現的所有問(wèn)題。因此，從現實(shí)世界的使用中學(xué)習，并反復部署，看看當你真正創(chuàng )造現實(shí)并改進(jìn)它時(shí)會(huì )發(fā)生什么。

讓人類(lèi)和社會(huì )有時(shí)間學(xué)習和更新，并思考這些模型將如何以好的和壞的方式與他們的生活互動(dòng)，這也很重要。

需要各國共同合作

張宏江：早些時(shí)候，你提到了全球合作。你一直在環(huán)游世界，中國、美國和以及歐洲等各國都是人工智能創(chuàng )新背后的驅動(dòng)力，在你看來(lái)，在A(yíng)GI中，不同國家分別有哪些優(yōu)勢來(lái)解決AGI問(wèn)題，特別是解決人安全問(wèn)題。如何將這些優(yōu)勢結合到一起？

Sam Altman：我認為通常需要很多不同的視角和人工智能安全。我們還沒(méi)有得到所有的答案，這是一個(gè)相當困難和重要的問(wèn)題。

此外，正如所提到的，這不是一個(gè)純粹的技術(shù)問(wèn)題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國家的用戶(hù)偏好。我們需要很多不同的投入才能實(shí)現這一目標。中國擁有一些世界上最優(yōu)秀的人工智能人才。從根本上說(shuō)，我認為，考慮到解決高級人工智能系統對齊的困難，需要來(lái)自世界各地的最好的頭腦。所以我真的希望中國的人工智能研究人員在這里做出巨大的貢獻。

需要非常不同的架構使得AGI更安全

張宏江：關(guān)于GPT-4和AI安全的后續問(wèn)題。我們是否有可能需要更改AGI模型的整個(gè)基礎架構或整個(gè)體系結構。為了讓它更安全，更容易被檢查.

Sam Altman：無(wú)論是從功能角度還是從安全角度來(lái)看，我們確實(shí)需要一些非常不同的架構，這是完全可能的。

我認為我們將能夠取得一些進(jìn)展，在解釋我們目前各種模型的能力方面取得良好進(jìn)展，并讓他們更好地向我們解釋他們在做什么以及為什么。但是，是的，如果在Transformer之后有另一個(gè)巨大的飛躍，我不會(huì )感到驚訝。自從最初的Transformer以來(lái)，我們已經(jīng)改變了很多架構。

OpenAI開(kāi)源的可能性

張宏江：我明白今天的論壇是關(guān)注AI安全的，因為人們對OpenAI很好奇，所以我有很多關(guān)于OpenAI的問(wèn)題，不僅僅是AI安全。我這里有一個(gè)觀(guān)眾的問(wèn)題是，OpenAI有沒(méi)有計劃重新開(kāi)源它的模型，就像在3.0版本之前那樣？我也認為開(kāi)源有利于A(yíng)I安全。

Sam Altman：我們有些模型是開(kāi)源的，有些不是，但隨著(zhù)時(shí)間的推移，我認為你應該期待我們將來(lái)會(huì )繼續開(kāi)源更多的模型。我沒(méi)有一個(gè)具體的模型或時(shí)間表，但這是我們目前正在討論的事情。

張宏江：BAAI將所有的努力都變成開(kāi)源，包括模型和算法本身。我們相信，我們有這種需要，分享和給予，你一個(gè)他們在控制感知。請問(wèn)你有類(lèi)似的觀(guān)念嗎，或者在你的同齡人或OpenAI的同事中討論過(guò)這些話(huà)題。

Sam Altman：是的，我認為開(kāi)源在某種程度上確實(shí)有一個(gè)重要的作用。

最近也有很多新的開(kāi)源模型出現。我認為API模型也有一個(gè)重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類(lèi)型的微調。如果某件事情不起作用，你可以收回它。在當前模型的規模下，我不太擔心這個(gè)問(wèn)題。但是隨著(zhù)模型變得像我們期望的那樣強大，如果我們對此是正確的，我認為開(kāi)源一切可能不是最佳路徑，盡管有時(shí)候它是正確的。我認為我們只需要仔細地平衡一下。

我們未來(lái)會(huì )有更多開(kāi)源大模型，但沒(méi)有具體模型和時(shí)間表。

AGI的下一步方向？會(huì )很快看到GPT-5嗎？

張宏江：作為一個(gè)研究人員，我也很好奇，下一步的AGI研究方向是什么？在大模型、大語(yǔ)言模型方面，我們會(huì )不會(huì )很快看到GPT-5？下一個(gè)前沿是不是在具身模型上？自主機器人是不是OpenAI正在或者準備探索的領(lǐng)域？

Sam Altman：我也很好奇下一步會(huì )發(fā)生什么，我最喜歡做這項工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒(méi)有答案，所以我們在探索很多可能的新范式。當然，在某個(gè)時(shí)候，我們會(huì )嘗試做一個(gè)GPT-5模型，但不會(huì )是很快。我們不知道具體什么時(shí)候。我們在OpenAI剛開(kāi)始的時(shí)候就做過(guò)機器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個(gè)領(lǐng)域。

張宏江：聽(tīng)起來(lái)很棒。你在演講中也提到了你們是如何用GPT-4來(lái)解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴展的嗎？這種方向是不是OpenAI未來(lái)會(huì )繼續推進(jìn)的？

Sam Altman：我們會(huì )繼續推進(jìn)這個(gè)方向。

張宏江：那你認為這種方法可以應用到生物神經(jīng)元上嗎？因為我問(wèn)這個(gè)問(wèn)題的原因是，有一些生物學(xué)家和神經(jīng)科學(xué)家，他們想借鑒這個(gè)方法，在他們的領(lǐng)域里研究和探索人類(lèi)神經(jīng)元是如何工作的。

Sam Altman：在人工神經(jīng)元上觀(guān)察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認為這種方法對于人工神經(jīng)網(wǎng)絡(luò )是有效的。我認為使用更強大的模型來(lái)幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個(gè)方法應用到人類(lèi)大腦上。

控制模型數量可行嗎

張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那么我們一直在討論的一個(gè)問(wèn)題是，如果這個(gè)世界上只有三個(gè)模型，那么會(huì )不會(huì )更安全？這就像核控制一樣，你不想讓核武器擴散。我們有這樣的條約，我們試圖控制能夠獲得這項技術(shù)的國家數量。那么控制模型數量是不是一個(gè)可行的方向？

Sam Altman：我認為對于世界上有少數模型還是多數模型更安全，有不同的觀(guān)點(diǎn)。我認為更重要的是，我們是否有一個(gè)系統，能夠讓任何一個(gè)強大的模型都經(jīng)過(guò)充分的安全測試？我們是否有一個(gè)框架，能夠讓任何一個(gè)創(chuàng )造出足夠強大的模型的人，既有資源，也有責任，來(lái)確保他們創(chuàng )造出的東西是安全和對齊的？

張宏江：昨天在這個(gè)會(huì )議上，MIT未來(lái)生命研究所的Max教授提到了一種可能的方法，就是類(lèi)似于我們控制藥物開(kāi)發(fā)的方式?？茖W(xué)家或者公司開(kāi)發(fā)出新藥，你不能直接上市。你必須經(jīng)過(guò)這樣的測試過(guò)程。這是不是我們可以借鑒的？

Sam Altman：我絕對認為，我們可以從不同行業(yè)發(fā)展出來(lái)的許可和測試框架中借鑒很多東西。但我認為從根本上說(shuō)，我們已經(jīng)有了一些可以奏效的方法。

張宏江：非常感謝你，Sam。謝謝你抽時(shí)間來(lái)參加這次會(huì )議，雖然是線(xiàn)上的。我相信還有很多問(wèn)題，但考慮到時(shí)間，我們不得不到此為止。希望下次你有機會(huì )來(lái)中國，來(lái)北京，我們可以有更深入的討論。非常感謝你。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：