世界最新:陸奇最新演講實(shí)錄:我的大模型世界觀(guān)
(相關(guān)資料圖)
就連陸奇都說(shuō)他跟不上大模型時(shí)代的狂飆速度了。他讓下屬做“大模型日報”,一方面便于他跟上論文和信息更新,另一方面給奇績(jì)生態(tài)創(chuàng )業(yè)者共享。他用了三個(gè)“實(shí)在”表達這一點(diǎn)?!拔覍?shí)在不行了,論文實(shí)在是跟不上,代碼實(shí)在是跟不上。Just too much(太多了)?!标懫嬖诮谝淮畏窒砘顒?dòng)上說(shuō)。
這樣的時(shí)刻還從沒(méi)有過(guò)。奇績(jì)創(chuàng )壇創(chuàng )始人兼CEO陸奇是中國AI布道人,也是中國針對大模型最有發(fā)言權的人之一。他曾在全球巨頭身居要職,先后任職于IBM、雅虎、微軟、百度,曾是華人在美國科技公司最有權威的高層人士,位至雅虎和微軟執行副總裁,回國加盟百度出任集團總裁兼COO。陸奇以勤勉的工作為科技圈著(zhù)稱(chēng)——每天清晨4點(diǎn)起床,跑步5英里,6點(diǎn)準時(shí)到辦公室。
同時(shí),他和OpenAI有著(zhù)深厚淵源。陸奇所掌管的奇績(jì)前身是YC中國,是美國著(zhù)名創(chuàng )業(yè)孵化器YC(Y Combinator)的中國分支。他也是YC全球研究院院長(cháng)。而OpenAI首席執行官Sam Altman正是YC二代接班者、現任總裁。兩人雖相差24歲,卻是忘年交,相識已逾18年。當初正是Sam Altman屢次力邀陸奇加盟YC。所以,陸奇對YC、對Sam Altman和OpenAI都有長(cháng)期的近距離觀(guān)察。
2023年4月22日,陸奇在上海舉行小規模演講,騰訊新聞?dòng)行覅⑴c了旁聽(tīng)。陸奇希望幫助中國創(chuàng )業(yè)者認清這次歷史性的拐點(diǎn)時(shí)刻,定位今天的時(shí)代坐標、找準自己的位置。“這個(gè)時(shí)代跟淘金時(shí)代很像,”他說(shuō)道,“如果你那個(gè)時(shí)候去加州淘金,一大堆人會(huì )死掉。但是賣(mài)勺子、賣(mài)鏟子的人永遠可以賺錢(qián)?!?/strong>
陸奇很反感蹭熱點(diǎn),他一再警示創(chuàng )業(yè)者蹭熱點(diǎn)只會(huì )浪費機會(huì )。到現在為止,你幾乎很難在公開(kāi)渠道聽(tīng)到陸奇的觀(guān)點(diǎn)。這也讓本次演講具有稀缺性。
事實(shí)上,在大模型快速達成社會(huì )共識之際,一部分人期待陸奇博士披甲上陣,做“中國的Sam Altman”——扮演可能比一名投資者、布道者更關(guān)鍵的角色。但據奇績(jì)內部人說(shuō):“Qi目前100%時(shí)間花在奇績(jì)?!?/p>
騰訊新聞作者將這場(chǎng)分享進(jìn)行了完整的整理——演講涵蓋他對大模型時(shí)代的宏觀(guān)思考,包括拐點(diǎn)的內在動(dòng)因、技術(shù)演進(jìn)、創(chuàng )業(yè)公司結構性機會(huì )點(diǎn)以及給創(chuàng )業(yè)者的建議。大家可以各取所需。
好了,讓我們來(lái)看看陸奇怎么說(shuō)。為了方便閱讀,作者做了一些字句修改和文本優(yōu)化。
01?社會(huì )性拐點(diǎn)的核心?是一項大型成本從邊際變成固定
我認識Sam Altman是2005年,他那時(shí)19歲不到,我已經(jīng)40多歲了。
我們倆是忘年交。他是一個(gè)很善良也很奇怪的小孩,今天很高興他能這樣改變世界。前不久,我春節在美國3個(gè)月,也到OpenAI和Sam聊了一些。
首先,怎么理解這個(gè)新范式?這張圖能把ChatGPT和OpenAI所帶來(lái)的一切講清楚。之后,基于第一性原理,你自然會(huì )推演出所在賽道的機會(huì )和挑戰。
這張圖是“三位一體結構演化模式”,本質(zhì)是講任何復雜體系,包括一個(gè)人、一家公司、一個(gè)社會(huì ),甚至數字化本身的數字化體系,都是復雜體系?!叭灰惑w”包括:
“信息”系統(subsystem of information),從環(huán)境當中獲得信息;
“模型”系統(subsystem of model),對信息做一種表達,進(jìn)行推理和規劃;
“行動(dòng)”系統(subsystem of action),我們最終和環(huán)境做交互,達到人類(lèi)想達到的目的。
任何體系,都是這三個(gè)體系的組合,數字化系統尤其如此。數字化和人分不開(kāi)。人也一樣,人要獲得信息、表達信息、行動(dòng)解決問(wèn)題或滿(mǎn)足需求。
基于此,我們可以得出一個(gè)簡(jiǎn)單結論。今天大部分數字化產(chǎn)品和公司,包括Google、微軟、阿里、字節,本質(zhì)是信息搬運公司。一定要記住,我們所做的一切,一切的一切,包括在座的大部分企業(yè)都在搬運信息。Nothing more than that,You just move bytes(僅此而已,你只是移動(dòng)字節)。但它已經(jīng)足夠好,改變了世界。
早在1995-1996年,通過(guò)PC互聯(lián)網(wǎng)迎來(lái)一個(gè)拐點(diǎn)。那時(shí)我剛從CMU(卡內基梅隆大學(xué))畢業(yè)。大量公司層出不窮,其中誕生了一家偉大公司叫Google。為什么會(huì )有這個(gè)拐點(diǎn)?為什么會(huì )有爆炸式增長(cháng)?把這個(gè)觀(guān)點(diǎn)講清楚,就能把今天的拐點(diǎn)講清楚。
原因是,獲取信息的邊際成本開(kāi)始變成固定成本。
一定要記住,任何改變社會(huì )、改變產(chǎn)業(yè)的,永遠是結構性改變。這個(gè)結構性改變往往是一類(lèi)大型成本,從邊際成本變成固定成本。
舉個(gè)例子,我在CMU念書(shū)開(kāi)車(chē)離開(kāi)匹茨堡出去,一張地圖3美元,獲取信息很貴。今天我要地圖,還是有價(jià)錢(qián),但都變成固定價(jià)格。Google平均一年付10億美元做一張地圖,但每個(gè)用戶(hù)要獲得地圖的信息,基本上代價(jià)是0。也就是說(shuō),獲取信息成本變0的時(shí)候,它一定改變了所有產(chǎn)業(yè)。這就是過(guò)去20年發(fā)生的,今天基本是free information everywhere(免費的信息無(wú)處不在)。
Google為什么偉大?它把邊際成本變成固定成本。Google固定成本很高,但它有個(gè)簡(jiǎn)單商業(yè)模式叫廣告,它是世界上高盈利、改變世界的公司,這是拐點(diǎn)關(guān)鍵。
今天2022-2023年的拐點(diǎn)是什么?它不可阻擋、勢不可擋,原因是什么?一模一樣。模型的成本從邊際走向固定,因為有件事叫大模型。
模型的成本開(kāi)始從邊際走向固定,大模型是技術(shù)核心、產(chǎn)業(yè)化基礎。OpenAI搭好了,發(fā)展速度爬升會(huì )很快。為什么模型這么重要、這個(gè)拐點(diǎn)這么重要,因為模型和人有內在關(guān)系。我們每個(gè)人都是模型的組合。人有三種模型:
認知模型,我們能看、能聽(tīng)、能思考、能規劃;
任務(wù)模型,我們能爬樓梯、搬椅子剝雞蛋;
領(lǐng)域模型,我們有些人是醫生,有些人是律師,有些人是碼農。
That’s all。我們對社會(huì )所有貢獻都是這三種模型的組合。每個(gè)人不是靠手和腿的力量賺錢(qián),而是靠腦袋活。
簡(jiǎn)單想一想,如果你沒(méi)有多大見(jiàn)解,你的模型能力大模型都有,或者大模型會(huì )逐步學(xué)會(huì )你所有的模型,那會(huì )怎樣?——未來(lái),唯一有價(jià)值的是你有多大見(jiàn)解。
人類(lèi)社會(huì )是技術(shù)驅動(dòng)。從農業(yè)時(shí)代,人用工具做簡(jiǎn)單勞動(dòng),最大問(wèn)題是人和土地綁定,人缺少流通性,沒(méi)有自由。工業(yè)發(fā)展對人最大變化是人可以動(dòng)了,可以到城市和工廠(chǎng)。早期工業(yè)體系以體力勞動(dòng)為主、腦力勞動(dòng)為輔,但隨著(zhù)機械化、電氣化、電子化,人的體力勞動(dòng)下降。信息化時(shí)代以后,人以腦力勞動(dòng)為主,經(jīng)濟從商品經(jīng)濟轉向服務(wù)經(jīng)濟——碼農、設計師、分析師成為我們時(shí)代的典型職業(yè)。
這一次大模型拐點(diǎn)會(huì )讓所有服務(wù)經(jīng)濟中的人、藍領(lǐng)基本都受影響,因為他們是模型,除非有獨到見(jiàn)解,否則你今天所從事的服務(wù)大模型都有。下一時(shí)代典型的職業(yè),我們認為是創(chuàng )業(yè)者和科學(xué)家。
所以,這次變革影響每個(gè)人。它影響整個(gè)社會(huì )。
02 我所看到的三個(gè)拐點(diǎn)
下個(gè)拐點(diǎn)是什么?
下個(gè)拐點(diǎn)將是組合:“行動(dòng)”無(wú)處不在(自動(dòng)駕駛、機器人、空間計算)。也就是人需要在物理空間里行動(dòng),它的代價(jià)也從邊際走向固定。20年后,這個(gè)房子里所有一切都有機械臂,都有自動(dòng)化的東西。我需要的任何東西,按個(gè)按鈕,軟件可以動(dòng),今天還需要找人。
那么,哪些公司能走到下個(gè)拐點(diǎn)、站住下個(gè)拐點(diǎn)?我認為特斯拉有很高概率,它的自動(dòng)駕駛、機器人現在很厲害。微軟今天跟著(zhù)OpenAI爬坡,但怎么站住下個(gè)拐點(diǎn)?
接下來(lái)講一下我們看到的三個(gè)拐點(diǎn):
① 今天信息已經(jīng)無(wú)處不在了,接下來(lái)15-20年,模型就是知識,將無(wú)處不在。以后手機上打開(kāi),任何聯(lián)網(wǎng),模型就過(guò)來(lái)了。它教你怎么去解答法律問(wèn)題,怎么去做醫學(xué)檢驗。不管什么樣的模型都可以無(wú)處不在。
② 在未來(lái),自動(dòng)化、自主化的動(dòng)作可以無(wú)處不在。
③ 人和數字化的技術(shù)共同進(jìn)化。Sam最近經(jīng)常講,它必須要共同進(jìn)化,才能達到通用智能(AGI)。通用智能四大要素是:涌現(emergence)+代理(agency)+功能可見(jiàn)性(affordence)+具象(embodiment)。
總結來(lái)說(shuō),我們從根本性的三位一體結構分析未來(lái),從過(guò)去的歷史拐點(diǎn)能清晰看到今天所面臨的拐點(diǎn),本質(zhì)是模型成本從邊際走向固定,將有一家甚至多家偉大公司誕生。毫無(wú)疑問(wèn),OpenAI處于領(lǐng)先。
雖然講得有點(diǎn)早,但我個(gè)人認為,OpenAI未來(lái)肯定比Google大。只不過(guò)是大1倍、5倍還是10倍。
03?OpenAI核心就堅信兩件事?發(fā)展速度連Sam本人都驚訝
下面我從技術(shù)角度講OpenAI大事跡,它怎么把大模型時(shí)代帶來(lái)的?
為什么講OpenAI,不講Google、微軟。講真心話(huà),因為我知道,微軟好幾千人也做這個(gè),但不如OpenAI。一開(kāi)始比爾·蓋茨根本不相信OpenAI,大概6個(gè)月前他還不相信。4個(gè)月前看到GPT-4的demo(產(chǎn)品原型),目瞪口呆。他寫(xiě)了文章說(shuō):It’s a shock,this thing is amazing(這太令人震驚了,這東西太神奇了)。谷歌內部也目瞪口呆。
OpenAI一路走下來(lái)的關(guān)鍵技術(shù):
GPT-1是第一次使用預訓練方法來(lái)實(shí)現高效語(yǔ)言理解的訓練;
GPT-2主要采用了遷移學(xué)習技術(shù),能在多種任務(wù)中高效應用預訓練信息,并進(jìn)一步提高語(yǔ)言理解能力;
DALL·E是走到另外一個(gè)模態(tài);
GPT-3主要注重泛化能力,few-shot(小樣本)的泛化;
GPT-3.5 instruction following(指令遵循)和tuning(微調)是最大突破;
GPT-4 已經(jīng)開(kāi)始實(shí)現工程化。
2023年3月的Plugin是生態(tài)化。
OpenAI的融資結構為什么這么設計?和Sam早期目標和對未來(lái)的判斷分不開(kāi)。他知道要融很多錢(qián),但股權設計有一個(gè)很大挑戰——容易把回報和控制混在一起——所以他要設計一個(gè)結構,讓它不受任何股東的制約。于是,OpenAI的投資者沒(méi)有控制權,他們的協(xié)議是一種債的結構。如果賺完2萬(wàn)億,接下來(lái)是non-profit(不再盈利了),一切回歸社會(huì )。這個(gè)時(shí)代需要新的結構。
它勢不可擋。Sam Altman自己都surprise,連他都沒(méi)想到會(huì )那么快。
如果大家對技術(shù)感興趣,Ilya Sutskever(OpenAI聯(lián)合創(chuàng )始人兼首席科學(xué)家)很重要,他堅信兩件事。
第一是模型架構。它要足夠深,只要到了一定深度,bigness is betterness(大就是好)。只要有算力,只要有數據,越大越好。他們一開(kāi)始是LSTN(long short term memory),后來(lái)看到Transformer就用Transformer。
第二個(gè)OpenAI相信的是,任何范式、改變一切的范式永遠有個(gè)引擎,這個(gè)引擎能不斷前進(jìn)、不斷產(chǎn)生價(jià)值。
這個(gè)引擎基本是一個(gè)模型體系(model system),它的核心是模型架構Transformer,就是sequence model(序列模型):sequence in、sequence out、encode、decode后者decode only。但最終的核心是GPT,也就是預訓練之后的Transformer,它可以把信息高度壓縮。Ilya有個(gè)信念:如果你能高效壓縮信息,你一定已經(jīng)得到知識,不然你沒(méi)法壓縮信息。所以,你把信息高效壓縮的話(huà),you got to have some knowledge(你得有一些知識)。
Ilya堅信GPT3、3. 5,當然GPT-4更是,它已經(jīng)有一個(gè)世界模型在里面。雖然你做的事是predict next word(預測下一個(gè)關(guān)鍵詞),這只不過(guò)是優(yōu)化手段,它已經(jīng)表達了世界的信息,而且它能持續地提高模型能力,尤其是目前研究比較多的在子概念空間當中做泛化。知識圖譜真的不行。如果哪個(gè)同學(xué)做知識圖譜,我認真跟你講,你不要用知識圖譜。我自己也做知識圖譜20多年,just don’t do that。Just pretty bad。It does not work at all。You should use Transformer。(不要那樣做。很糟糕。它根本不起作用。你應該使用Transformer。)
更重要的是用增強學(xué)習,加上人的反饋,與人的價(jià)值對齊。因為GPT已經(jīng)做了4年多,知識已經(jīng)封裝在里面了,過(guò)去真的是用不起來(lái),也很難用。
最大的是對齊(alignment engineering),尤其是instruction following和自然語(yǔ)言對齊。當然也可以跟代碼、表格、圖表對齊。
做大模型是很難的,很大難度是infra(基礎設施)。我在微軟的時(shí)候,我們每個(gè)服務(wù)器都不用網(wǎng)卡,都放了FPGA。網(wǎng)絡(luò )的IO的帶寬速度都是無(wú)限帶寬技術(shù)(Infiniband),服務(wù)器和服務(wù)器之間是直接訪(fǎng)問(wèn)內存。為什么?因為T(mén)ransformer是密度模型,它不光是算力問(wèn)題,對帶寬要求極高,你就想GPT-4需要24000張到25000張卡訓練,試想世界上多少人能做這種系統。所有數據、data center網(wǎng)絡(luò )架構都不一樣。它不是一個(gè)三層的架構,必須是東西向的網(wǎng)絡(luò )架構。所以這里要做大量的工作。
Token很重要。全世界可能有40-50個(gè)確定的token,就是語(yǔ)言的token和模態(tài),現在有更多的token化。當然現在更多的模型的參數小型化、本地化,任務(wù)領(lǐng)域的專(zhuān)業(yè)知識可以融入這些大模型當中。它的可操縱性主要是靠提示和調試,尤其是根據指令來(lái)調,或者對齊來(lái)調試,或者in-context learning(上下文學(xué)習),這個(gè)已經(jīng)貫徹比較清晰了。它的可操作性是越來(lái)越強??赏卣剐曰旧弦沧銐?。
加在一起,這個(gè)引擎并不完美。足夠好、足夠強的引擎,我沒(méi)從沒(méi)有過(guò)。
以上是引擎,拐點(diǎn)是怎么到的?ChatGPT能在歷史上第一次兩個(gè)月1億活躍用戶(hù),擋都擋不住,為什么?
① 它封裝了世界上所有知識。
② 它有足夠強的學(xué)習和推理能力,GPT-3能力在高中生和大學(xué)生之間,GPT-4不光是進(jìn)斯坦福,而且是斯坦福排名很靠前的人。
③ 它的領(lǐng)域足夠寬,知識足夠深,又足夠好用。自然語(yǔ)言最大的突破是好用。擴展性也足夠好。當然還是很貴,像2萬(wàn)多張卡,訓練幾個(gè)月這么大的工程。不過(guò)也沒(méi)貴到那么離譜——Google可以做,微軟可以做,中國幾個(gè)大公司能做,創(chuàng )業(yè)公司融錢(qián)也能做。
加在一起,范式的臨界點(diǎn)到了。拐點(diǎn)已經(jīng)到來(lái)。
稍微啰嗦幾句。我做自然語(yǔ)言20多年,原來(lái)的自然語(yǔ)言處理有14種任務(wù),我能夠把動(dòng)詞找出來(lái)、名詞找出來(lái)、句子分析清楚。即使分析清楚,你知道這是形容詞,這是動(dòng)詞,這是名詞——那這個(gè)名詞是包香煙?還是你的舅舅?還是一個(gè)墳墓?還是個(gè)電影?No idea(不知道)。你需要的是知識。自然語(yǔ)言處理沒(méi)有知識永遠沒(méi)用。
The only way to make natural language work is you have knowledge(讓自然語(yǔ)言處理有效的唯一路徑是你有知識)。正好Transformer把這么多知識壓縮在一起了,這是它的最大突破。
04?未來(lái)是一個(gè)模型無(wú)處不在的時(shí)代
OpenAI未來(lái)2-3年要做的——模型更稀疏一點(diǎn),現在它對帶寬要求實(shí)在太高,要把attention window拉長(cháng)一點(diǎn),或者是recursion causality推理的功能,包括brainstorming等一些工作要做。當然有一些grounding的東西,包括亞符號、子概念的都可以做。更多的模態(tài),更多的token空間,更多的模型穩定性,更多的潛在空間(例如Latent Space對齊),更多的計算,更多的基礎架構工具。2-3年基本排滿(mǎn)。也就是說(shuō),我們大概知道需要什么去把這個(gè)引擎繼續做大。
不過(guò)這個(gè)飛輪啟動(dòng),主要是資本大量進(jìn)來(lái)。美國2023年1月到3月,擋也擋不住,錢(qián)全進(jìn)去了,每個(gè)月都在比上個(gè)月增長(cháng)。中國基本也一樣,商業(yè)模式、盈利模式有初步規模,基礎設施、平臺應用、生態(tài)在加速開(kāi)發(fā),初創(chuàng )公司、大型企業(yè)都在進(jìn)入。
當然社會(huì )的安全、監管,一大堆問(wèn)題——現在這些是OpenAI最頭痛的——Sam在美國花大量精力讓社會(huì )認可這個(gè)技術(shù)。現在OpenAI核心做的是,把推進(jìn)速度變慢,每推進(jìn)新版本,都有足夠時(shí)間讓用戶(hù)給他們足夠反饋,找到潛在風(fēng)險點(diǎn),有足夠時(shí)間彌補。但加在一起,增長(cháng)飛輪的雛形基本上起來(lái)了。
有了飛輪,我認為發(fā)展路徑核心是模型的可延伸性和未來(lái)模型的生態(tài)。是一個(gè)模型無(wú)處不在的時(shí)代。
未來(lái)的模型世界會(huì )怎么發(fā)展?首先是將有更多大模型會(huì )出來(lái)。更多更完整的模態(tài)和更完整的世界知識在這里。你有大量的知識、更多的模態(tài),學(xué)習能力、泛化能力和泛化機制一定會(huì )加強。
此外,會(huì )有更多的對齊工作要做。OpenAI目前會(huì )關(guān)注什么呢?今天對齊基本上是做到,有一部分人能接受但你也得罪很多人,很多人每天罵GPT。他們想要做到是足夠寬的一個(gè)對齊,希望有個(gè)像美國憲章這樣一個(gè)結果,雖然ChatGPT不是大家都能夠認可,但它足夠平穩、綜合,大部分人能接受,這是對齊工程。自然語(yǔ)言也好,代碼也好,數學(xué)公式也好,表單也好,有大量對齊工作要做。
還有更多的模態(tài)對齊。這里先講human scale的模態(tài),它主要是對人的描述,以人的語(yǔ)言為主,它的模態(tài)目前是語(yǔ)言和圖形,以后有更多的模態(tài)會(huì )接入。這是大模型層面。
在大模型之上建立的模型更多了。我判斷主要是有兩類(lèi)模型和他們的組合。第一是事情的模型,人類(lèi)每一類(lèi)需求都有領(lǐng)域/工作模型,其中有結構模型、流程模型、需求模型和任務(wù)模型,尤其是記憶和先驗。
第二,人的模型,包括認知/任務(wù)模型,它是個(gè)體的,其中有專(zhuān)業(yè)模型,有認知模型、運動(dòng)模型和人的記憶先驗。人基本是這幾類(lèi)模型的組合,律師也好,醫生也好,大量領(lǐng)域會(huì )有大量模型往前走。
人的模型和學(xué)的模型有本質(zhì)區別,這是我過(guò)去1-2個(gè)月個(gè)人收獲較多的。
首先,人一直在建立模型。人的模型好處是泛化的時(shí)候更深、更專(zhuān)業(yè),基本是用符號(例如數學(xué)公式)或結構(例如畫(huà)流程圖)。它具體用,說(shuō)實(shí)話(huà)都不好用。人的模型要么像物理公式解決很宏觀(guān)的問(wèn)題,要么解決很微觀(guān)的問(wèn)題。我們日常生活的問(wèn)題,物理一點(diǎn)用都沒(méi)有——沒(méi)法告訴我這個(gè)樹(shù)的葉子的形狀,狗的貓的顏色為什么是這樣子?沒(méi)有任何模型可以解這個(gè)。很大問(wèn)題是它的模型是靜態(tài)的,不會(huì )場(chǎng)景變化。
今天有很多模型,比方說(shuō)數字孿生,很難用。因為物理世界一直在變,這個(gè)模型僵硬、不變,就用不起來(lái)。尤其是用知識圖譜建的模型,我做了幾十年,超級難算,函數結構差得一塌糊涂。所以人的模型有好處,專(zhuān)業(yè)性強,但有很大缺點(diǎn)。
學(xué)出來(lái)的模型,首先,它本質(zhì)是場(chǎng)景化的,因為它的token是場(chǎng)景化的。其次,它適應性很強,環(huán)境變了,token也變了,模型自然會(huì )隨著(zhù)環(huán)境變;第三,它的泛化拓展性有大量理論工作要做,但是目前子概念空間的泛化,看來(lái)是很有潛在發(fā)展空間的這樣一種模型的特性。它好用,因為它可以對齊人的使用傾向或人的自然語(yǔ)言、表格等等。它的計算性?xún)仍谑沁^(guò)程性的。這里有大的問(wèn)題,就是人表達知識傾向運用結構,但真正能解決問(wèn)題的是過(guò)程,人不適合用過(guò)程來(lái)表達。
ChatGPT代表的模型跟人的模型相輔相成,長(cháng)期可以融在一起。我們看到的未來(lái)是更多模型的生態(tài),新的領(lǐng)域、新的專(zhuān)業(yè)、新的結構、新的場(chǎng)景、新的適應能力,形成閉環(huán),不斷加強認知和推理能力。當然,最終還是要所謂叫g(shù)rounding,跟感知要ground,和接入行動(dòng)的能力,形成真正的智能。
某種意義上20-30年后,這個(gè)模型世界跟生物世界有很多類(lèi)似的地方。大模型我覺(jué)得像基因,有不同的種類(lèi),然后進(jìn)化。我們目前能看到未來(lái)核心技術(shù)模型世界,它是用這個(gè)方法來(lái)向前驅動(dòng)。
我們基本對這個(gè)時(shí)代的范式有了結構性的理解。那么接下來(lái),我們如何擁抱這個(gè)時(shí)代?
05?每周都有“HOLLY SHIT” moment??對每個(gè)人、每個(gè)行業(yè)都有結構性影響
我個(gè)人過(guò)去10個(gè)月,每天看東西是挺多的,但最近實(shí)在受不了。就真的是跟不上。發(fā)展速度非常非???。最近我們開(kāi)始發(fā)行“大模型日報”,是我實(shí)在不行了,論文實(shí)在是跟不上,代碼實(shí)在是跟不上——just too much(太多了)——基本上,每周都會(huì )有一兩個(gè)“HOLLY SHIT” moment。
Holly shit!You can do this now。
世界在嘩嘩嘩地變。我曾經(jīng)說(shuō)1995-1996年有這種感覺(jué),但這個(gè)比1995-1996年還要強。為什么?模型的成本從邊際轉向固定,知識創(chuàng )造就是模型和知識的獲取,它結構性做演變了。
生產(chǎn)資本從兩個(gè)層次全面提高。第一,所有動(dòng)腦筋的工作,可以降低成本、提升產(chǎn)能。我們目前有一個(gè)基本假設,碼農成本會(huì )降低,但對碼農的需求會(huì )大量增加,碼農不用擔心。因為對軟件的需求會(huì )大量增加,就是這個(gè)東西便宜了,都買(mǎi)嘛。軟件永遠可以解決更多問(wèn)題,但有些行業(yè)未必。這是生產(chǎn)資本的廣泛提高。
第二,生產(chǎn)資本深層提升。有一些行業(yè)的生產(chǎn)資本本質(zhì)是模型驅動(dòng),比如醫療就是一個(gè)模型行業(yè),一個(gè)好醫生是一個(gè)好模型,一個(gè)好護士是一種好模型。醫療這種產(chǎn)業(yè),本質(zhì)是強模型驅動(dòng)?,F在模型提高了,科學(xué)也隨之提高。在游戲核心產(chǎn)業(yè),我們的產(chǎn)能將本質(zhì)性、深度提高。產(chǎn)業(yè)的發(fā)展速度會(huì )加快,因為科學(xué)的發(fā)展速度加快了,開(kāi)發(fā)的速度加快了,每個(gè)行業(yè)的心跳都會(huì )加快。因此,我們認為下個(gè)拐點(diǎn)會(huì )加速。用大模型做機器人、自動(dòng)化、自動(dòng)駕駛,擋也擋不住。
它對每個(gè)人都將產(chǎn)生深遠和系統性影響。我們的假設是每個(gè)人很快將有副駕駛員,不光是1個(gè),可能5個(gè)、6個(gè)。有些副駕駛員足夠強,變成正駕駛員,他自動(dòng)可以去幫你做事。更長(cháng)期,我們每個(gè)人都有一個(gè)駕駛員團隊服務(wù)。未來(lái)的人類(lèi)組織是真人,加上他的副駕駛員和真駕駛員一起協(xié)同。
毫無(wú)疑問(wèn),每個(gè)行業(yè)也會(huì )有結構性影響,會(huì )系統性重組。這里有一個(gè)簡(jiǎn)單公式。今天動(dòng)腦筋的人一天平均工資多少小時(shí)?減掉ChatGPT現在大概平均是15美元/小時(shí),再過(guò)3年可能不到1美元,再過(guò)5年可能幾十美分。然后就乘一下有多少數量。降本或者增效,讓碼農能變成super碼農,醫生變成super醫生。
大家可以按這個(gè)公式算一算。如果你是華爾街的對沖基金,你可以做空一大堆行業(yè)。
舉個(gè)簡(jiǎn)單例子,律師在美國平均1500美元/小時(shí),我在網(wǎng)上已經(jīng)看到每天有這種信息——如果你想離婚,不要找離婚律師,ChatGPT離婚很便宜?。。ㄈ珗?chǎng)笑)
開(kāi)發(fā)人員、設計師、碼農、研究人員都一樣,有些是更多需求,有些是成本下降。尤其是核心產(chǎn)業(yè),科學(xué)、教育、醫療,這是OpenAI長(cháng)期最關(guān)注的3個(gè)行業(yè),也是整個(gè)社會(huì )最根本的。
尤其是醫療。在中國,需求遠遠大于供給。而且,中國是大政府驅動(dòng)的市場(chǎng)經(jīng)濟,政府可以扮演更大角色,因為固定成本政府可以承擔。
最為重要的是教育。如果你是大學(xué),你第一擔心的是,考試怎么考?沒(méi)法考了。他一問(wèn)ChatGPT,什么都知道。更重要的是,以后怎么定義是好的大學(xué)生呢?假定說(shuō)有個(gè)大學(xué)生什么都不懂,物理也不懂、化學(xué)也不懂,但他懂怎么問(wèn)ChatGPT,他算不算一個(gè)好的大學(xué)生?機會(huì )與挑戰并存。
總結一下,整個(gè)這個(gè)時(shí)代在高速地進(jìn)行,速度越來(lái)越快。它是結構上決定的。勢不可擋。
06?大模型的淘金時(shí)代?對機會(huì )點(diǎn)進(jìn)行結構性拆解
現在,我給大家一個(gè)結構化思維框架。某種意義上你可以對號入座,知道我在這里,我怎么思考今天的機會(huì )點(diǎn)。
這張圖是整個(gè)人類(lèi)技術(shù)驅動(dòng)的創(chuàng )業(yè)創(chuàng )新,所有事情的機會(huì )都在這張圖上。
首先,底層是數字化的技術(shù),因為數字化是人的延伸。數字化的基礎里有平臺,有發(fā)展基礎,包括開(kāi)源的代碼、開(kāi)源的設計、開(kāi)源的數據;平臺有前端、后端等。這里有大量機會(huì )。
第二,波是用數字化的能力去解決人的需求。我們把數字化應用完整放在這張表上。
1)C端,是把所有的人分成人群,每種人群24小時(shí),他花時(shí)間干什么?有通訊、社交、內容、游戲消費、旅游、健身……C端有一類(lèi)特殊的人,這類(lèi)人是改變世界的,是碼農、設計師、研究員。他們創(chuàng )造未來(lái)。微軟這么大的公司,是基于一個(gè)簡(jiǎn)單理念:微軟我們就是要寫(xiě)更多軟件、幫別人寫(xiě)更多軟件,因為寫(xiě)軟件是未來(lái)。
2)B端,企業(yè)需求也一樣,降本增效。它要生產(chǎn),有供應鏈、銷(xiāo)售、客服……有了這些需求之后,數字化看得見(jiàn)的體驗結構有6種:給你信息的,二維就夠;給你三維交互體驗,在游戲、元宇宙;人和人之間抽象的關(guān)系,包括信任關(guān)系、Web 3;人在物理世界環(huán)中自動(dòng)駕駛、機器人等;人的內在的用碳機植入到里面,今天是腦機接口,以后有更多,以后是可以用硅基;最后是給你模型。
最后,人類(lèi)是挺奇怪的物種,不光要滿(mǎn)足這些需求,還要改變世界,我們在滿(mǎn)足世界時(shí),也要獲得更多能源,所以需要有能源科技;需要轉化能源,用生命科學(xué)的形式,biological process轉化能源或者使用mechanical process,材料結構來(lái)轉化能源,或者是新的空間。這是第三波。
所以創(chuàng )業(yè)公司基本上有三類(lèi):數字化基礎,用數字化去解決人的需求,去改變物理世界。有了這個(gè)大的框架,我們可以系統性地來(lái)看對號入座:我在哪個(gè)位置?如果我在這個(gè)位置,需要關(guān)注哪些點(diǎn)?
首先講數字化基礎,它有一個(gè)穩定結構,不管再怎么發(fā)展,結構永遠是這樣。過(guò)去30多年,大部分系統或多或少我都碰過(guò),這個(gè)結構確實(shí)相當穩定。
核心是前端和后端——前端是完整可延伸的體驗,后端是完整可延伸的能力,有設備端,比方說(shuō)電腦、手機、眼鏡、汽車(chē)等等,設備端里面是芯片、模組加上操作系統。萬(wàn)億美元的公司都在這一層。
其次是體驗的容器,二維的容器,三維的容器,內在嵌入的容器。
容器之上,寫(xiě)代碼都知道畫(huà)布,畫(huà)布可以是文檔,可以是聊天,可以是代碼,可以是空間,可以是世界,可以是數字人,也可以是碳基里的蛋白質(zhì)等等。這是前端。
后端也一樣,底層式設備,服務(wù)器、交換機、數據中心等等,也是芯片、模組、操作系統。
中間這一層非常重要,網(wǎng)絡(luò )數據堆棧,分布式系統,區塊鏈等等。
最上面是云,是能力的供給。能力供給像自然水源,打開(kāi)就是算力,有存儲和通訊能力。今天的模型時(shí)代,打開(kāi)就是模型。
下面是數字化基礎。符號計算,或者所謂的深度學(xué)習,疊加向量的浮點(diǎn)計算,硅基的,碳基的。
如果你是這里的創(chuàng )業(yè)者,機會(huì )點(diǎn)在哪里?
① 首先搬運信息,這個(gè)時(shí)代還有很多可以做。
② 如果你是做模型的,我現在判斷什么都要重做一遍。大模型為先。很多設備也要重做,你要支持大模型,容器要重做,這些都有機會(huì )。云、中間的基礎設施、底層的硬件,包括數字化發(fā)展核心的基礎,尤其是開(kāi)源的體系,這里是真正意義上是有大量機會(huì )。
③ 第三代系統,即已經(jīng)開(kāi)始做機器人、自動(dòng)化、自主系統。孫正義今天all in。這個(gè)也能用大模型做。馬斯克也看到這種機會(huì )。都是在第三代下一個(gè)拐點(diǎn),創(chuàng )業(yè)公司完全可以把握的機會(huì )。
④ 同時(shí)并行的,我把它稱(chēng)作“第三代++系統”,是碳基的生物計算,這一類(lèi)公司有大量的量子計算,有很多機會(huì )。元宇宙和Web 3今天點(diǎn)冷,但從歷史長(cháng)河角度來(lái)講,只是時(shí)間問(wèn)題,因為這些技術(shù)都能真正意義上帶來(lái)未來(lái)的人類(lèi)價(jià)值。
所以如果是這個(gè)創(chuàng )業(yè)項目,基礎層機會(huì )就在這里。這是最好的生意。為什么?這個(gè)時(shí)代跟淘金時(shí)代很像。如果你那個(gè)時(shí)候去加州淘金,一大堆人會(huì )死掉,但是賣(mài)勺子的人、賣(mài)鏟子的人永遠可以賺錢(qián)。所謂的shove and pick business。
大模型是平臺型機會(huì )。按照我們幾天的判斷,以模型為先的平臺,將比以信息為先的平臺體量更大。平臺有以下幾個(gè)特征:
① 它是開(kāi)箱即用;
② 要有一個(gè)足夠簡(jiǎn)單和好的商業(yè)模式,平臺是開(kāi)發(fā)者可以活在上面,可以賺足夠的錢(qián)、養活自己,不然不叫平臺;
③ 他有自己殺手級應用。ChatGPT本身是個(gè)殺手應用,今天平臺公司就是你在蘋(píng)果生態(tài)上,你做得再好,只要做大蘋(píng)果就把你沒(méi)收了,因為它要用你底層的東西,所以你是平臺。平臺一般都有它的錨點(diǎn),有很強的支撐點(diǎn),長(cháng)期OpenAI設備機會(huì )有很多——有可能這是歷史上第一個(gè)10萬(wàn)億美元的公司。
這是一場(chǎng)激烈的競爭平臺之戰,未來(lái)一個(gè)體量很大的公司。在這個(gè)領(lǐng)域競爭是無(wú)比激烈。The price is too big(代價(jià)實(shí)在太大),錯過(guò)太可惜。再怎么也得試一試。
今天的模型魯棒性、脆弱性,還是問(wèn)題。用這個(gè)模型,你一定要一開(kāi)始稍微窄一點(diǎn),限制要嚴一點(diǎn),這樣的話(huà)體驗是穩定的,等到模型能力越來(lái)越強再把它放寬,找到適當的場(chǎng)景,循序漸進(jìn)。質(zhì)量和寬度之間的平衡很重要。另外發(fā)展路徑上,你要考慮今天產(chǎn)品要不要在這個(gè)上基礎上改,重啟爐灶,還是齊頭并進(jìn)。把這個(gè)團隊給改了、重做,還到外面去買(mǎi)公司?
創(chuàng )新,尤其是創(chuàng )業(yè)公司落地,它永遠是技術(shù)推動(dòng)和需求拉動(dòng)的組合。在落地的過(guò)程中,對需求理解的把控,掌握和滿(mǎn)足需求的方法是一切當中最重要。長(cháng)期一定是技術(shù)驅動(dòng)為主,但在落地的時(shí)候對需求的拆解、分析、梳理,把控好需求,是一切的一切。
有一個(gè)機密大家今天都知道了——OpenAI是用GPT-4做GPT-5,每個(gè)碼農都是放大能力的碼農。它規模效應不一樣,馬太效應不一樣,從此壁壘和競爭格局不一樣,知識產(chǎn)權結果不一樣,國際化的格局也不一樣。中國顯然有機會(huì )。
07?我對創(chuàng )業(yè)者有幾點(diǎn)建議
創(chuàng )業(yè)公司的內在結構是人和事的組合。人,一開(kāi)始是創(chuàng )始人/創(chuàng )始團隊;他有初心,內在驅動(dòng)力、外在驅動(dòng)力;他能獨立思考,判斷未來(lái);他能行動(dòng)導向,解決問(wèn)題;他能需求導向,找到價(jià)值;最終通過(guò)溝通獲得資源。接下來(lái)是產(chǎn)品市場(chǎng)匹配,這部分就是研發(fā)技術(shù)、研發(fā)產(chǎn)品、交付產(chǎn)品。商業(yè)模式是收到錢(qián)、更多增長(cháng)、觸達更多客戶(hù)、融更多錢(qián)、一直觸達到未來(lái)的價(jià)值。組織上,通過(guò)系統建設,開(kāi)拓面向未來(lái)的人才、組織結構和文化價(jià)值觀(guān)等等。這一切就是一家公司的總和。
我們對每位同學(xué)的建議是,不要輕舉妄動(dòng),首先要思考。
① 不要浮夸,不能蹭熱。我個(gè)人最反對蹭熱,你要做大模型,想好到底做什么,大模型真正是怎么回事,跟你的創(chuàng )業(yè)方向在哪個(gè)或哪幾個(gè)維度有本質(zhì)關(guān)系。蹭熱是最不好的行為,會(huì )浪費機會(huì )。
② 在這個(gè)階段要勤于學(xué)習。新范式有多個(gè)維度,有蠻大復雜性,該看到的論文要看,尤其現在發(fā)展實(shí)在太快,非確定性很大。我的判斷都有一定灰度,不能說(shuō)看得很清楚,但大致是看到是這樣的結果。學(xué)習花時(shí)間,我強烈推薦。
③ 想清楚之后要行動(dòng)導向,要果斷、有規劃地采取行動(dòng)。如果這一次變革對你所在的產(chǎn)業(yè)帶來(lái)結構性影響,不進(jìn)則退。你不往前走沒(méi)退路的,今天的位置守不住。如果你所在的產(chǎn)業(yè)被直接影響到,你只能采取行動(dòng)。
接下來(lái)我想講幾個(gè)維度——每個(gè)公司是一組能力的組合。
① 產(chǎn)品開(kāi)發(fā)能力方面,如果你的公司以軟件為主,毫無(wú)疑問(wèn)一定對你有影響,長(cháng)期影響大得不得了。尤其是如果你是做C端,用戶(hù)體驗的設計一定有影響,你今天就要認真考慮未來(lái)怎么辦。
② 如果你的公司是自己研發(fā)技術(shù),短期有局部和間接影響,它可以幫助你思考技術(shù)的設計。長(cháng)期核心技術(shù)的研發(fā)也會(huì )受影響。今天芯片的設計是大量的工具,以后大模型一定會(huì )影響芯片研發(fā)。類(lèi)似的,蛋白質(zhì)是蛋白質(zhì)結構設計。不管你做什么,未來(lái)的技術(shù)它都影響。短期不直接影響,長(cháng)期可能有重大影響。
③ 滿(mǎn)足需求能力,滿(mǎn)足需求基本就要觸達用戶(hù),供應鏈或運維一定受影響。軟件的運維可以用GPT幫你做,硬件的供應鏈未必。長(cháng)期來(lái)看有變革機會(huì ),因為上下游結構會(huì )變。你要判斷你在這個(gè)產(chǎn)業(yè)的結構會(huì )不會(huì )變。
④ 商業(yè)價(jià)值的探索、觸達用戶(hù)、融資,這一切它可以幫你思考、迭代。
最后是關(guān)于人才和組織。
① 首先講創(chuàng )始人。今天創(chuàng )始人技術(shù)能力強,好像很牛、很重要,未來(lái)真的不重要。技術(shù)ChatGPT以后都能幫你做。你作為創(chuàng )始人,越來(lái)越重要、越來(lái)越值錢(qián)的是愿力和心力。愿力是對于未來(lái)的獨到的判斷和信念,堅持、有強的韌勁。這是未來(lái)的創(chuàng )始人越來(lái)越重要的核心素養。
② 對初創(chuàng )團隊,工具能幫助探索方向,加速想法的迭代、產(chǎn)品的迭代,甚至資源獲取。
③ 對未來(lái)人才的培養,一方面學(xué)習工具,思考和探索機會(huì ),長(cháng)期適當時(shí)候培養自己的prompt engineer(提示工程師)。
④ 最后講到組織文化建設,要更深入思考,及早做準備,把握時(shí)代的機會(huì )。尤其是考慮有很多職能已經(jīng)有副駕駛員,寫(xiě)代碼也好,做設計也好,這之間怎么協(xié)同?
我們面臨這樣一個(gè)時(shí)代的機會(huì )。它既是機會(huì ),也是挑戰。我們建議你就這個(gè)機會(huì )做全方位思考。
本文作者:張小珺,來(lái)源:騰訊科技 (ID:qqtech),原文標題:《陸奇最新演講實(shí)錄:我的大模型世界觀(guān)》
風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險,投資需謹慎。本文不構成個(gè)人投資建議,也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資,責任自負。關(guān)鍵詞: