「GPT 還是 Llama2？」過(guò)去幾周時(shí)間里，許多大模型應用層的開(kāi)發(fā)者不得不開(kāi)始集中思考這個(gè)問(wèn)題。

7 月 19 日，開(kāi)源社區最強的大模型從 Llama 升級到 Llama2。后者在 2 萬(wàn)億的 token 上進(jìn)行訓練，訓練數據增加了 40%，在包括推理、編碼、精通性和知識測試等許多外部基準測試中，皆?xún)?yōu)于其他開(kāi)源語(yǔ)言模型。

【資料圖】

「以前的開(kāi)源大模型都沒(méi)有形成像 Llama 這樣的社區，而 Llama 系列模型正是在這種非?；钴S的社區文化下發(fā)展起來(lái)了，這也直接造成 Llama 系列模型在很多任務(wù)上都取得了快速進(jìn)展，甚至達到了商用標準」，東北大學(xué)教授肖桐向機器之心解釋。

GPT-3.5 水平通常被認為是大模型商用的標準線(xiàn)，在 Llama2 模型 70 億、130 億和 700 億三種參數變體中，700 億的版本在 MMLU 和 GSM8K 上接近了 GPT-3.5 的水平。這意味著(zhù)，作為開(kāi)源大模型的代表，Llama2 第一次進(jìn)入了大范圍的商業(yè)考量決策之中，開(kāi)發(fā)者們擁有了一個(gè)免費、開(kāi)源且足夠商用的大模型底座。

今年5月份，谷歌一位工程師在內部撰文直言稱(chēng)，當免費的、不受限制的替代品（開(kāi)源模型）與閉源模型質(zhì)量相當時(shí)，人們不會(huì )為受限制的模型付費。

兩個(gè)月以后，這一預測變成現實(shí)。用 Llama2 進(jìn)行模型訓練的開(kāi)發(fā)者數量正在快速增加。根據Meta披露的信息，Llama2 在發(fā)布的一周內就接收到了超過(guò) 15 萬(wàn)次的下載請求，并且仍在持續增加，Meta 對此表示「不敢置信」。

開(kāi)源與閉源大模型的比賽從此刻開(kāi)始正式打響。面對開(kāi)源大模型更低的成本、更快的迭代速度、更高的定制化上限，閉源大模型的壁壘會(huì )由什么構建，成為一個(gè)問(wèn)題。

Llama2 還是 GPT-4

選擇 Llama2 的原因有很多，成本是最直接的一個(gè)。

當前，GPT-4 接口的調用費用為每 1000 個(gè)提示請求 token 花費 0.03 美元，完成響應 token 花費 0.06 美元。斯坦福大學(xué)研究員在一份論文中估算，如果是中小企業(yè)利用 GPT-4 來(lái)協(xié)助市場(chǎng)工作的話(huà)，每個(gè)月的成本可能超過(guò) 2.1 萬(wàn)美元。而一個(gè)利用 GPT-4 輔助廣告文案生成的公司則表示，它們平均每個(gè)月要為 GPT-4 接口支付超過(guò) 25 萬(wàn)美元的成本。?

一家國內 AIGC 應用商對機器之心透露，Llama2 雖然目前在技術(shù)水平上距離 GPT-4 有一定差距，但是相比于 GPT-4 的高昂成本，團隊仍然選擇了使用 Llama2 作為底層模型，通過(guò)在產(chǎn)業(yè)中積累的行業(yè)數據以及專(zhuān)注在垂直場(chǎng)景進(jìn)行輸出，能夠彌補一部分技術(shù)代差。

「Llama2 出現之后，受打擊最大的應該就是 OpenAI，更多的公司會(huì )開(kāi)始直接基于 Llama2 進(jìn)行商業(yè)化開(kāi)發(fā)，而不再購買(mǎi)它們的 API?！公C豹移動(dòng)董事長(cháng)兼CEO傅盛稱(chēng)。

在免費的沖擊下，原先使用 OpenAI 接口的應用層公司會(huì )重新思考應該選擇哪個(gè)路線(xiàn)，有一部分的市場(chǎng)或許將會(huì )被 Llama2 重新洗牌。

不過(guò)，這個(gè)決策并不完全是成本之上的較量。對于「較好的數據和優(yōu)化是否能夠彌補如今 Llama2 與 GPT-4 差距」這個(gè)問(wèn)題，消極的聲音占據較多數。

東北大學(xué)教授肖桐舉例稱(chēng)，以機器翻譯場(chǎng)景為例，我們可以用一個(gè)類(lèi)似于 Llama2 這樣的開(kāi)源模型去做指令微調，雖然翻譯性能達到不錯的程度，但是最終會(huì )發(fā)現性能上限仍然受限，因為開(kāi)源大模型的某些能力是在預訓練階段獲得的，所以即使你的指令、任務(wù)都是明確的，加上很多數據，但你會(huì )發(fā)現仍然不容易做到 GPT-4 的效果。

另外，相比于往常的披露，此次 Llama2 開(kāi)源并沒(méi)有對外披露數據層的具體信息，因此復現 Llama2 成為一件受限制的事情?！副热缫蛔鶚欠?，你只能在這個(gè)基礎之上去裝修卻做外設，但是你沒(méi)有辦法去改變它的鋼混結構，你沒(méi)有訓練它底座的權限和能力，所以它的性能很難突破，逼近 GPT-4 這個(gè)事情是不可能的」，昆侖萬(wàn)維 CEO 方漢認為。

一些應用開(kāi)發(fā)者則認為，按照此時(shí) Llama2 與 GPT-4 的水平差距，如果全力押注 Llama2，付出的代價(jià)可能同樣很大?！缚赡苣阋ê芏鄷r(shí)間在優(yōu)化 Prompt 上，而不是產(chǎn)品創(chuàng )新?！?/p>

因此，在技術(shù)的絕對領(lǐng)先下，GPT-4 仍然會(huì )持續吸引到對效果有相對極致的、在成本方面有較大空間的客戶(hù)。

當然，比起存量市場(chǎng)的轉移，Llama2 的更大貢獻應該是對整個(gè) AIGC 行業(yè)增量市場(chǎng)的拉動(dòng)。一位 AIGC 業(yè)內人士向機器之心表示，Llama2 的開(kāi)源點(diǎn)燃了很多應用開(kāi)發(fā)者的熱情，在開(kāi)源后的幾周時(shí)間，許多開(kāi)發(fā)者將它看成是移動(dòng)互聯(lián)網(wǎng)黃金時(shí)期的階段，希望能找到應用的切口。

正如肖桐所言，Llama2 能夠支持企業(yè)和團隊在大模型應用層面低成本、快速地啟動(dòng)，作出產(chǎn)品和商業(yè)模式的原形。

而隨著(zhù)圍繞 Llama 的應用嘗試越來(lái)越多，「圍繞 Llama2 的生態(tài)的可能會(huì )被建立起來(lái)，這種遷移是比較難的，因此生態(tài)會(huì )成為一個(gè)飛輪」，傅盛提到，之后或許將迎來(lái)一個(gè)模型平民化的階段，使用大模型做應用的門(mén)檻將不斷降低。昆侖萬(wàn)維 CEO 方漢則具體指出，在國內，Llama2 對市場(chǎng)的影響將集中在小 B 市場(chǎng)，文生圖、智能寫(xiě)小說(shuō)這類(lèi)場(chǎng)景會(huì )迎來(lái)更多競爭對手。

在過(guò)去的幾周時(shí)間里，Llama2 已被接入 Amazon Sagemaker、Databricks、Watsonx.ai、Microsoft Azure、阿里云和百度千帆等各種平臺，圍繞 Llama2 的生態(tài)已經(jīng)開(kāi)始發(fā)展。

大模型創(chuàng )業(yè)公司的危機

對大部分底層大模型創(chuàng )業(yè)公司來(lái)說(shuō)，一條比較明確的商業(yè)化路徑是效仿 OpenAI，通過(guò)自研大約 GPT-3.5 水平的模型，然后向客戶(hù)提供 MaaS 服務(wù)，出售底層模型的能力。

在 Llama2 推出之前，開(kāi)源社區最強的大模型 Llama 在商用許可上具有限制，而 OpenAI 的接口在國內面臨著(zhù)不確定的監管風(fēng)險，因此相比于兩者，國產(chǎn)大模型在市場(chǎng)競爭中的優(yōu)勢通常是「可商用」、「數據安全」以及更好的「服務(wù)支持」。

Llama2 的釋出削弱了國產(chǎn)大模型創(chuàng )業(yè)公司在市場(chǎng)上的競爭力?！笍脑S多公開(kāi)的測試集上，我們可以看到，國內大部分的大模型公司的水平距離 GPT-3.5 仍然有距離」，一位 AI 方向資深投資人稱(chēng)。也就是說(shuō)，對于國內的大部分大模型創(chuàng )業(yè)公司來(lái)說(shuō)，Llama2 意味著(zhù)一個(gè)價(jià)格碾壓（免費）、技術(shù)更強以及可以支持商用的競爭對手。

對那些自研大模型積累不夠的公司來(lái)說(shuō)，Llama2 產(chǎn)生的打擊則更甚。傅盛認為，「Llama2 將開(kāi)源的水平提升到了接近 GPT-3.5 的水平。如果說(shuō)此時(shí)你的自研水平遠遠不如 Llama2，那么意味著(zhù)可能你之前的工作都白做了?！?/p>

對這部分公司來(lái)說(shuō)，當前面臨兩種選擇，一是拋棄自研路線(xiàn)，利用自己此前積累的數據和經(jīng)驗開(kāi)始用 Llama2 進(jìn)行開(kāi)源模型訓練，二是繼續堅持自研路線(xiàn)，但是需要衡量所付出的時(shí)間和金錢(qián)成本，以及最終自身能否追趕并超越上快速迭代的開(kāi)源生態(tài)。無(wú)論哪種，都是一個(gè)艱難的選擇。

Llama2 為開(kāi)源社區貢獻的新的技術(shù)里程碑，不僅拉高了閉源公司整體的自研門(mén)檻，或許還將動(dòng)搖很大一部分公司「繼續自研」的決心。

「對于很多公司來(lái)說(shuō)，當你自研的大模型沒(méi)有辦法去超過(guò) Llama2 后，你會(huì )越來(lái)越?jīng)]有動(dòng)力去自研模型，會(huì )更傾向于站在巨人的肩膀上，這更多是一種心理層面的影響」，面壁智能 CTO 曾國洋說(shuō)道。

而如果認為自己短期內憑借自研能力無(wú)法超過(guò) Llama2 的這部分公司，「很有可能就會(huì )去考慮成為端到端的應用公司，利用自己的既有模型結合開(kāi)源模型，直接向市場(chǎng)提供應用，最后實(shí)現數據上的閉環(huán)，從而不斷迭代」，上述投資人表示。

不過(guò)，對于頭部大模型公司來(lái)說(shuō)，「自研」路線(xiàn)上的搖擺現象概率要低得多。昆侖萬(wàn)維從 2020 年開(kāi)始籌備大模型，已經(jīng)對外推出了成熟可商用的大模型產(chǎn)品。昆侖萬(wàn)維 CEO 方漢告訴機器之心，目前對于昆侖萬(wàn)維而言，在技術(shù)上更值得期待的是，如何從 GPT-3.5 提升到 GPT-4?！竾鴥纫呀?jīng)在牌桌上的大模型公司對如何做到 GPT-3.5 大多已經(jīng)沒(méi)有什么疑問(wèn)，但下一步如何做到 GPT-4 仍然需要花大力氣探索，因此 Llama2 在技術(shù)上對大廠(chǎng)沒(méi)有什么參考意義」。

同樣已經(jīng)推出成熟大模型產(chǎn)品的公司面壁智能CTO曾國洋持類(lèi)似觀(guān)點(diǎn)。他認為，在技術(shù)上 Llama2 最多在一些具體任務(wù)上可以起到一些 Benchmark 的作用，但是 Llama2 最值得參考的數據處理層面沒(méi)有開(kāi)源，因此整體在技術(shù)上參考意義有限。

從市場(chǎng)競爭的角度來(lái)看，在國內市場(chǎng)，相比于 Llama2，國內頭部大模型公司擁有更優(yōu)越的中文表現、更穩定的監管預期、更便利的服務(wù)支持以及更近的市場(chǎng)渠道。因此，面對于 Llama2 的免費優(yōu)勢，能夠做到在性能上更好、模型更加易用的頭部大模型公司，理論上就能夠繼續維持整體優(yōu)勢。

并且，對于頭部大模型公司來(lái)說(shuō)，在自研路線(xiàn)上投入的沉沒(méi)成本遠遠超過(guò)中尾部大模型公司，不同自研的路線(xiàn)往往也代表了公司的行業(yè)、場(chǎng)景上的側重點(diǎn)，頭部公司有足夠的資金、人才以及驅動(dòng)力繼續自研。

Llama2 對國內大模型公司的影響將是一個(gè)持續的過(guò)程。如今全球范圍內 AIGC 行業(yè)仍在起步上升階段，并沒(méi)有穩定的市場(chǎng)格局。由于底層技術(shù)水平仍在早期，中國市場(chǎng)則更加分散，尚未發(fā)展起來(lái)。全球來(lái)看 GPT 的市場(chǎng)份額應當是最大的，而國內目前 Llama2 能夠受影響的市場(chǎng)僅僅只是擔心 GPT 受監管影響、且國產(chǎn)大模型都不適用的這部分客戶(hù)，是一個(gè)「暫存市場(chǎng)」。

不過(guò)，雖然「暫存市場(chǎng)」整體并不大，但在暫存市場(chǎng)中證明自己的模型商業(yè)化能力已經(jīng)成為許多大模型公司的「融資通行證」。上述投資人告訴機器之心，在比較標的的過(guò)程中，雖然 Llama2 在技術(shù)上起到的參考價(jià)值不大（有GPT-3.5），但是公司如何應對 Llama2 帶來(lái)的商業(yè)化危機會(huì )成為資方較為在意的點(diǎn)。如果說(shuō)，在這場(chǎng)市場(chǎng)競爭中失敗，融不到資，可能就會(huì )影響到大模型創(chuàng )業(yè)公司的存續問(wèn)題，在目前的階段，這可能是一個(gè)更致命的問(wèn)題。

沒(méi)有長(cháng)期護城河

無(wú)論是 Llama2 瓜分閉源公司的既有市場(chǎng)份額，還是推動(dòng)整個(gè)行業(yè)進(jìn)一步繁榮，「開(kāi)源 AI 正在取得勝利」這個(gè)判斷似乎擁有了更多實(shí)證。

這個(gè)觀(guān)點(diǎn)來(lái)自于今年5月谷歌一位工程師在內網(wǎng)發(fā)布的文件。在谷歌與 OpenAI 仍在焦灼 AI 軍備競賽之際，這位工程師在文件中直言：開(kāi)源派與谷歌和 OpenAI 模型之間的差距正在以驚人的速度縮小，它們將很快對谷歌和 OpenAI 進(jìn)行超越，我們沒(méi)有護城河。

「一家公司不斷在前面推天花板，后面的人不停追趕，雖然它可能會(huì )有自己累積的技術(shù)優(yōu)勢，但是別人在追趕它的時(shí)候，能看見(jiàn)它已經(jīng)成功做了什么，那么（追趕）就會(huì )更容易」，西湖大學(xué)張岳教授對機器之心解釋。

面壁智能 CTO 曾國洋則進(jìn)一步表示，從目前公開(kāi)資料所披露的 GPT-4 的具體技術(shù)情況，我們發(fā)現它并沒(méi)有使用一些特別神奇、超越時(shí)代的科技，本質(zhì)上也是用大家都能理解的技術(shù)來(lái)做拼接組合，最終實(shí)現了效果更好。

如果說(shuō)，領(lǐng)先的閉源模型是確定可追隨的，那么意味著(zhù)，「長(cháng)遠來(lái)看，閉源大模型并沒(méi)有真正的護城河」，曾國洋與張岳認為。

在這個(gè)前提下，追隨者之中，開(kāi)源AI無(wú)疑是最有競爭力的一支力量。在開(kāi)源社區的支持下，開(kāi)源模型的迭代速度比想象地更快。以 Llama2 本身所欠缺的中文語(yǔ)料為例，僅在 Meta 開(kāi)源 Llama2 次日，開(kāi)源社區首個(gè)能下載、能運行的開(kāi)源中文 Llama2 模型「Chinese Llama 2 7B」就出現了。

在商業(yè)環(huán)境中，一家基于開(kāi)源模型研發(fā)的的垂直 AIGC 產(chǎn)品公司近日告訴機器之心，經(jīng)過(guò)它們的內部驗證，任何閉源模型的更新，它們有信心能夠結合自身的數據和工程化經(jīng)驗，三個(gè)月內在自己垂直的場(chǎng)景中實(shí)現差不多的水平。

當然，短期來(lái)看領(lǐng)先的閉源模型相較于開(kāi)源模型，護城河仍然十分清晰。東北大學(xué)教授肖桐認為，相較于開(kāi)源模型，走閉源路線(xiàn)的大廠(chǎng)在人才、組織以及數據三個(gè)方面有短時(shí)間難以取代的優(yōu)勢。大廠(chǎng)往往擁有更高密度更高水平的人才，以及有經(jīng)驗的團隊能夠協(xié)調人才和高性能設備，并且能夠擁有其他人無(wú)法拿到數據。此外，曾國洋還提到，大廠(chǎng)往往也擁有充足算力?！傅L(cháng)期來(lái)說(shuō)的話(huà)，數據和算力各種要素都會(huì )慢慢追平」。

在這個(gè)過(guò)程中，開(kāi)源模型真正的影響力在于對生態(tài)系統的構建?！窵lama2 可能會(huì )推動(dòng)大模型上下游進(jìn)行整合，一旦解決了規模的問(wèn)題，成本也將大大下降」，肖桐表示。

雖然目前 Llama2 僅僅可能是大模型開(kāi)源生態(tài)系統的開(kāi)端，「大家對 Llama2 的能力邊界不是非常清晰，生態(tài)系統的形成同樣需要一些時(shí)間」。但隨著(zhù) Llama2 的釋出，開(kāi)源社區的技術(shù)能力被帶上另一個(gè)臺階，大模型開(kāi)源社區的力量已經(jīng)無(wú)法被忽視。

作者：姜菁玲，來(lái)源：機器之心，原文標題：《Llama2開(kāi)源后，國產(chǎn)大模型在卷什么？》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：