国产精品久久久久久久久久久久午衣片,无码AV大香线蕉伊人久久蜜臀,欧美日韩亚洲中文字幕三,欧美日韩精品成人网视频

賽道Hyper | 爆點(diǎn)來(lái)了:用LLM成功設計芯片

用ChatGPT聊個(gè)天或通過(guò)Midjouney畫(huà)張圖,其高度的智能性,讓全球大叫“哇塞”。但是,GPT的基礎設施LLM,更性感的能力,竟已能在高精尖領(lǐng)域——芯片設計,達成新成果。?

這是堪稱(chēng)逆天的AGI能力。?

最近,紐約大學(xué)Tandon(坦頓)工程學(xué)院的研究人員,通過(guò)GPT-4設計并流片了一顆芯片。?


(相關(guān)資料圖)

通過(guò)據稱(chēng)是比較簡(jiǎn)單的英語(yǔ)對話(huà),CPT-4生成了可行的Verilog(硬件描述語(yǔ)言)。接著(zhù),這些技術(shù)人員就將基準測試和處理器發(fā)送到Skywater 130 nm穿梭機上,實(shí)現了成功流片(Tapeout)。?

在芯片設計和制造領(lǐng)域,以摩爾定律的標準看,130nm工藝制程,太過(guò)落伍,但這卻是AI技術(shù)史上貨真價(jià)實(shí)的重大突破。?

用LLM設計芯片??

從GPT的英文全稱(chēng)“Generative Pre-trained Transformer”可以看到,這是個(gè)生成式預訓練模型。?

OpenAI首席科學(xué)家、ChatGPT背后的技術(shù)大佬伊利亞·蘇茨克維(Ilya Sutskever)說(shuō),GPT(生成式預訓練模型)學(xué)習的是“世界模型”。Sutskever將互聯(lián)網(wǎng)文本稱(chēng)作物理世界的映射。因此,將海量互聯(lián)網(wǎng)文本作為學(xué)習語(yǔ)料的GPT學(xué)習到的就是整個(gè)物理世界。?

很清楚,生成式的能力,建立在學(xué)習語(yǔ)料的預訓練模型基礎上。?

那什么是預訓練模型??

2017年,Google大腦團隊在神經(jīng)信息處理系統大會(huì )發(fā)表了一篇名為《注意力是你所需要的全部》(Attention Is All You Need)的論文。?

這篇論文的作者在文章中第一次提出了一個(gè)基于注意力機制的Transformer模型,并且把這個(gè)模型首次用在理解人類(lèi)的語(yǔ)言上,這就是自然語(yǔ)言處理(NLP:Natural Language Processing)。?

Google大腦團隊利用非常多已公開(kāi)的語(yǔ)言數據集來(lái)訓練這個(gè)最初的Transformer模型,而這個(gè)Transformer模型包括6500萬(wàn)個(gè)可調參數。?

經(jīng)過(guò)大量訓練后,這個(gè)Transformer模型在英語(yǔ)成分句法分析、翻譯準確度等多項評分上都在業(yè)內達到第一的水準,世界領(lǐng)先,成為當時(shí)最為先進(jìn)的大型語(yǔ)言模型(LLM:Large Language Model)。?

2018年,OpenAI公司在研究Transformer模型時(shí)有了自己的技術(shù)突破。OpenAI發(fā)表了論文《用生成式預訓練提高模型的語(yǔ)言理解力》(Improving Language Understanding by Generative Pre training),推出具備1.17億個(gè)參數的GPT-1模型。?

GPT-1模型是一個(gè)基于Transformer結構的模型,但訓練它的數據集更為龐大:包括7000多本未出版的圖書(shū),并涵蓋多種類(lèi)型,如言情、冒險、恐怖、奇幻等。在對模型做大量預訓練后,OpenAI還在四種不同的語(yǔ)言場(chǎng)景下,利用多種相異的特定數據集對模型做進(jìn)一步訓練。?

最終OpenAI訓練出的模型GPT-1,在文本分類(lèi)、問(wèn)答、文本相似性評估、蘊含語(yǔ)義判定這四個(gè)評價(jià)維度上,都取得了比基礎Transformer模型更好的結果,因此也取代Transformer模型,成為新的LLM龍頭。?

OpenAI在2022年神經(jīng)信息處理系統大會(huì )中,推出新的大型語(yǔ)言預訓練模型:ChatGPT。GPT-3.5是ChatGPT的前身,也是OpenAI對GPT-3模型做微調后開(kāi)發(fā)出來(lái)的模型。在GPT-3.5誕生后,ChatGPT問(wèn)世。?

不難看出,ChatGPT的“地基”是基于Transformer結構的模型。換句話(huà)說(shuō),LLM用Transformer體系結構,構建了ChatGPT。?

明白了這個(gè)邏輯關(guān)系,再來(lái)看看用GPT-4設計并成功流片的130nm芯片的AI“生成”情況。?

通過(guò)LLM的加持,芯片設計行業(yè)的關(guān)鍵技術(shù)節點(diǎn)“HDL”被成功攻克。芯片設計和開(kāi)發(fā)的門(mén)檻大幅降低,速度也因此得以加快。

什么是HDL??

HDL,即Hardware Description Language,自動(dòng)化硬件描述語(yǔ)言,也就是面向接口編程:對硬件電路做行為描述、寄存器傳輸描述或者結構化描述的一種設計語(yǔ)言,包括主流的VHDL(偏重邏輯綜合,用于大規模系統設計)和Verilog HDL(側重底層統合,IC設計應用主體)。?

使用HDL能提高數字電路設計的效率和可靠性,同時(shí)也可降低仿真和驗證成本。因此,HDL在數字電路設計和系統集成中得到了廣泛應用。?

這怎么做到的??

紐約大學(xué)坦頓工程學(xué)院的那些研究員,通過(guò)GPT-4,完成了首個(gè)由AI生成的HDL,這能被直接用以制造物理芯片。?

在這個(gè)過(guò)程中,這些人并非用專(zhuān)業(yè)的HDL語(yǔ)言,而是用了普通英語(yǔ)。通過(guò)GPT-4的生成式AI,普通英語(yǔ)也能起到像HDL這樣的專(zhuān)用硬件描述語(yǔ)言一樣的作用。?

這是一座里程碑。?

紐約大學(xué)坦頓工程學(xué)院電子和計算機工程系以及紐約大學(xué)網(wǎng)絡(luò )安全中心研究助理教授Dr.Hammond Pearce,是這個(gè)研究項目“Chip Chat”的領(lǐng)導人。?

Pearce說(shuō),他特別想了解基于生成式AI的AGI(通用人工智能:Artificial General Intelligence)語(yǔ)義大模型(LLM)在硬件設計領(lǐng)域的能力和限制邊界。?

“硬件描述語(yǔ)言(HDL)的最大挑戰是沒(méi)多少人知道具體該怎么用?!盤(pán)earce說(shuō),“要成為HDL專(zhuān)家(通常是硬件工程師)非常難。我不是芯片設計專(zhuān)家,但通過(guò)GPT-4,用日常語(yǔ)言(而非HDL)設計了這顆芯片?!?

當然,Pearce團隊設計芯片,也遵循了設計流程圖和評估標準。因此用GPT-4設計的芯片,也達到工業(yè)標準。因而在Skywater 130nm shuttle上得以被成功制造出來(lái)。?

看上去,可以用LLM替代HDL。?

一般來(lái)說(shuō),開(kāi)發(fā)任何類(lèi)型硬件(包括芯片),首要第一步,都要用日常語(yǔ)言描述硬件功能,通常稱(chēng)為產(chǎn)品定義。?

在這之后,再經(jīng)過(guò)具有專(zhuān)業(yè)技能的工程師,將這些定義翻譯成硬件描述語(yǔ)言(HDL),由此創(chuàng )建允許硬件執行任務(wù)的實(shí)際電路元件。后面還繼之以硬件驗證語(yǔ)言(HVL:Hardware Verification Language),用于電子電路設計驗證。?

LLM不僅可以用于一般商業(yè)應用的交互(問(wèn)答),也能用于替代硬件設計的HDL環(huán)節,提高設計效率。?

Pearce團隊是怎么問(wèn)的呢??

“讓我們一起做個(gè)全新的微處理器設計。我們在空間和I/O方面受到嚴重限制。因此我們必須裝入1000個(gè)標準單元的ASIC(專(zhuān)用芯片),所以我認為我們需要限制自己,采用基于累加器的8位架構,沒(méi)有多字節指令。鑒于此,你認為我們應該如何開(kāi)始?”?

這種問(wèn)答來(lái)回125次后,一顆130nm工藝制程的芯片就通過(guò)LLM制造出來(lái)了。?

盡管驗證成果驚人,但這不意味著(zhù)普通人也能通過(guò)LLM設計出符合工業(yè)標準的芯片。比如在125次來(lái)回問(wèn)答中,沒(méi)有芯片專(zhuān)業(yè)知識的普通人,很難問(wèn)出能出成果的好問(wèn)題。雖說(shuō)能提出問(wèn)題,就是解決了一半的問(wèn)題。但這種問(wèn)題,絕非隨意胡亂提問(wèn)的結果。?

Pearce團隊曾經(jīng)測試過(guò)LLM將英語(yǔ)轉換為Verilog的效果,但結果顯示,專(zhuān)業(yè)工程師加入GPT-4的交互過(guò)程后,LLM才產(chǎn)生了最好的Verilog。?

Pearce也說(shuō),“通過(guò)GPT-4,HDL專(zhuān)家能專(zhuān)注于更重要的任務(wù),而基礎工作,可以交給LLM?!?

實(shí)際上,這件事的意義是Pearce團隊首次探索并驗證了在硬件領(lǐng)域使用LLM的效果。但是,目前仍不清楚這個(gè)研究團隊是否應用了“基于人類(lèi)反饋的強化學(xué)習(RLHF)”訓練方法。這種方式能通過(guò)將其與特定意圖的標記數據結合,可生成更能遵循用戶(hù)意圖的指令調優(yōu)模型。?

此外,這項應用能否被大規模用于商業(yè)芯片設計,還沒(méi)有定論。比如,這項工作的目標是以對話(huà)交互方式設計硬件,Pearce團隊沒(méi)有自動(dòng)化這個(gè)過(guò)程的任何部分,每個(gè)對話(huà)都需要手動(dòng)完成。如果無(wú)法實(shí)現大規模自動(dòng)化,那么商業(yè)化就存在困難。?

因此,雖然這項實(shí)驗取得了驚人的成果,或許稱(chēng)得上是一座AGI技術(shù)驗證的豐碑,但距離真正發(fā)揮商業(yè)價(jià)值,也許還有一段不短的路程要走。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險,投資需謹慎。本文不構成個(gè)人投資建議,也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資,責任自負。

關(guān)鍵詞: