ChatGPT迅速獲得了數(shù)百萬(wàn)人的關(guān)注，但許多人都持謹(jǐn)慎態(tài)度，因?yàn)槎疾涣私馑墓ぷ髟?。而本文就是試圖將其分解，以便更容易理解。
然而，就其核心而言，ChatGPT是一個(gè)非常復(fù)雜的系統(tǒng)。如果想要玩ChatGPT或者想弄懂它是什么，核心界面是一個(gè)聊天窗口，可以在其中提問(wèn)或提供查詢，AI會(huì)做出回應(yīng)。要記住的一個(gè)重要細(xì)節(jié)是，在聊天中，上下文會(huì)被保留，這意味著消息可以引用先前的信息，而ChatGPT將能夠根據(jù)上下文地理解這一點(diǎn)。
當(dāng)在聊天框中輸入查詢時(shí)會(huì)發(fā)生什么?
神經(jīng)網(wǎng)絡(luò)
首先，在ChatGPT的框架下，有很多東西待發(fā)現(xiàn)。機(jī)器學(xué)習(xí)在過(guò)去10年里一直在迅速發(fā)展，ChatGPT利用了許多最*的技術(shù)來(lái)實(shí)現(xiàn)其結(jié)果。
神經(jīng)網(wǎng)絡(luò)是相互連接的“神經(jīng)元”層，每個(gè)神經(jīng)元負(fù)責(zé)接收輸入、處理輸入，并將其傳遞給網(wǎng)絡(luò)中的下一個(gè)神經(jīng)元。神經(jīng)網(wǎng)絡(luò)構(gòu)成了當(dāng)今人工智能的支柱。輸入通常是一組稱為“特征”的數(shù)值，表示正在處理的數(shù)據(jù)的某些方面。例如，在語(yǔ)言處理的情況下，特征可能是表示句子中每個(gè)單詞的含義的詞嵌入。
詞嵌入只是一種文本的數(shù)字表示，神經(jīng)網(wǎng)絡(luò)將使用它來(lái)理解文本的語(yǔ)義，然后可以將其用于其他目的，比如以語(yǔ)義邏輯的方式進(jìn)行響應(yīng)！
因此，在ChatGPT中按回車鍵后，該文本首先被轉(zhuǎn)換為詞嵌入，這些詞嵌入是在整個(gè)互聯(lián)網(wǎng)上的文本上進(jìn)行訓(xùn)練的。然后有一個(gè)經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，在給定輸入詞嵌入的情況下，輸出一組合適的響應(yīng)詞嵌入。然后，使用應(yīng)用于輸入查詢的逆操作將這些嵌入入翻譯成人類可讀的單詞。這個(gè)解碼后的輸出就是ChatGPT打印出來(lái)的內(nèi)容。
ChatGPT模型大小
轉(zhuǎn)換和輸出生成的計(jì)算成本非常高。ChatGPT位于GPT-3之上，GPT-3是一個(gè)擁有1750億個(gè)參數(shù)的大型語(yǔ)言模型。這意味著在OpenAI使用其大型數(shù)據(jù)集調(diào)整的廣泛神經(jīng)網(wǎng)絡(luò)中有1750億個(gè)權(quán)重。
因此，每個(gè)查詢至少需要兩次1750億次計(jì)算，這加起來(lái)很快。OpenAI可能已經(jīng)找到了一種方法來(lái)緩存這些計(jì)算以降低計(jì)算成本，但不知道這些信息是否已經(jīng)發(fā)布到任何地方。此外，預(yù)計(jì)將于今年年初發(fā)布的GPT-4，據(jù)稱參數(shù)增加了1000倍!
計(jì)算復(fù)雜性會(huì)導(dǎo)致實(shí)際成本!如果ChatGPT很快成為付費(fèi)產(chǎn)品，不必感到驚訝，因?yàn)镺penAI目前正在花費(fèi)數(shù)百萬(wàn)美元免費(fèi)運(yùn)營(yíng)它。
編碼器、解碼器和RNN
自然語(yǔ)言處理中常用的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是編碼器-解碼器網(wǎng)絡(luò)。這些網(wǎng)絡(luò)的設(shè)計(jì)目的是將輸入序列“編碼”為緊湊表示，然后將該表示“解碼”為輸出序列。
傳統(tǒng)上，編碼器-解碼器網(wǎng)絡(luò)已經(jīng)與循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)配對(duì)，用于處理順序數(shù)據(jù)。編碼器處理輸入序列并產(chǎn)生固定長(zhǎng)度的向量表示，然后將其傳遞給解碼器。解碼器處理這個(gè)向量并產(chǎn)生輸出序列。
編碼器-解碼器網(wǎng)絡(luò)已廣泛應(yīng)用于機(jī)器翻譯等任務(wù)，其中輸入是一種語(yǔ)言的句子，輸出是將該句子翻譯成另一種語(yǔ)言。它們也被應(yīng)用于摘要和圖像說(shuō)明生成任務(wù)。
Transformer模型和Attention機(jī)制
與編碼器-解碼器結(jié)構(gòu)類似，變壓器包括兩個(gè)組件;然而，轉(zhuǎn)換器的不同之處在于它使用一種自關(guān)注機(jī)制，允許輸入的每個(gè)元素關(guān)注所有其他元素，從而允許它捕獲元素之間的關(guān)系，而不管它們彼此之間的距離如何。
Transformer還使用多頭注意力，允許它同時(shí)關(guān)注輸入的多個(gè)部分。這使得它能夠捕獲輸入文本中的復(fù)雜關(guān)系并產(chǎn)生高度準(zhǔn)確的結(jié)果。
在2017年發(fā)表“Attention is All You Need”論文時(shí)， Transformer 取代了編碼器-解碼器架構(gòu)，成為自然語(yǔ)言處理的最*模型，因?yàn)樗梢栽谳^長(zhǎng)的文本中實(shí)現(xiàn)更好的性能。
Transformer 架構(gòu)
生成式預(yù)訓(xùn)練
生成式預(yù)訓(xùn)練是一種在自然語(yǔ)言處理領(lǐng)域特別成功的技術(shù)。它涉及以無(wú)監(jiān)督的方式在海量數(shù)據(jù)集上訓(xùn)練廣泛的神經(jīng)網(wǎng)絡(luò)，以學(xué)習(xí)數(shù)據(jù)的通用表示。這個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)可以針對(duì)特定任務(wù)進(jìn)行微調(diào)，比如語(yǔ)言翻譯或問(wèn)答，從而提高性能。
生成式預(yù)訓(xùn)練架構(gòu)，摘自《通過(guò)生成式預(yù)訓(xùn)練提高語(yǔ)言理解能力》
在ChatGPT的例子中，這意味著對(duì)GPT-3模型的最后一層進(jìn)行微調(diào)，以適應(yīng)在聊天中回答問(wèn)題的用例，這也利用了人工標(biāo)記。下圖可以更詳細(xì)地了解ChatGPT微調(diào)：
ChatGPT 微調(diào)步驟
把一切結(jié)合在一起
因此，在ChatGPT的框架下有許多活動(dòng)部件，這些部件只會(huì)不斷增長(zhǎng)。看到它如何繼續(xù)發(fā)展將是非常有趣的，因?yàn)樵S多不同領(lǐng)域的進(jìn)步將幫助類似GPT的模型獲得進(jìn)一步的采用。
在接下來(lái)的一兩年里，我們可能會(huì)看到這種新的使能技術(shù)帶來(lái)的重大顛覆。
