解析 ChatGPT 技術概念

大家都知道Chat是聊天,那GPT是什麼呢?

2018年,由OpenAI所提出的大型語言模型GPT(Generative Pre-trained Transformer),是以Google在2017年論文中所提出的Transformer做為模型架構,並應用於生成語言的任務上;中間的P指的是「Pre-trained」,也就是被稱作「預訓練」的訓練方法。所謂的預訓練是預先透過大量的文本訓練,讓模型學習文字與文字間的關聯,再利用文字特性,讓模型學習人類平時是如何使用字彙,並猜測下一個字會是什麼。這種模型訓練方式有點像文字接龍,讓模型根據前文推算出下一個可能出現的字。

如上圖中的例子,假設「the chef cooked the meal」這一句話,可以看到圖中模型學習的過程,模型所學的事情就是根據前面的字句,推算出下一個合適的字詞,並根據過去所看過的大量文本,推測生成出最有可能的字,再依前面兩個字推測下一個最有可能出現的字,依此類推。

推測的過程中也涉及了機率問題,由於機器閱讀了大量的文本,因此某個字詞所接續的字並不一定相同,也很難判定每個字出現的機率為多少,而這也解釋了為什麼與 ChatGPT 聊天時,明明問了相同問題,卻會得到不同回答的原因。

GPT 與 ChatGPT 的區別

GPT是一個仿造人類神經網路而建立的大型語言模型,希望藉由大量的參數,讓模型學習文本中的知識,期望可以運用到生成文字任務上,而 OpenAI 也提供一個平台,可以使用 GPT 模型進行自然語言生成任務。

雖然 GPT 可以用於文法修正、翻譯等自然語言生成任務,但在聊天方面尚未完全成熟。

我們以 divanci 這個模型為例,這是一個從 GPT-1發展至 GPT-3的模型,至 GPT-3 時,可以發現擁有更多的資料量,及更龐大的模型參數。而它的概念跟前面所說的文字接龍一樣,雖然是問答形式,但是 GPT 生成出來的回覆並不符合人類的期望,這些過去的成果表現,自然也讓大家不會想跟 GPT 對話與聊天。

為什麼ChatGPT可以做到跟人類自然應對呢?

ChatGPT 是以 GPT 為基底的聊天模型,最大的特點是加入人類的回饋進行微調,而從 GPT-3 到現在的 ChatGPT ,中間又經過哪些的改良?

GPT-3 有一部分發展成 Codex 這個模型,它推斷程式碼編寫的流程可能跟人類逐步解題的過程類似,藉此讓這個模型學習到推理能力,另外增加 Instruct tuning 機制,以利模型回答問題,進一步根據不同的指令回答對應的句子,讓模型自己舉一反三,並應用到新的任務上面。

GPT-3.5 結合了推理與遵循指令和應用兩個能力,後續 ChatGPT 則基於兩者的結果,再加入RLHF 機制,透過人類介入回饋,以改良 Instruct tuning 機制的接收與應用指令的能力,使得 ChatGPT 可以生成更中立客觀的答案。

ChatGPT 應用及發展

ChatGPT 的應用無窮無盡,也讓人驚豔於新型態應用的出現,有人使用 ChatGPT 生成故事後再結合繪圖工具產生插畫,接著放到平台販售,更把 ChatGPT 當作共同的創作者;也有歌手根據 ChatGPT 生成一些歌詞或旋律。

它可以根據情境做出多樣性的回答,但必須要給它有效的指令。例如要做宣傳文案,就必須讓它帶入角色、明確定義要做的事情,但也要特別注意,ChatGPT 本質仍是一個語言模型,它可能會產生出自己腦補的資訊,而且無法保證這些資訊的正確性;同時,它也極為仰賴我們提供的訓練資料。ChatGPT 官網也表示,目前只有拿到2021年之前的資訊,因此,2021年後的資訊回覆是有限的。

不過,Microsoft也將ChatGPT 應用至搜索引擎- Bing上,使之可以利用網路的搜尋以彌補ChatGPT在資訊限制上的問題,甚至可以把網頁連結給 Bing,讓它讀完裡面的內容後,提供一些問答給你,這些功能都是 ChatGPT 沒有的。

Open AI 的技術長曾提到,當初推出ChatGPT是希望能讓大眾盡快認識到 AI 的發展,雖然 ChatGPT 目前沒辦法分辨事情真假,但也因為它的彈性,而產生出許多新的創作模式。雖然,還是要需要人類的智慧和指令輔助,且沒有辦法取代人類的判斷、決策力,甚至是人類的情感溫度,但我們能透過協作輔助、增強靈感,並創造出更多價值。