迎接AI時代，你準備好了嗎？——《就是ChatGPT》

《這就是ChatGPT》，一本講解什麼是ChatGPT的科普讀物，作者斯蒂芬·沃爾夫勒姆，英國著名的計算機科學家，人工智能領域的領軍人物，非常有名的極客，被稱為“在世的最聰明的人”。作為AI方面的頂級專家，由他寫ChatGPT的科普讀物，自然是最合适不過。

本書不厚，但卻是我近期讀到的AI大模型方面講的最清晰透徹的一本讀物。初學者要理解ChatGPT，讀這一本書就夠了。

...

2022年11月，美國人工智能研究公司OpenAI正式推出了對話交互式的ChatGPT。它甫一面世，立即風靡世界，席卷全球，這标志着AI進入了大模型時代。在ChatGPT的引領下，人類的一隻腳，正開始邁入AI時代。

“從此刻開始，搜索的毛利率将永遠、不可逆地進入下降軌道。”——薩提亞·納德拉(Satya Nadella)，微軟公司首席執行官

一、人工智能與ChatGPT的發展

1950年，圖靈發表了論文《計算機器與智能》(Computing Machinery and Intelligence)，提到了著名的“圖靈測試”，通常認為這是“機器學習(ML)”的第一個裡程碑。

2006年，傑弗裡·辛頓正式提出深度學習概念，這一年，被稱為深度學習元年。

2016年3月，AlphaGo以4比1的成績戰勝了韓國圍棋選手李世石，這是人工智能嶄露頭角的标志性事件。當時的AlphaGo版本結合了深度神經網絡和蒙特卡洛樹搜索算法。并沒有用到GPT這樣的大模型。

2018年，OpenAI發布了GPT-1。2020年6月，OpenAI發布了GPT-3。

2022年11月30日，在GPT-3模型基礎上，OpenAI發布了ChatGPT。

...

2021年3月15日，OpenAI發布了GPT-4，目前提供給ChatGPT Plus訂閱者使用。

二、大模型亂鬥

GPT是一種大模型，是大規模預訓練模型，可以簡單理解為“大數據量AI模型”。它是指具有巨大參數數量和複雜結構的機器學習模型。這些模型通常由大量的神經網絡層和參數組成，可以處理和學習大規模的數據集。大模型一次訓練可能需要“高性能集群” 花費 “數天甚至數周”的時間。

大模型通常擁有天文數字的參數，在書中被稱為“權重”。以GPT3.5為例，其參數為1750億。

chatgpt一夜爆火後，國内外的企業紛紛跟進，各種大模型紛紛推出，微軟、騰訊（派大星）、阿裡、華為、百度（飛漿）都開發了自己的深度學習平台，對大模型進行訓練。但是，在綜合表現上，chatgpt仍然一騎絕塵。

微軟推出的Turing-NLG，有170億參數。

谷歌推出了号稱有1.6萬億模型參數的switch transformer。

...

百度的“文心一言”

百度的“文心一言”有2650億個參數。

浪潮信息的大規模預訓練模型：源 1.0。參數量是 2457 億。

...

科大訊飛的“訊飛星火認知大模型”

2023年5月6日，科大訊飛在成果發布會上正式發布了“訊飛星火認知大模型”。

2023年7月7日，華為發布了AI大模型——盤古3.0版本，參數量1000億。

...

阿裡的“通義千問”

2023年4月11日，阿裡正式推出大語言模型“通義千問”。

另外還有騰訊的混元大模型、京東的ChatJD大模型等等。

三、GPT是AI進化的産物

GPT用的預訓練模型是生成式技術（Generative），采用自回歸架構，單向預測，通過上文來推測下文，它永遠隻預測下一個字，這樣不斷循環來生成新的内容，我們稱之為生成式AI。它采用極簡架構，走大算力，大數據的技術路線。

2018年，GPT發布幾個月後，谷歌發布了另外一種預訓練模型BERT，稱之為檢索式AI，與GPT用的單向模型不同，它是雙向的，通過檢索語料庫來生成回答。

檢索式AI是在大數據量的基礎上，讓AI找到正确答案，而生成式AI是對于讓AI自己去判斷什麼是正确答案，然後提供給用戶。檢索式AI做的是完型填空，而生成式AI做的是文字接龍。

在起初兩種模型的博弈中，GPT1.0所用的生成式技術處于下風。生成式AI的效率和準确度遠遠低于檢索式AI，人們在嚴肅的商業場合都在使用BERT，比如Siri。

到了GPT2.0的時候，事情突然現了轉機。人們突然發現，在提高了數據量後，GPT居然無師自通地擁有了好幾項技能，如文本摘要，如翻譯。這說明，對于AI來說，生成式前途不可估量。

于是，OpenA公司在GPT模型上投入巨資，開發3.0。

某種能力在較小的模型中不存在，隻在較大的模型中存在，模型規模必須要指數級增長超過某個臨界點，新技能才會突飛猛進。

ChatGPT是通用預訓練語言大模型。對于ChatGPT，有一件事乍看起來平平無奇，但是卻細思極恐。我們知道，ChatGPT是通過文字用自然語言與人們交流的，這就要求它熟練掌握語法規則。如句子通常由主語、謂語和可能的賓語組成。名詞前面可以有形容詞，後面可以有動詞，但是兩個名詞通常不會挨在一起。ChatGPT并不明确了解這些規則，我們也沒有把這些規則輸入到大模型中。但是在訓練過程中，它自己發現了這些規則，并靈活地遵守它們。而我們并不清楚ChatGPT是如何做到這一點的。

目前GPT可以出色地生成文本，可是，我們并不能解釋，為什麼我們賦予的大模型能夠起作用，我們也不能準确地指出，GPT是如何一步步工作的。我們所做的，隻是提供大量的文本和一個近似的模型，然後，對它進行訓練，就是看着GPT自我學習。而GPT在哪一天到底學會了什麼，我們無從知道，也無法預測。佛教有“漸悟”和“頓悟”，GPT是頓悟的，他的的新技能是突然“湧現”的，當模型規模（參數）突破某個臨界點後，終于有一天，量變産生了質變，GPT進化了，這個進化的細節，我們無從得知。

凱文·凱利1994年所著的《失控：機器、社會與經濟的新生物學》就講到了這種關于複雜系統的進化、湧現和失控情況，失控的意思是，由于缺乏中心控制，群集系統是效率相對較低、不可預測、不可知、不可控的。但也由此獲得進化的無限可能。按照凱文·凱利的理論，通過内部神經元的個體進化，我們可以獲得模型整體能力的湧現。GPT作為人工智能神經網絡大模型，便符合群集系統的特點。

在我們的訓練下，AI正在自我進化。目前，GPT已經毫無征兆地學會了情感分析，那麼，AI什麼時候會有自主意識，什麼時候會産生情感，我們并不知道，但是，我們知道，這件事早晚會到來。

四、AI幻覺與大模型造假

假如2030年大模型還沒有創造太多經濟價值，最有可能的解釋便是其可靠性不足。我們先看一張圖片：

...

在這裡，我們讓AI給我們提供一部有李鴻章角色的電影。我們發現，AI的回答驢唇不對馬嘴。首先，并沒有一部叫《風雲天地》的電影，它介紹電影其實名叫《宋家皇朝》，但是，導演對不上，演員也不完全對。可以肯定的是，GPT一定有這部影片的相關資料，那麼，它為什麼會給出這種錯誤百出的答案，它在和我們開玩笑嗎？

OpenAI發布了一篇《GPT-4技術報告》，裡面重點提到了大模型的幻覺(Hallucination)。其中說GPT-4有産生幻覺的傾向，即“産生與某些來源無關的荒謬或不真實的内容”，“一本正經地胡說八道”，用我們易于理解的話來說，就是“杜撰”。也許，對于GPT，就和我們考試一樣，遇到一時半會答不出的題，就算胡謅也得答上一大篇，能拿幾分算幾分。

微軟必應聊天機器人團隊中的一些專家則有下面看法，他認為認為幻覺等于創造力，大模型試圖利用它掌握的所有數據，産生最連貫的句子，不管是對是錯。AI就是在演戲，人類喜歡看什麼，就演成什麼樣。關鍵他還演得特别像，特别一本正經，讓人真假難辨。

AI幻覺對人類肯定是有害的，但是對于AI本身，也許是産生情緒、個性與智慧的必要途徑。

五、你們都是蟲子

ChatGPT是一種AI能力集成，它并不局限在文本對答，而是能夠進入任何領域。

對于圖片和聲音，AI已經處理得遊刃有餘。AI已經學會了看圖說話，理解圖片中的意思，更可以按照人類給的指令生成圖片，對于翻譯和理解人類的聲音，對于AI已經屬于基本操作。