【資料圖】

科技預(yù)言大師雷·庫茲韋爾（Ray Kurzweil）說人工智能的奇點——機器智慧超過人類——會發(fā)生在2045年，王小川的判斷比這更激進，他認為這一天會提早到2033年到來，理由是人工智能技術(shù)的迭代周期成倍遞減：專家系統(tǒng)走過了40年，學(xué)習(xí)系統(tǒng)20年，深度學(xué)習(xí)10年，接下來，只需要再有5年、2.5年、1.25年、0.625年，轉(zhuǎn)折點就會到來。這個預(yù)測有待時間檢驗。如果預(yù)測成真，包括王小川在內(nèi)的大模型（Large Language Models，大語言模型）創(chuàng)業(yè)者，就會是在飛船已經(jīng)開始滑行才跳上甲板的人。4月10日，王小川對外宣布成立百川智能，研發(fā)通用人工智能模型及應(yīng)用。他搬回了舊部——大約一半百川智能的人來自原來的搜狗團隊，還找到了5000萬美元的啟動資金。留給王小川這樣的創(chuàng)業(yè)者的時間并不多。王小川宣布上述消息的同一周，阿里巴巴在北京發(fā)布了其大模型“通義千問”。一個月前，百度發(fā)布了“文心一言”。前美團聯(lián)合創(chuàng)始人王慧文所創(chuàng)立的光年之外，則已收購一家開發(fā)深度學(xué)習(xí)框架的科技公司一流科技OneFlow。王小川已給出一個聽起來激進的模型迭代計劃：今年年中（大概一兩個月后），他就要發(fā)布對標GPT-1的第一代模型；年底，對標GPT-3.5的模型就要推出。作為對照，從GPT-1到GPT-3.5，OpenAI花了四年多時間。王小川本人并不認為這個計劃激進，也不認為做出這個計劃純粹是出于競爭壓力?！霸摬辉撟龅胶涂尚行陨夏懿荒茏龅绞莾蓚€問題?！彼f，從“應(yīng)該”的層面，他判斷大模型領(lǐng)域今年的競爭核心是能否成功構(gòu)建基礎(chǔ)模型，明年，市場就會進入對應(yīng)用場景的競爭階段。說到“可行性”層面，王小川表示自己并不是今年才開始做大模型，而是早在2021年他就在做大模型了?！俺薕penAI，我并沒有看到任何一個公司或者個人，特別國內(nèi)的人，認為通用人工智能到來了。”王小川說，決定大模型及其應(yīng)用勝負的，將會是“認知”。我們同王小川聊了聊他對大模型終局的認知，他向我們描繪了醫(yī)療、教育、辦公、自動駕駛等所有今天已有AI涉足的領(lǐng)域?qū)绾伪淮竽Ｐ透淖?，也聊了當下階段中國公司在開發(fā)基礎(chǔ)模型上的共同挑戰(zhàn)和可能的捷徑，以及GPT的不足和留給后來者的創(chuàng)新機會。持續(xù)的創(chuàng)業(yè)命題：為生命建立數(shù)學(xué)模型新皮層：你宣布創(chuàng)立百川智能的時候?qū)懥朔夤_信，主要想傳達什么信息？王小川：我覺得通用人工智能（Artficial General Intelligencce，簡稱AGI）到來了，這是最大的判斷。這一波的突破是語言AI，它跟互聯(lián)網(wǎng)時代、工業(yè)文明、文藝復(fù)興是什么關(guān)系，我在信中都做了相應(yīng)判斷。以及為什么我要做這事兒（指創(chuàng)立百川智能），就是要繁榮和延續(xù)人的文明。新皮層：你經(jīng)常提到你對生命科學(xué)很感興趣，為什么會對這樣的議題感興趣？王小川：我讀研究生期間，做的題目就與基因相關(guān)，做基因測序的拼接算法。當時科學(xué)界發(fā)現(xiàn)，從DNA到人的過程是個足夠混沌和復(fù)雜的事。基因背后的演化也非常復(fù)雜，原本會出現(xiàn)混沌或不可預(yù)測的結(jié)局，但最后它變成了生命，變成了人，有兩只手、10個手指頭，甚至還跟爸媽長得像。這個事情在數(shù)學(xué)或物理上講沒有算法可以解釋。我們已經(jīng)掌握了蘋果掉在地上因為有萬有引力，天上的星星如何運動我們也能算得很清楚，但是生命背后的數(shù)學(xué)模型我們還沒有建立，這是我從讀研究生開始就特別感興趣的一件事，如何用科學(xué)甚至用數(shù)學(xué)模型去建立對生命的理解。新皮層：這是個特別學(xué)術(shù)性的問題？王小川：有實操性的，比如說2021年，AlphaFold干的就是這件事情，它能夠把基因到蛋白質(zhì)結(jié)構(gòu)的關(guān)系用AI模型建立起來。給一個基因，模型就能告訴你它的三維蛋白質(zhì)結(jié)構(gòu)長啥樣。它用數(shù)學(xué)或者計算機解決了一個生命現(xiàn)象問題。新皮層：當時你并沒有像現(xiàn)在跟進GPT一樣跟進AlphaFold？王小川：因為AlphaFold雖然很性感，但是離解決人的健康問題之間的路還非常遠。我當時更愿意走另一條路。2021年搜狗并給騰訊之后，我就說我要做與生命科學(xué)相關(guān)的事，走的并不是AlphaFold的那條道路。它只是把蛋白質(zhì)結(jié)構(gòu)變成數(shù)學(xué)模型了，并沒有端到端地把健康變成數(shù)學(xué)模型。新皮層：意思是從蛋白質(zhì)到人還有很遠距離？王小川：沒錯，距離特別遠，就像做自然語言處理的模型只學(xué)了分詞，距離做出一個GPT還有非常遠的路。所以我認為有其他更多實操性的方法，可以用來研究生命健康的數(shù)學(xué)問題。新皮層：GPT讓你離接近這個問題更近了嗎？王小川：GPT跟我之前的工作經(jīng)歷高度相關(guān)。搜狗之前做搜索和輸入法，研究的就是語言里的規(guī)律。搜索其實是猜你想要什么，輸入法是猜你想表達什么，背后都有復(fù)雜的語言模型。技術(shù)上我們也從原來的符號處理走向了深度學(xué)習(xí)。當時我們就提出一個觀點，語言其實是這個世界上相當難解決的一種問題，我們稱為“自然語言處理”，是人工智能皇冠上的明珠。2016年我就已經(jīng)認識到了，一旦機器掌握了語言，通用人工智能就來了。甚至當時我們也提到，說搜索的未來是問答，給個問題就回答，而不是輸入個關(guān)鍵詞后給你10條鏈接。在那個時代，我們也提到了搜狗未來的方向是讓表達和獲取知識更簡單。以前，搜索是讓你獲取信息的，但是它不能讓你有知識。今天這些全都到來了。因此今年1月份開始使用ChatGPT的時候，我就深刻感受到機器已經(jīng)掌握語言，而且通用人工智能時代已經(jīng)到來了。新皮層：在搜狗出售給騰訊的時候，GPT-3就已經(jīng)出來了。王小川：對，那會兒我會看一些論文，但是那個時候我主要在思考怎么把生命變成數(shù)學(xué)問題、變成數(shù)學(xué)模型。所以看到GPT這種突破的時候，我印象很深刻的是，在提問題的時候，加上一個prompt咒語“think step by step”，讓GPT再仔細想一想，它的回答就變得更好，預(yù)示著這個機器開始有一些更智能的模式。但不管學(xué)術(shù)界也好，包括我們自己，都沒有想到這樣一個東西離通用人工智能有多遠。因為它是一個To B的系統(tǒng)，不是只看文章就能對它有認知的。直到去年年底，ChatGPT發(fā)布，你才能去體驗它，看文章和親自體驗它是兩個不同的事情。新皮層：你是技術(shù)背景，你會不會偶爾也會想，為什么不是我或者我的團隊做出了這樣的技術(shù)突破，或者說更早看到了GPT的潛力，而不是這么晚進場？王小川：你的晚是指的從2021年開始做，還是從今年開始做？新皮層：你不認為你是從今年開始？王小川：搜狗2021年的時候就在做大模型，在國內(nèi)的CLUE榜單（Chinese Language Understanding Evaluation，中文語言理解測評）上拿了兩次第一。新皮層：你當時沒有今天的這些認知，沒有預(yù)料到AGI會來？王小川：對，就是我們知道大模型長啥樣，但確實沒有預(yù)料到這個技術(shù)的突破。這不是我一個人沒想到，這是除OpenAI以外所有人都沒想到的事。GPT-2和3出來的時候，除了OpenAI，我并沒有看到任何一個公司或者個人、特別國內(nèi)的人認為通用人工智能到來了，甚至直到ChatGPT到來之后，我也沒看到其他人講通用人工智能到來了。新皮層：離開搜狗之后，你還有過一個創(chuàng)業(yè)項目，是與大模型有關(guān)嗎？王小川：搜狗是做語言AI的，搜狗出售給騰訊后，我切換到了用數(shù)學(xué)模型解構(gòu)生命，（做大模型）中間有一個暫停的過程。我今天做的事情和這兩件事都可以連接。因為當你想用機器為生命建數(shù)學(xué)模型，甚至幫你做健康管理的時候，你可能也需要一個虛擬醫(yī)生或護士做溝通，不管見面手段還是后期健康管理，都需要有一個伙伴去支撐。所以今天大模型帶來的可能是超級助手，能夠讓健康管理的閉環(huán)更容易完成。新皮層：可不可以理解為你在用新一輪的AI技術(shù)重做上一份創(chuàng)業(yè)內(nèi)容？王小川：新技術(shù)能夠?qū)χ暗墓ぷ鲙砭裆系墓膭?，但并不能覆蓋對生命的探索和相應(yīng)的數(shù)據(jù)處理方法。大模型是以語言為核心的，它并沒有對你生命指標各方面的監(jiān)測，或者從某個生理指標的數(shù)據(jù)中發(fā)現(xiàn)生命規(guī)律，所以不是相互取代。就像無人駕駛一樣，大模型提供的是同樣的基礎(chǔ)。新皮層：你要做的話，會做ToB還是To C的產(chǎn)品？王小川：比較成熟的領(lǐng)域已經(jīng)有To C產(chǎn)品覆蓋的時候，我們就做To B。但是對于增量的、大家沒見過的產(chǎn)品，我們會做To C。比如說在教育領(lǐng)域，現(xiàn)在已經(jīng)有很多教育網(wǎng)站了，他們可能會在中間構(gòu)造一種虛擬老師，那我會做To B的事情。但是像醫(yī)療、法律領(lǐng)域，從來沒有存在過這種虛擬的知識供給，那我們就可以做To C的。終局:GPT不只是語言模型，而是未來所有AI的基礎(chǔ)模型新皮層：你覺得GPT-4在哪方面的能力超出你的預(yù)期？讓你覺得它非常有商業(yè)潛力？王小川：GPT的核心就是機器掌握了語言，它變成了一個懂表達、善于表達的機器，同時它還擁有世界常識。整個世界上已經(jīng)發(fā)生的事、知識、常識甚至簡單的推理，它都掌握了，這是非常了不起的一個突破。新皮層：機器掌握了語言后，你認為它能夠做到的事會是什么？王小川：有這個能力之后，它能做的第一件事就是把人類已經(jīng)遺留的以文字承載的知識都學(xué)習(xí)了。第二，它能跟人做正常的溝通交流，你給它一個命令，它能夠理解它、解釋它、完成它。這時我們對它有個重新定義，它不再只是個工具，而是人類開始擁有的一個伙伴、一個助手，這是從來沒有的事情。以前人類發(fā)明的火、輪子，甚至計算機，都只是工具，它們不具有跟你對話的能力。新皮層：具體到產(chǎn)品形態(tài)上，可能誕生哪些超級應(yīng)用？王小川：比如說出現(xiàn)很多虛擬伙伴，它能夠在情感上陪伴，或者有足夠素質(zhì)的護士、醫(yī)生、律師、老師，這樣的產(chǎn)品叫助理也好、咨詢顧問也好，這是以前沒存在過的東西。新皮層：上一個AI時代已經(jīng)出現(xiàn)過一些AI產(chǎn)品和商業(yè)成功的公司，GPT時代會有什么不同？王小川：首先上個時代還是信息時代，最多叫數(shù)據(jù)智能，我認為這次才真正開始進入到了AI時代。通用人工智能來了，機器開始學(xué)會學(xué)習(xí)了，有常識了，能跟人溝通了。以前還是靠人喂很多數(shù)據(jù)進去，在專項里解決一個垂直問題。ChatGPT的發(fā)布代表新時代的開啟，兩個時代是不一樣的。在上個時代，一個做圖像識別的公司需要做大量的定制化服務(wù)，很難有通用模型，成本也非常高。所以之前這個時代里的公司雖然已經(jīng)發(fā)展到很大的收入規(guī)模，還是很容易虧損，所以我并不認為它是一種成功的AI范式。新皮層：IBM曾經(jīng)嘗試開發(fā)名叫“Watson”的AI醫(yī)生，沒有成功，大語言模型可以把這件事做成嗎？王小川：Watson是要取代醫(yī)生的，它失敗了，因為它并不能通過一些考試，或者比醫(yī)生干得更好。這次真的有機會了。ChatGPT參加考試的確能夠考到專家的水平，甚至它能跟人溝通互動，不管在醫(yī)院里撰寫病例，還是幫醫(yī)生檢索數(shù)據(jù)，或者居家陪伴給病人提供安慰、做抑郁相關(guān)問題的問診，這些事終于開始能夠做到了。上個時代里的AI產(chǎn)品即使能夠看醫(yī)學(xué)影像，也不能取代一個學(xué)了8年的醫(yī)生，它們?nèi)〈闹皇侵虚g看片子的技師角色，并沒有豐富的醫(yī)學(xué)知識。新皮層：未來醫(yī)院可能雇傭ChatGPT這樣的員工？王小川：對，與其講醫(yī)院場景的雇傭，我更看好每個家庭，甚至每個人都開始擁有自己的一個私人的家庭醫(yī)生。新皮層：如何解決它一本正經(jīng)胡說八道的問題，這個問題在醫(yī)療領(lǐng)域后果很嚴重？王小川：我認為今天的生成式模型只是剛剛開始，這個問題需要生成模型與信息檢索的合作，再加上大量的強化學(xué)習(xí)，是否能夠從強化學(xué)習(xí)里面把這個能力調(diào)教好？未來很多工作要去做。沒必要用AGI元年的技術(shù)去判斷未來發(fā)展。我是非常樂觀的，再往下機器輔助醫(yī)生，甚至取代醫(yī)生是必然會發(fā)生的。新皮層：很多公司已經(jīng)在競爭辦公領(lǐng)域，讓辦公工具更智能，你認為有前景嗎？王小川：短期里面會有變化，讓機器寫文案或者輔助寫文案會十倍、百倍提高人的效率。但我看重的變化是在終局里面，為什么還要寫文案？人并沒有寫文案的需求，寫文案也不是創(chuàng)造力的一個核心。新皮層：可能是他客戶的需求，他老板的需求？王小川：對，所以往后發(fā)展，會有大量的這種寫文案的工作崗位會消亡，會出現(xiàn)叫“端到端”的行業(yè)結(jié)構(gòu)，寫文案這種中間過程的企業(yè)會消亡。新皮層：GPT現(xiàn)在看起來只是一個語言模型，它的能力邊界在哪里？比如未來它可以駕駛汽車嗎？王小川：GPT非常大的價值是試圖讓機器掌握智能、掌握認知。我們找到了一條通往AGI的道路，就是“大語言模型（Large Language Model, LLM）”。在此之前，做無人駕駛或做機器人都只是在做圖像處理，機器并沒有理解這些物體。今天的大語言模型已經(jīng)被學(xué)界稱為“foundation model”——基礎(chǔ)模型。我們開始有種共識，未來不僅是做機器人，還是做無人駕駛，都會基于這個基礎(chǔ)大模型往上生長。這是我們第一次通過大模型找到了一條認知世界的通路，這條通路可以成為解決其他更遠期AI問題的基石。新皮層：你看到的終局：AI醫(yī)生、AI教授、AI律師、甚至AI司機，大概是多久之后會發(fā)生的事？王小川：我覺得這個時間不會很久，大概就3-5年吧。新皮層：到時，商業(yè)模式會發(fā)生變化嗎？王小川：我們認為免費、羊毛出在豬身上的模式會慢慢被歷史淘汰掉。隨著機器越來越強大，它跟用戶的關(guān)系就變成一種伙伴，你很難說一個伙伴說陪伴你的時候是免費的，我再從其他地方去賺錢。用戶會更希望他的伙伴足夠忠誠、足夠?qū)I(yè)，能提供足夠有價值的服務(wù)，因此商業(yè)模式方面未來很有可能是個人直接向產(chǎn)品付費，而不是原來免費的廣告模式。新皮層：如果大模型未來變成很多公司都能掌握的技術(shù)呢？王小川：比如做搜索，好像這東西誰都會做，但最后有幾家公司真的做成了搜索引擎？新皮層：我們聽到兩種觀點，一種認為未來的產(chǎn)業(yè)生態(tài)會是小部分公司開發(fā)大模型，大部分公司做下游的接口應(yīng)用；另一種觀點認為，大語言模型會逐漸變成每家公司都能掌握的技術(shù)，類似上一個時代的推薦算法、圖像識別，很快競爭重心就會轉(zhuǎn)到對商業(yè)場景、產(chǎn)品形態(tài)的把握，而不是模型訓(xùn)練本身。王小川：我認為開發(fā)大模型的公司未來不會特別多，而是掌握在少數(shù)幾個公司手上。因為大模型是一個技術(shù)高度發(fā)達的東西，會有一定的技術(shù)擴散，做一些更加簡易的小模型，在垂直場景里應(yīng)用，但這種可能性可能只占一半。更有可能是一個大模型覆蓋很多小模型做的事情。所以我更相信未來的生態(tài)是由少數(shù)幾家大模型公司，再加上一些小模型的公司構(gòu)成的，而不是每家公司都掌握一個這樣的技術(shù)。這個技術(shù)不像圖像識別那樣簡單。也蠻難有公司能夠既掌握大模型又掌握場景。OpenAI做到了，比如它的ChatGPT，就是蠻有想象空間的一個應(yīng)用。我周邊很多人已經(jīng)開始減少對搜索的使用。當下的競爭：誰先做出底層的大模型新皮層：既要做模型，又要尋找應(yīng)用場景，先行者已有很多，你怎么排列工作的優(yōu)先級？王小川：終局是一回事，當下的主要矛盾是誰能做出底層的大模型，現(xiàn)在沒有哪一家能夠說自己離 OpenAI很近了。雖然國內(nèi)大廠也在發(fā)，但是離OpenAI的基礎(chǔ)大模型還有非常遠的距離。沒有哪家廠商說能達到3.5的水平，更別說4，也沒哪家廠商能拿出一個與ChatGPT同等的產(chǎn)品。所以今天討論說市場上會做出怎樣一些產(chǎn)品，我認為更根本的問題還是今天誰能夠做到一個接近ChatGPT背后的基礎(chǔ)模型，以及背后擁有能夠追趕OpenAI的一個團隊。國內(nèi)大廠，百度也好，阿里也好，都在發(fā)布自己的大模型，但在團隊能力上是否能夠離OpenAI越走越近，我們是質(zhì)疑的。新皮層：外界普遍用算法、算力、語料這些角度來衡量AI項目能不能做成，你覺得這些衡量維度是對的嗎？王小川：還是蠻機械的，最終是人去解決各種各樣的問題。討論算力、顯卡只是最簡單的盲人摸象般的拆解。新皮層：如果不是這些維度，你覺得你現(xiàn)階段最有挑戰(zhàn)的事情是什么？王小川：首先是團隊本身是否是有機的，是否有使命、愿景，是否能把團隊的能力打造起來，這是最核心的事。今天大家把這件事又變成了是否能把OpenAI里面最明星的人、做架構(gòu)的人、做算法的人給拉回來做拼盤，這種拼盤方式不是一個有機生命的做法。公司像生命一樣是演化出來的，不是拼起來的。更別說那些人愿不愿意回國。新皮層：人的問題是通過努力招募可以解決的嗎？還是市場上能夠干這件事的人的總數(shù)就不夠？王小川：如果你現(xiàn)在去一口氣要做GPT-5，那有這方面整個認知的人才是不夠的。新皮層：特別原創(chuàng)性的、能做算法創(chuàng)新的不夠？王小川：原創(chuàng)性人才不夠。你要一步達到今天GPT-5的水平，這種人才特別缺乏，到美國去拉人是一種選擇。但另一種人才——對模型有足夠認知的頂尖人才零星有一些，能夠從國外回來，會使我們比美國那邊的大模型能力只差半步?，F(xiàn)在我們可能還差一步、差兩步。差半步是我們的目標，既不能說我們現(xiàn)在能夠立刻追上去，但也不至于說人家已經(jīng)完成了之后我們才剛開始在干。在這個目標下，我們現(xiàn)在人才努力一下是有機會做到的。新皮層：輿論認為，中國公司現(xiàn)在能夠推出大模型，是因為國外開源了，比如Facebook的LLaMA，還有GPT-3之前的模型。那之后怎么辦？王小川：他們沒有開源。開源有兩個東西，一個是開它的參數(shù)，一個是開它的方法。Meta開的LLaMA模型只是把它的參數(shù)公開了出來，并沒有公開它的方法。國內(nèi)所有公司做的大模型，都是自己做的。新皮層：所以它一定程度上還是黑盒，其他公司能不能做出來還是有風險的？王小川：對。所以你需要在這里面有自己的探索，他們已經(jīng)公開的東西，我們可先學(xué)習(xí)，其他地方我們要去做各種探索。新皮層：語料這個東西會是一個障礙嗎？尤其當你需要做一個落地到特定場景的模型的時候？王小川：我們首先還是做通用模型，然后逐步演化成垂直模型。所以前期并不需要有特定領(lǐng)域的獨有數(shù)據(jù)。語料在公開領(lǐng)域其實已經(jīng)足夠多了，讀萬卷書其實有很多語料可以用，難點是語料的治理，就是你選擇什么樣的數(shù)據(jù)，不選擇什么數(shù)據(jù)，這種數(shù)據(jù)的清洗過程更加困難。新皮層：上一個AI時代，大家普遍認為中國AI的競爭優(yōu)勢之一就是我們有數(shù)據(jù)，點外賣、打車、網(wǎng)絡(luò)購物，大模型需要的還是不是這種數(shù)據(jù)？王小川：這是兩種不同的數(shù)據(jù)，一種是產(chǎn)品上線之后的用戶行為數(shù)據(jù)，一種是幾千年傳承下來的知識數(shù)據(jù)。今天做大模型的話，第一步先要把以前的知識給用起來，中國在這方面并沒有特別優(yōu)勢。等產(chǎn)品上線了，用戶的反饋數(shù)據(jù)可以用起來，這時候你才有優(yōu)勢，我們?nèi)烁?、場景更加豐富。但今天的主要矛盾還不在第二步，現(xiàn)在需要的數(shù)據(jù)還是對基礎(chǔ)人類文明產(chǎn)生作用的那些數(shù)據(jù)。新皮層：你計劃在年中推出第一代模型，年底推出對標GPT-3.5的模型，這個節(jié)奏會不會太快？OpenAI走這段路花了四五年。王小川：原創(chuàng)確實會更難，但是當你去追趕的時候，速度會快很多，尤其是它已經(jīng)有產(chǎn)品可以做參考去對標的時候。追趕者會更加容易。新皮層：所以并不是一個激進的迫于競爭壓力做出的計劃？王小川：不叫迫于壓力，但也不能說沒有這種緊迫感。該不該做到和可行性上能不能做到是兩個問題。新皮層：按這個既定節(jié)奏，明年市場就會進入新的競爭階段？會是對場景的競爭嗎？王小川：我覺得是。如果3.5做到的話，主要矛盾就會轉(zhuǎn)移到對場景本身的理解了。一方面中國市場特別要求對場景的理解落地，甚至后面采用什么商業(yè)模式。你做到這一步才會更有機會去追GPT-4或者追GPT-5。OpenAI可以說場景我不關(guān)心，我就足夠努力去追求AGI就可以。新皮層：從1到3.5，再到4，對于入場做大模型的公司而言，你認為每一輪迭代大概會有多少的淘汰率？王小川：我覺得不能用1到3.5到4這樣的方式來形容入場做大模型的公司的進度，更應(yīng)該用做成與做不成來形容，而我覺得最后做成的包含大廠與創(chuàng)業(yè)公司在內(nèi)，應(yīng)該就5家左右。技術(shù)趨勢：AGI只有GPT還不夠，還需要更多強化學(xué)習(xí)新皮層：AI技術(shù)一直在迭代，GPT所基于的底層技術(shù)一定是AGI未來的發(fā)展方向嗎？王小川：一定有非常多變化。今天GPT所基于的技術(shù)仍然有缺陷，不管它的通用性還是注意機制都不完善，它會忘事，做很多事所需要的經(jīng)驗它也不具有。所以今天GPT解決的問題是把人類已經(jīng)有的知識學(xué)習(xí)了，我們叫“讀萬卷書”。但是之前DeepMind，包括OpenAI都還開發(fā)了另外一條技術(shù)路徑，比如AlphaGo通過下圍棋變成了圍棋高手，AlphaGo成長到AlphaZero的時候，把以前人類教它的技術(shù)都扔掉了，兩個機器自己從零開始通過對弈學(xué)習(xí)下圍棋。這是大模型之外完全獨立的另外一條路徑，我們把他叫做“行萬里路”。新皮層：一個是深度學(xué)習(xí)的路徑，一個是強化學(xué)習(xí)的路徑？王小川：挺準確的一個描述。深度學(xué)習(xí)這條路徑可以讓AI學(xué)習(xí)已經(jīng)有的東西，強化學(xué)習(xí)可以讓AI從實踐結(jié)果里能學(xué)到新的東西。新皮層：兩條路徑是可以嫁接起來的嗎？王小川：從GPT-3到3. 5，其實已經(jīng)開始用強化學(xué)習(xí)了，它給GPT帶來了本質(zhì)的提升，所以在 GPT-4里面可能用得更多。新皮層：在大模型變得更智能的過程中，強化學(xué)習(xí)的比重會變得更大？王小川：對，我的預(yù)言是，在未來強化學(xué)習(xí)的比重會大很多，今年可能是5%、10%或者20%，未來可能10倍、100倍的能力是靠強化學(xué)習(xí)得到的。新皮層：如果未來是這個方向，你的團隊中對訓(xùn)練機器做強化學(xué)習(xí)的人才的需求會變更大，而不是開發(fā)算法本身的人才？王小川：今天已經(jīng)開始變成人訓(xùn)練機器了，怎么去寫著instruct，對吧。其實之前OpenAI做ChatGPT的時候，80個人工作了大概3個月，其中40個人是在做調(diào)教。未來可能不僅是模型公司的人教它，甚至可能把產(chǎn)品放到應(yīng)用市場，讓更多專業(yè)人士甚至用戶反饋來調(diào)教，就像一個人進入社會，從實習(xí)生往上成長一樣，這個時代會到來。新皮層：OpenAI雇傭了大量博士去把一對對QA寫下來，讓機器學(xué)習(xí)，這個工作量非常大。中國公司是否低估了這部分工作？王小川：中國公司并沒有低估這部分工作。恰好相反，我了解好多公司在生成這些QA的時候，其實是在利用ChatGPT生成的回答，把這些語料收集下來，作為老師，教自己的AI。所以中國公司好像沒有雇傭那么多人，但是這是跟進者的一個快速學(xué)習(xí)方法。新皮層：類似于當時斯坦福大學(xué)的一位教授用Facebook大模型產(chǎn)生的數(shù)據(jù)去訓(xùn)練一個小AI嗎？王小川：和AI訓(xùn)練AI是兩件事。他是拿一個基礎(chǔ)模型去生成一個小模型。不過你確實可以理解為，我們是嘗試用GPT的AI來訓(xùn)練我們的AI，這樣能加速我們的AI發(fā)展。新皮層：2017年你接受采訪回應(yīng)《奇點臨近》那邊書提到的“奇點”（指人工智能的智能水平超過人類）概念時說，你認為機器不會比人更聰明，現(xiàn)在你是不是已經(jīng)改變了這個觀點？對于奇點有何新判斷？王小川：當時我低估了技術(shù)本身的突破。所以用ChatGPT那一刻，我認為我的想法是改變了的。對于奇點的到來，現(xiàn)在我覺得可能是在2033 年。新皮層：為什么這么具體？王小川：人工智能迭代的歷史上，第一波專家系統(tǒng)做了40年，學(xué)習(xí)系統(tǒng)做了20年，深度學(xué)習(xí)做了10年，時間成倍遞減，所以接下來有可能只需要5年，2.5年，1.25年，0.625年……人工智能就開始進入新階段，這樣倒推的話，奇點到來的時間表就是2033年。這是一種美妙的假設(shè)，實際上到時候早了或者晚了也不是一個驚奇的事。但是基于技術(shù)增長加速，我們有這樣的預(yù)設(shè)。新皮層：回到最初的問題，GPT對你之前好奇的關(guān)于生命相關(guān)的問題有些回答了嗎？王小川：搜狗時期我就想知道，通過預(yù)測模型是否能夠建立強人工智能。當時我想，如果能預(yù)測下一幀視頻，是不是強人工智能就到來了？我當時有這樣一個設(shè)想，這個時代其實提前到來了，基于對語言AI的巨大突破。這對我是種鼓舞。另外，今天大模型建立的人工智能的方式仍然是對數(shù)據(jù)的暴力美學(xué)，這對于未來我們怎么理解數(shù)據(jù)、理解智能也會有挺大啟發(fā)。新皮層：你想要建立生命的數(shù)學(xué)模型，GPT讓你覺得離這個問題有多近了？王小川：就像無人駕駛一樣，這件事情更可行了。新皮層：復(fù)雜理論中對智能的解釋是它是一種涌現(xiàn)，你覺得它回答問題了嗎？王小川：還沒有回答，就好像說基因決定人，但基因怎么決定人？其實是不清楚的。

附:王小川是做技術(shù)出身，成長的道路上一路星光，網(wǎng)上的百科履歷非常亮眼勵志，分享他的觀點給大家，希望對人工智能的發(fā)展和未來有更多的認識和啟發(fā)。#人工智能# $科大訊飛(SZ002230)$ $三六零(SH601360)$ #算力概念# $鴻博股份(SZ002229)$