【資料圖】

科技預(yù)言大師雷·庫(kù)茲韋爾（Ray Kurzweil）說(shuō)人工智能的奇點(diǎn)——機(jī)器智慧超過人類——會(huì)發(fā)生在2045年，王小川的判斷比這更激進(jìn)，他認(rèn)為這一天會(huì)提早到2033年到來(lái)，理由是人工智能技術(shù)的迭代周期成倍遞減：專家系統(tǒng)走過了40年，學(xué)習(xí)系統(tǒng)20年，深度學(xué)習(xí)10年，接下來(lái)，只需要再有5年、2.5年、1.25年、0.625年，轉(zhuǎn)折點(diǎn)就會(huì)到來(lái)。這個(gè)預(yù)測(cè)有待時(shí)間檢驗(yàn)。如果預(yù)測(cè)成真，包括王小川在內(nèi)的大模型（Large Language Models，大語(yǔ)言模型）創(chuàng)業(yè)者，就會(huì)是在飛船已經(jīng)開始滑行才跳上甲板的人。4月10日，王小川對(duì)外宣布成立百川智能，研發(fā)通用人工智能模型及應(yīng)用。他搬回了舊部——大約一半百川智能的人來(lái)自原來(lái)的搜狗團(tuán)隊(duì)，還找到了5000萬(wàn)美元的啟動(dòng)資金。留給王小川這樣的創(chuàng)業(yè)者的時(shí)間并不多。王小川宣布上述消息的同一周，阿里巴巴在北京發(fā)布了其大模型“通義千問”。一個(gè)月前，百度發(fā)布了“文心一言”。前美團(tuán)聯(lián)合創(chuàng)始人王慧文所創(chuàng)立的光年之外，則已收購(gòu)一家開發(fā)深度學(xué)習(xí)框架的科技公司一流科技OneFlow。王小川已給出一個(gè)聽起來(lái)激進(jìn)的模型迭代計(jì)劃：今年年中（大概一兩個(gè)月后），他就要發(fā)布對(duì)標(biāo)GPT-1的第一代模型；年底，對(duì)標(biāo)GPT-3.5的模型就要推出。作為對(duì)照，從GPT-1到GPT-3.5，OpenAI花了四年多時(shí)間。王小川本人并不認(rèn)為這個(gè)計(jì)劃激進(jìn)，也不認(rèn)為做出這個(gè)計(jì)劃純粹是出于競(jìng)爭(zhēng)壓力?！霸摬辉撟龅胶涂尚行陨夏懿荒茏龅绞莾蓚€(gè)問題?！彼f(shuō)，從“應(yīng)該”的層面，他判斷大模型領(lǐng)域今年的競(jìng)爭(zhēng)核心是能否成功構(gòu)建基礎(chǔ)模型，明年，市場(chǎng)就會(huì)進(jìn)入對(duì)應(yīng)用場(chǎng)景的競(jìng)爭(zhēng)階段。說(shuō)到“可行性”層面，王小川表示自己并不是今年才開始做大模型，而是早在2021年他就在做大模型了?！俺薕penAI，我并沒有看到任何一個(gè)公司或者個(gè)人，特別國(guó)內(nèi)的人，認(rèn)為通用人工智能到來(lái)了。”王小川說(shuō)，決定大模型及其應(yīng)用勝負(fù)的，將會(huì)是“認(rèn)知”。我們同王小川聊了聊他對(duì)大模型終局的認(rèn)知，他向我們描繪了醫(yī)療、教育、辦公、自動(dòng)駕駛等所有今天已有AI涉足的領(lǐng)域?qū)?huì)如何被大模型改變，也聊了當(dāng)下階段中國(guó)公司在開發(fā)基礎(chǔ)模型上的共同挑戰(zhàn)和可能的捷徑，以及GPT的不足和留給后來(lái)者的創(chuàng)新機(jī)會(huì)。持續(xù)的創(chuàng)業(yè)命題：為生命建立數(shù)學(xué)模型新皮層：你宣布創(chuàng)立百川智能的時(shí)候?qū)懥朔夤_信，主要想傳達(dá)什么信息？王小川：我覺得通用人工智能（Artficial General Intelligencce，簡(jiǎn)稱AGI）到來(lái)了，這是最大的判斷。這一波的突破是語(yǔ)言AI，它跟互聯(lián)網(wǎng)時(shí)代、工業(yè)文明、文藝復(fù)興是什么關(guān)系，我在信中都做了相應(yīng)判斷。以及為什么我要做這事兒（指創(chuàng)立百川智能），就是要繁榮和延續(xù)人的文明。新皮層：你經(jīng)常提到你對(duì)生命科學(xué)很感興趣，為什么會(huì)對(duì)這樣的議題感興趣？王小川：我讀研究生期間，做的題目就與基因相關(guān)，做基因測(cè)序的拼接算法。當(dāng)時(shí)科學(xué)界發(fā)現(xiàn)，從DNA到人的過程是個(gè)足夠混沌和復(fù)雜的事?；虮澈蟮难莼卜浅?fù)雜，原本會(huì)出現(xiàn)混沌或不可預(yù)測(cè)的結(jié)局，但最后它變成了生命，變成了人，有兩只手、10個(gè)手指頭，甚至還跟爸媽長(zhǎng)得像。這個(gè)事情在數(shù)學(xué)或物理上講沒有算法可以解釋。我們已經(jīng)掌握了蘋果掉在地上因?yàn)橛腥f(wàn)有引力，天上的星星如何運(yùn)動(dòng)我們也能算得很清楚，但是生命背后的數(shù)學(xué)模型我們還沒有建立，這是我從讀研究生開始就特別感興趣的一件事，如何用科學(xué)甚至用數(shù)學(xué)模型去建立對(duì)生命的理解。新皮層：這是個(gè)特別學(xué)術(shù)性的問題？王小川：有實(shí)操性的，比如說(shuō)2021年，AlphaFold干的就是這件事情，它能夠把基因到蛋白質(zhì)結(jié)構(gòu)的關(guān)系用AI模型建立起來(lái)。給一個(gè)基因，模型就能告訴你它的三維蛋白質(zhì)結(jié)構(gòu)長(zhǎng)啥樣。它用數(shù)學(xué)或者計(jì)算機(jī)解決了一個(gè)生命現(xiàn)象問題。新皮層：當(dāng)時(shí)你并沒有像現(xiàn)在跟進(jìn)GPT一樣跟進(jìn)AlphaFold？王小川：因?yàn)锳lphaFold雖然很性感，但是離解決人的健康問題之間的路還非常遠(yuǎn)。我當(dāng)時(shí)更愿意走另一條路。2021年搜狗并給騰訊之后，我就說(shuō)我要做與生命科學(xué)相關(guān)的事，走的并不是AlphaFold的那條道路。它只是把蛋白質(zhì)結(jié)構(gòu)變成數(shù)學(xué)模型了，并沒有端到端地把健康變成數(shù)學(xué)模型。新皮層：意思是從蛋白質(zhì)到人還有很遠(yuǎn)距離？王小川：沒錯(cuò)，距離特別遠(yuǎn)，就像做自然語(yǔ)言處理的模型只學(xué)了分詞，距離做出一個(gè)GPT還有非常遠(yuǎn)的路。所以我認(rèn)為有其他更多實(shí)操性的方法，可以用來(lái)研究生命健康的數(shù)學(xué)問題。新皮層：GPT讓你離接近這個(gè)問題更近了嗎？王小川：GPT跟我之前的工作經(jīng)歷高度相關(guān)。搜狗之前做搜索和輸入法，研究的就是語(yǔ)言里的規(guī)律。搜索其實(shí)是猜你想要什么，輸入法是猜你想表達(dá)什么，背后都有復(fù)雜的語(yǔ)言模型。技術(shù)上我們也從原來(lái)的符號(hào)處理走向了深度學(xué)習(xí)。當(dāng)時(shí)我們就提出一個(gè)觀點(diǎn)，語(yǔ)言其實(shí)是這個(gè)世界上相當(dāng)難解決的一種問題，我們稱為“自然語(yǔ)言處理”，是人工智能皇冠上的明珠。2016年我就已經(jīng)認(rèn)識(shí)到了，一旦機(jī)器掌握了語(yǔ)言，通用人工智能就來(lái)了。甚至當(dāng)時(shí)我們也提到，說(shuō)搜索的未來(lái)是問答，給個(gè)問題就回答，而不是輸入個(gè)關(guān)鍵詞后給你10條鏈接。在那個(gè)時(shí)代，我們也提到了搜狗未來(lái)的方向是讓表達(dá)和獲取知識(shí)更簡(jiǎn)單。以前，搜索是讓你獲取信息的，但是它不能讓你有知識(shí)。今天這些全都到來(lái)了。因此今年1月份開始使用ChatGPT的時(shí)候，我就深刻感受到機(jī)器已經(jīng)掌握語(yǔ)言，而且通用人工智能時(shí)代已經(jīng)到來(lái)了。新皮層：在搜狗出售給騰訊的時(shí)候，GPT-3就已經(jīng)出來(lái)了。王小川：對(duì)，那會(huì)兒我會(huì)看一些論文，但是那個(gè)時(shí)候我主要在思考怎么把生命變成數(shù)學(xué)問題、變成數(shù)學(xué)模型。所以看到GPT這種突破的時(shí)候，我印象很深刻的是，在提問題的時(shí)候，加上一個(gè)prompt咒語(yǔ)“think step by step”，讓GPT再仔細(xì)想一想，它的回答就變得更好，預(yù)示著這個(gè)機(jī)器開始有一些更智能的模式。但不管學(xué)術(shù)界也好，包括我們自己，都沒有想到這樣一個(gè)東西離通用人工智能有多遠(yuǎn)。因?yàn)樗且粋€(gè)To B的系統(tǒng)，不是只看文章就能對(duì)它有認(rèn)知的。直到去年年底，ChatGPT發(fā)布，你才能去體驗(yàn)它，看文章和親自體驗(yàn)它是兩個(gè)不同的事情。新皮層：你是技術(shù)背景，你會(huì)不會(huì)偶爾也會(huì)想，為什么不是我或者我的團(tuán)隊(duì)做出了這樣的技術(shù)突破，或者說(shuō)更早看到了GPT的潛力，而不是這么晚進(jìn)場(chǎng)？王小川：你的晚是指的從2021年開始做，還是從今年開始做？新皮層：你不認(rèn)為你是從今年開始？王小川：搜狗2021年的時(shí)候就在做大模型，在國(guó)內(nèi)的CLUE榜單（Chinese Language Understanding Evaluation，中文語(yǔ)言理解測(cè)評(píng)）上拿了兩次第一。新皮層：你當(dāng)時(shí)沒有今天的這些認(rèn)知，沒有預(yù)料到AGI會(huì)來(lái)？王小川：對(duì)，就是我們知道大模型長(zhǎng)啥樣，但確實(shí)沒有預(yù)料到這個(gè)技術(shù)的突破。這不是我一個(gè)人沒想到，這是除OpenAI以外所有人都沒想到的事。GPT-2和3出來(lái)的時(shí)候，除了OpenAI，我并沒有看到任何一個(gè)公司或者個(gè)人、特別國(guó)內(nèi)的人認(rèn)為通用人工智能到來(lái)了，甚至直到ChatGPT到來(lái)之后，我也沒看到其他人講通用人工智能到來(lái)了。新皮層：離開搜狗之后，你還有過一個(gè)創(chuàng)業(yè)項(xiàng)目，是與大模型有關(guān)嗎？王小川：搜狗是做語(yǔ)言AI的，搜狗出售給騰訊后，我切換到了用數(shù)學(xué)模型解構(gòu)生命，（做大模型）中間有一個(gè)暫停的過程。我今天做的事情和這兩件事都可以連接。因?yàn)楫?dāng)你想用機(jī)器為生命建數(shù)學(xué)模型，甚至幫你做健康管理的時(shí)候，你可能也需要一個(gè)虛擬醫(yī)生或護(hù)士做溝通，不管見面手段還是后期健康管理，都需要有一個(gè)伙伴去支撐。所以今天大模型帶來(lái)的可能是超級(jí)助手，能夠讓健康管理的閉環(huán)更容易完成。新皮層：可不可以理解為你在用新一輪的AI技術(shù)重做上一份創(chuàng)業(yè)內(nèi)容？王小川：新技術(shù)能夠?qū)χ暗墓ぷ鲙?lái)精神上的鼓勵(lì)，但并不能覆蓋對(duì)生命的探索和相應(yīng)的數(shù)據(jù)處理方法。大模型是以語(yǔ)言為核心的，它并沒有對(duì)你生命指標(biāo)各方面的監(jiān)測(cè)，或者從某個(gè)生理指標(biāo)的數(shù)據(jù)中發(fā)現(xiàn)生命規(guī)律，所以不是相互取代。就像無(wú)人駕駛一樣，大模型提供的是同樣的基礎(chǔ)。新皮層：你要做的話，會(huì)做ToB還是To C的產(chǎn)品？王小川：比較成熟的領(lǐng)域已經(jīng)有To C產(chǎn)品覆蓋的時(shí)候，我們就做To B。但是對(duì)于增量的、大家沒見過的產(chǎn)品，我們會(huì)做To C。比如說(shuō)在教育領(lǐng)域，現(xiàn)在已經(jīng)有很多教育網(wǎng)站了，他們可能會(huì)在中間構(gòu)造一種虛擬老師，那我會(huì)做To B的事情。但是像醫(yī)療、法律領(lǐng)域，從來(lái)沒有存在過這種虛擬的知識(shí)供給，那我們就可以做To C的。終局:GPT不只是語(yǔ)言模型，而是未來(lái)所有AI的基礎(chǔ)模型新皮層：你覺得GPT-4在哪方面的能力超出你的預(yù)期？讓你覺得它非常有商業(yè)潛力？王小川：GPT的核心就是機(jī)器掌握了語(yǔ)言，它變成了一個(gè)懂表達(dá)、善于表達(dá)的機(jī)器，同時(shí)它還擁有世界常識(shí)。整個(gè)世界上已經(jīng)發(fā)生的事、知識(shí)、常識(shí)甚至簡(jiǎn)單的推理，它都掌握了，這是非常了不起的一個(gè)突破。新皮層：機(jī)器掌握了語(yǔ)言后，你認(rèn)為它能夠做到的事會(huì)是什么？王小川：有這個(gè)能力之后，它能做的第一件事就是把人類已經(jīng)遺留的以文字承載的知識(shí)都學(xué)習(xí)了。第二，它能跟人做正常的溝通交流，你給它一個(gè)命令，它能夠理解它、解釋它、完成它。這時(shí)我們對(duì)它有個(gè)重新定義，它不再只是個(gè)工具，而是人類開始擁有的一個(gè)伙伴、一個(gè)助手，這是從來(lái)沒有的事情。以前人類發(fā)明的火、輪子，甚至計(jì)算機(jī)，都只是工具，它們不具有跟你對(duì)話的能力。新皮層：具體到產(chǎn)品形態(tài)上，可能誕生哪些超級(jí)應(yīng)用？王小川：比如說(shuō)出現(xiàn)很多虛擬伙伴，它能夠在情感上陪伴，或者有足夠素質(zhì)的護(hù)士、醫(yī)生、律師、老師，這樣的產(chǎn)品叫助理也好、咨詢顧問也好，這是以前沒存在過的東西。新皮層：上一個(gè)AI時(shí)代已經(jīng)出現(xiàn)過一些AI產(chǎn)品和商業(yè)成功的公司，GPT時(shí)代會(huì)有什么不同？王小川：首先上個(gè)時(shí)代還是信息時(shí)代，最多叫數(shù)據(jù)智能，我認(rèn)為這次才真正開始進(jìn)入到了AI時(shí)代。通用人工智能來(lái)了，機(jī)器開始學(xué)會(huì)學(xué)習(xí)了，有常識(shí)了，能跟人溝通了。以前還是靠人喂很多數(shù)據(jù)進(jìn)去，在專項(xiàng)里解決一個(gè)垂直問題。ChatGPT的發(fā)布代表新時(shí)代的開啟，兩個(gè)時(shí)代是不一樣的。在上個(gè)時(shí)代，一個(gè)做圖像識(shí)別的公司需要做大量的定制化服務(wù)，很難有通用模型，成本也非常高。所以之前這個(gè)時(shí)代里的公司雖然已經(jīng)發(fā)展到很大的收入規(guī)模，還是很容易虧損，所以我并不認(rèn)為它是一種成功的AI范式。新皮層：IBM曾經(jīng)嘗試開發(fā)名叫“Watson”的AI醫(yī)生，沒有成功，大語(yǔ)言模型可以把這件事做成嗎？王小川：Watson是要取代醫(yī)生的，它失敗了，因?yàn)樗⒉荒芡ㄟ^一些考試，或者比醫(yī)生干得更好。這次真的有機(jī)會(huì)了。ChatGPT參加考試的確能夠考到專家的水平，甚至它能跟人溝通互動(dòng)，不管在醫(yī)院里撰寫病例，還是幫醫(yī)生檢索數(shù)據(jù)，或者居家陪伴給病人提供安慰、做抑郁相關(guān)問題的問診，這些事終于開始能夠做到了。上個(gè)時(shí)代里的AI產(chǎn)品即使能夠看醫(yī)學(xué)影像，也不能取代一個(gè)學(xué)了8年的醫(yī)生，它們?nèi)〈闹皇侵虚g看片子的技師角色，并沒有豐富的醫(yī)學(xué)知識(shí)。新皮層：未來(lái)醫(yī)院可能雇傭ChatGPT這樣的員工？王小川：對(duì)，與其講醫(yī)院場(chǎng)景的雇傭，我更看好每個(gè)家庭，甚至每個(gè)人都開始擁有自己的一個(gè)私人的家庭醫(yī)生。新皮層：如何解決它一本正經(jīng)胡說(shuō)八道的問題，這個(gè)問題在醫(yī)療領(lǐng)域后果很嚴(yán)重？王小川：我認(rèn)為今天的生成式模型只是剛剛開始，這個(gè)問題需要生成模型與信息檢索的合作，再加上大量的強(qiáng)化學(xué)習(xí)，是否能夠從強(qiáng)化學(xué)習(xí)里面把這個(gè)能力調(diào)教好？未來(lái)很多工作要去做。沒必要用AGI元年的技術(shù)去判斷未來(lái)發(fā)展。我是非常樂觀的，再往下機(jī)器輔助醫(yī)生，甚至取代醫(yī)生是必然會(huì)發(fā)生的。新皮層：很多公司已經(jīng)在競(jìng)爭(zhēng)辦公領(lǐng)域，讓辦公工具更智能，你認(rèn)為有前景嗎？王小川：短期里面會(huì)有變化，讓機(jī)器寫文案或者輔助寫文案會(huì)十倍、百倍提高人的效率。但我看重的變化是在終局里面，為什么還要寫文案？人并沒有寫文案的需求，寫文案也不是創(chuàng)造力的一個(gè)核心。新皮層：可能是他客戶的需求，他老板的需求？王小川：對(duì)，所以往后發(fā)展，會(huì)有大量的這種寫文案的工作崗位會(huì)消亡，會(huì)出現(xiàn)叫“端到端”的行業(yè)結(jié)構(gòu)，寫文案這種中間過程的企業(yè)會(huì)消亡。新皮層：GPT現(xiàn)在看起來(lái)只是一個(gè)語(yǔ)言模型，它的能力邊界在哪里？比如未來(lái)它可以駕駛汽車嗎？王小川：GPT非常大的價(jià)值是試圖讓機(jī)器掌握智能、掌握認(rèn)知。我們找到了一條通往AGI的道路，就是“大語(yǔ)言模型（Large Language Model, LLM）”。在此之前，做無(wú)人駕駛或做機(jī)器人都只是在做圖像處理，機(jī)器并沒有理解這些物體。今天的大語(yǔ)言模型已經(jīng)被學(xué)界稱為“foundation model”——基礎(chǔ)模型。我們開始有種共識(shí)，未來(lái)不僅是做機(jī)器人，還是做無(wú)人駕駛，都會(huì)基于這個(gè)基礎(chǔ)大模型往上生長(zhǎng)。這是我們第一次通過大模型找到了一條認(rèn)知世界的通路，這條通路可以成為解決其他更遠(yuǎn)期AI問題的基石。新皮層：你看到的終局：AI醫(yī)生、AI教授、AI律師、甚至AI司機(jī)，大概是多久之后會(huì)發(fā)生的事？王小川：我覺得這個(gè)時(shí)間不會(huì)很久，大概就3-5年吧。新皮層：到時(shí)，商業(yè)模式會(huì)發(fā)生變化嗎？王小川：我們認(rèn)為免費(fèi)、羊毛出在豬身上的模式會(huì)慢慢被歷史淘汰掉。隨著機(jī)器越來(lái)越強(qiáng)大，它跟用戶的關(guān)系就變成一種伙伴，你很難說(shuō)一個(gè)伙伴說(shuō)陪伴你的時(shí)候是免費(fèi)的，我再?gòu)钠渌胤饺ベ嶅X。用戶會(huì)更希望他的伙伴足夠忠誠(chéng)、足夠?qū)I(yè)，能提供足夠有價(jià)值的服務(wù)，因此商業(yè)模式方面未來(lái)很有可能是個(gè)人直接向產(chǎn)品付費(fèi)，而不是原來(lái)免費(fèi)的廣告模式。新皮層：如果大模型未來(lái)變成很多公司都能掌握的技術(shù)呢？王小川：比如做搜索，好像這東西誰(shuí)都會(huì)做，但最后有幾家公司真的做成了搜索引擎？新皮層：我們聽到兩種觀點(diǎn)，一種認(rèn)為未來(lái)的產(chǎn)業(yè)生態(tài)會(huì)是小部分公司開發(fā)大模型，大部分公司做下游的接口應(yīng)用；另一種觀點(diǎn)認(rèn)為，大語(yǔ)言模型會(huì)逐漸變成每家公司都能掌握的技術(shù)，類似上一個(gè)時(shí)代的推薦算法、圖像識(shí)別，很快競(jìng)爭(zhēng)重心就會(huì)轉(zhuǎn)到對(duì)商業(yè)場(chǎng)景、產(chǎn)品形態(tài)的把握，而不是模型訓(xùn)練本身。王小川：我認(rèn)為開發(fā)大模型的公司未來(lái)不會(huì)特別多，而是掌握在少數(shù)幾個(gè)公司手上。因?yàn)榇竽Ｐ褪且粋€(gè)技術(shù)高度發(fā)達(dá)的東西，會(huì)有一定的技術(shù)擴(kuò)散，做一些更加簡(jiǎn)易的小模型，在垂直場(chǎng)景里應(yīng)用，但這種可能性可能只占一半。更有可能是一個(gè)大模型覆蓋很多小模型做的事情。所以我更相信未來(lái)的生態(tài)是由少數(shù)幾家大模型公司，再加上一些小模型的公司構(gòu)成的，而不是每家公司都掌握一個(gè)這樣的技術(shù)。這個(gè)技術(shù)不像圖像識(shí)別那樣簡(jiǎn)單。也蠻難有公司能夠既掌握大模型又掌握?qǐng)鼍?。OpenAI做到了，比如它的ChatGPT，就是蠻有想象空間的一個(gè)應(yīng)用。我周邊很多人已經(jīng)開始減少對(duì)搜索的使用。當(dāng)下的競(jìng)爭(zhēng)：誰(shuí)先做出底層的大模型新皮層：既要做模型，又要尋找應(yīng)用場(chǎng)景，先行者已有很多，你怎么排列工作的優(yōu)先級(jí)？王小川：終局是一回事，當(dāng)下的主要矛盾是誰(shuí)能做出底層的大模型，現(xiàn)在沒有哪一家能夠說(shuō)自己離 OpenAI很近了。雖然國(guó)內(nèi)大廠也在發(fā)，但是離OpenAI的基礎(chǔ)大模型還有非常遠(yuǎn)的距離。沒有哪家廠商說(shuō)能達(dá)到3.5的水平，更別說(shuō)4，也沒哪家廠商能拿出一個(gè)與ChatGPT同等的產(chǎn)品。所以今天討論說(shuō)市場(chǎng)上會(huì)做出怎樣一些產(chǎn)品，我認(rèn)為更根本的問題還是今天誰(shuí)能夠做到一個(gè)接近ChatGPT背后的基礎(chǔ)模型，以及背后擁有能夠追趕OpenAI的一個(gè)團(tuán)隊(duì)。國(guó)內(nèi)大廠，百度也好，阿里也好，都在發(fā)布自己的大模型，但在團(tuán)隊(duì)能力上是否能夠離OpenAI越走越近，我們是質(zhì)疑的。新皮層：外界普遍用算法、算力、語(yǔ)料這些角度來(lái)衡量AI項(xiàng)目能不能做成，你覺得這些衡量維度是對(duì)的嗎？王小川：還是蠻機(jī)械的，最終是人去解決各種各樣的問題。討論算力、顯卡只是最簡(jiǎn)單的盲人摸象般的拆解。新皮層：如果不是這些維度，你覺得你現(xiàn)階段最有挑戰(zhàn)的事情是什么？王小川：首先是團(tuán)隊(duì)本身是否是有機(jī)的，是否有使命、愿景，是否能把團(tuán)隊(duì)的能力打造起來(lái)，這是最核心的事。今天大家把這件事又變成了是否能把OpenAI里面最明星的人、做架構(gòu)的人、做算法的人給拉回來(lái)做拼盤，這種拼盤方式不是一個(gè)有機(jī)生命的做法。公司像生命一樣是演化出來(lái)的，不是拼起來(lái)的。更別說(shuō)那些人愿不愿意回國(guó)。新皮層：人的問題是通過努力招募可以解決的嗎？還是市場(chǎng)上能夠干這件事的人的總數(shù)就不夠？王小川：如果你現(xiàn)在去一口氣要做GPT-5，那有這方面整個(gè)認(rèn)知的人才是不夠的。新皮層：特別原創(chuàng)性的、能做算法創(chuàng)新的不夠？王小川：原創(chuàng)性人才不夠。你要一步達(dá)到今天GPT-5的水平，這種人才特別缺乏，到美國(guó)去拉人是一種選擇。但另一種人才——對(duì)模型有足夠認(rèn)知的頂尖人才零星有一些，能夠從國(guó)外回來(lái)，會(huì)使我們比美國(guó)那邊的大模型能力只差半步。現(xiàn)在我們可能還差一步、差兩步。差半步是我們的目標(biāo)，既不能說(shuō)我們現(xiàn)在能夠立刻追上去，但也不至于說(shuō)人家已經(jīng)完成了之后我們才剛開始在干。在這個(gè)目標(biāo)下，我們現(xiàn)在人才努力一下是有機(jī)會(huì)做到的。新皮層：輿論認(rèn)為，中國(guó)公司現(xiàn)在能夠推出大模型，是因?yàn)閲?guó)外開源了，比如Facebook的LLaMA，還有GPT-3之前的模型。那之后怎么辦？王小川：他們沒有開源。開源有兩個(gè)東西，一個(gè)是開它的參數(shù)，一個(gè)是開它的方法。Meta開的LLaMA模型只是把它的參數(shù)公開了出來(lái)，并沒有公開它的方法。國(guó)內(nèi)所有公司做的大模型，都是自己做的。新皮層：所以它一定程度上還是黑盒，其他公司能不能做出來(lái)還是有風(fēng)險(xiǎn)的？王小川：對(duì)。所以你需要在這里面有自己的探索，他們已經(jīng)公開的東西，我們可先學(xué)習(xí)，其他地方我們要去做各種探索。新皮層：語(yǔ)料這個(gè)東西會(huì)是一個(gè)障礙嗎？尤其當(dāng)你需要做一個(gè)落地到特定場(chǎng)景的模型的時(shí)候？王小川：我們首先還是做通用模型，然后逐步演化成垂直模型。所以前期并不需要有特定領(lǐng)域的獨(dú)有數(shù)據(jù)。語(yǔ)料在公開領(lǐng)域其實(shí)已經(jīng)足夠多了，讀萬(wàn)卷書其實(shí)有很多語(yǔ)料可以用，難點(diǎn)是語(yǔ)料的治理，就是你選擇什么樣的數(shù)據(jù)，不選擇什么數(shù)據(jù)，這種數(shù)據(jù)的清洗過程更加困難。新皮層：上一個(gè)AI時(shí)代，大家普遍認(rèn)為中國(guó)AI的競(jìng)爭(zhēng)優(yōu)勢(shì)之一就是我們有數(shù)據(jù)，點(diǎn)外賣、打車、網(wǎng)絡(luò)購(gòu)物，大模型需要的還是不是這種數(shù)據(jù)？王小川：這是兩種不同的數(shù)據(jù)，一種是產(chǎn)品上線之后的用戶行為數(shù)據(jù)，一種是幾千年傳承下來(lái)的知識(shí)數(shù)據(jù)。今天做大模型的話，第一步先要把以前的知識(shí)給用起來(lái)，中國(guó)在這方面并沒有特別優(yōu)勢(shì)。等產(chǎn)品上線了，用戶的反饋數(shù)據(jù)可以用起來(lái)，這時(shí)候你才有優(yōu)勢(shì)，我們?nèi)烁?、?chǎng)景更加豐富。但今天的主要矛盾還不在第二步，現(xiàn)在需要的數(shù)據(jù)還是對(duì)基礎(chǔ)人類文明產(chǎn)生作用的那些數(shù)據(jù)。新皮層：你計(jì)劃在年中推出第一代模型，年底推出對(duì)標(biāo)GPT-3.5的模型，這個(gè)節(jié)奏會(huì)不會(huì)太快？OpenAI走這段路花了四五年。王小川：原創(chuàng)確實(shí)會(huì)更難，但是當(dāng)你去追趕的時(shí)候，速度會(huì)快很多，尤其是它已經(jīng)有產(chǎn)品可以做參考去對(duì)標(biāo)的時(shí)候。追趕者會(huì)更加容易。新皮層：所以并不是一個(gè)激進(jìn)的迫于競(jìng)爭(zhēng)壓力做出的計(jì)劃？王小川：不叫迫于壓力，但也不能說(shuō)沒有這種緊迫感。該不該做到和可行性上能不能做到是兩個(gè)問題。新皮層：按這個(gè)既定節(jié)奏，明年市場(chǎng)就會(huì)進(jìn)入新的競(jìng)爭(zhēng)階段？會(huì)是對(duì)場(chǎng)景的競(jìng)爭(zhēng)嗎？王小川：我覺得是。如果3.5做到的話，主要矛盾就會(huì)轉(zhuǎn)移到對(duì)場(chǎng)景本身的理解了。一方面中國(guó)市場(chǎng)特別要求對(duì)場(chǎng)景的理解落地，甚至后面采用什么商業(yè)模式。你做到這一步才會(huì)更有機(jī)會(huì)去追GPT-4或者追GPT-5。OpenAI可以說(shuō)場(chǎng)景我不關(guān)心，我就足夠努力去追求AGI就可以。新皮層：從1到3.5，再到4，對(duì)于入場(chǎng)做大模型的公司而言，你認(rèn)為每一輪迭代大概會(huì)有多少的淘汰率？王小川：我覺得不能用1到3.5到4這樣的方式來(lái)形容入場(chǎng)做大模型的公司的進(jìn)度，更應(yīng)該用做成與做不成來(lái)形容，而我覺得最后做成的包含大廠與創(chuàng)業(yè)公司在內(nèi)，應(yīng)該就5家左右。技術(shù)趨勢(shì)：AGI只有GPT還不夠，還需要更多強(qiáng)化學(xué)習(xí)新皮層：AI技術(shù)一直在迭代，GPT所基于的底層技術(shù)一定是AGI未來(lái)的發(fā)展方向嗎？王小川：一定有非常多變化。今天GPT所基于的技術(shù)仍然有缺陷，不管它的通用性還是注意機(jī)制都不完善，它會(huì)忘事，做很多事所需要的經(jīng)驗(yàn)它也不具有。所以今天GPT解決的問題是把人類已經(jīng)有的知識(shí)學(xué)習(xí)了，我們叫“讀萬(wàn)卷書”。但是之前DeepMind，包括OpenAI都還開發(fā)了另外一條技術(shù)路徑，比如AlphaGo通過下圍棋變成了圍棋高手，AlphaGo成長(zhǎng)到AlphaZero的時(shí)候，把以前人類教它的技術(shù)都扔掉了，兩個(gè)機(jī)器自己從零開始通過對(duì)弈學(xué)習(xí)下圍棋。這是大模型之外完全獨(dú)立的另外一條路徑，我們把他叫做“行萬(wàn)里路”。新皮層：一個(gè)是深度學(xué)習(xí)的路徑，一個(gè)是強(qiáng)化學(xué)習(xí)的路徑？王小川：挺準(zhǔn)確的一個(gè)描述。深度學(xué)習(xí)這條路徑可以讓AI學(xué)習(xí)已經(jīng)有的東西，強(qiáng)化學(xué)習(xí)可以讓AI從實(shí)踐結(jié)果里能學(xué)到新的東西。新皮層：兩條路徑是可以嫁接起來(lái)的嗎？王小川：從GPT-3到3. 5，其實(shí)已經(jīng)開始用強(qiáng)化學(xué)習(xí)了，它給GPT帶來(lái)了本質(zhì)的提升，所以在 GPT-4里面可能用得更多。新皮層：在大模型變得更智能的過程中，強(qiáng)化學(xué)習(xí)的比重會(huì)變得更大？王小川：對(duì)，我的預(yù)言是，在未來(lái)強(qiáng)化學(xué)習(xí)的比重會(huì)大很多，今年可能是5%、10%或者20%，未來(lái)可能10倍、100倍的能力是靠強(qiáng)化學(xué)習(xí)得到的。新皮層：如果未來(lái)是這個(gè)方向，你的團(tuán)隊(duì)中對(duì)訓(xùn)練機(jī)器做強(qiáng)化學(xué)習(xí)的人才的需求會(huì)變更大，而不是開發(fā)算法本身的人才？王小川：今天已經(jīng)開始變成人訓(xùn)練機(jī)器了，怎么去寫著instruct，對(duì)吧。其實(shí)之前OpenAI做ChatGPT的時(shí)候，80個(gè)人工作了大概3個(gè)月，其中40個(gè)人是在做調(diào)教。未來(lái)可能不僅是模型公司的人教它，甚至可能把產(chǎn)品放到應(yīng)用市場(chǎng)，讓更多專業(yè)人士甚至用戶反饋來(lái)調(diào)教，就像一個(gè)人進(jìn)入社會(huì)，從實(shí)習(xí)生往上成長(zhǎng)一樣，這個(gè)時(shí)代會(huì)到來(lái)。新皮層：OpenAI雇傭了大量博士去把一對(duì)對(duì)QA寫下來(lái)，讓機(jī)器學(xué)習(xí)，這個(gè)工作量非常大。中國(guó)公司是否低估了這部分工作？王小川：中國(guó)公司并沒有低估這部分工作。恰好相反，我了解好多公司在生成這些QA的時(shí)候，其實(shí)是在利用ChatGPT生成的回答，把這些語(yǔ)料收集下來(lái)，作為老師，教自己的AI。所以中國(guó)公司好像沒有雇傭那么多人，但是這是跟進(jìn)者的一個(gè)快速學(xué)習(xí)方法。新皮層：類似于當(dāng)時(shí)斯坦福大學(xué)的一位教授用Facebook大模型產(chǎn)生的數(shù)據(jù)去訓(xùn)練一個(gè)小AI嗎？王小川：和AI訓(xùn)練AI是兩件事。他是拿一個(gè)基礎(chǔ)模型去生成一個(gè)小模型。不過你確實(shí)可以理解為，我們是嘗試用GPT的AI來(lái)訓(xùn)練我們的AI，這樣能加速我們的AI發(fā)展。新皮層：2017年你接受采訪回應(yīng)《奇點(diǎn)臨近》那邊書提到的“奇點(diǎn)”（指人工智能的智能水平超過人類）概念時(shí)說(shuō)，你認(rèn)為機(jī)器不會(huì)比人更聰明，現(xiàn)在你是不是已經(jīng)改變了這個(gè)觀點(diǎn)？對(duì)于奇點(diǎn)有何新判斷？王小川：當(dāng)時(shí)我低估了技術(shù)本身的突破。所以用ChatGPT那一刻，我認(rèn)為我的想法是改變了的。對(duì)于奇點(diǎn)的到來(lái)，現(xiàn)在我覺得可能是在2033 年。新皮層：為什么這么具體？王小川：人工智能迭代的歷史上，第一波專家系統(tǒng)做了40年，學(xué)習(xí)系統(tǒng)做了20年，深度學(xué)習(xí)做了10年，時(shí)間成倍遞減，所以接下來(lái)有可能只需要5年，2.5年，1.25年，0.625年……人工智能就開始進(jìn)入新階段，這樣倒推的話，奇點(diǎn)到來(lái)的時(shí)間表就是2033年。這是一種美妙的假設(shè)，實(shí)際上到時(shí)候早了或者晚了也不是一個(gè)驚奇的事。但是基于技術(shù)增長(zhǎng)加速，我們有這樣的預(yù)設(shè)。新皮層：回到最初的問題，GPT對(duì)你之前好奇的關(guān)于生命相關(guān)的問題有些回答了嗎？王小川：搜狗時(shí)期我就想知道，通過預(yù)測(cè)模型是否能夠建立強(qiáng)人工智能。當(dāng)時(shí)我想，如果能預(yù)測(cè)下一幀視頻，是不是強(qiáng)人工智能就到來(lái)了？我當(dāng)時(shí)有這樣一個(gè)設(shè)想，這個(gè)時(shí)代其實(shí)提前到來(lái)了，基于對(duì)語(yǔ)言AI的巨大突破。這對(duì)我是種鼓舞。另外，今天大模型建立的人工智能的方式仍然是對(duì)數(shù)據(jù)的暴力美學(xué)，這對(duì)于未來(lái)我們?cè)趺蠢斫鈹?shù)據(jù)、理解智能也會(huì)有挺大啟發(fā)。新皮層：你想要建立生命的數(shù)學(xué)模型，GPT讓你覺得離這個(gè)問題有多近了？王小川：就像無(wú)人駕駛一樣，這件事情更可行了。新皮層：復(fù)雜理論中對(duì)智能的解釋是它是一種涌現(xiàn)，你覺得它回答問題了嗎？王小川：還沒有回答，就好像說(shuō)基因決定人，但基因怎么決定人？其實(shí)是不清楚的。

附:王小川是做技術(shù)出身，成長(zhǎng)的道路上一路星光，網(wǎng)上的百科履歷非常亮眼勵(lì)志，分享他的觀點(diǎn)給大家，希望對(duì)人工智能的發(fā)展和未來(lái)有更多的認(rèn)識(shí)和啟發(fā)。#人工智能# $科大訊飛(SZ002230)$ $三六零(SH601360)$ #算力概念# $鴻博股份(SZ002229)$