谷歌成立之初,天使投資人問創(chuàng)始人:現(xiàn)在做搜算引擎的公司已經(jīng)非常多了,你們?yōu)槭裁催€要做?谷歌創(chuàng)始人說:我們做的不是搜索,我們做的是人工智能啊!
搜索與人工智能有什么關(guān)系呢?
學(xué)過專家系統(tǒng)的同志都知道:人工智能的求解問題,往往可以轉(zhuǎn)化成搜索問題。但搜索過程往往面臨組合爆炸,傳統(tǒng)算法無法在有限的時(shí)間內(nèi)計(jì)算出來。人工智能算法就是要解決這類問題。所以,有人對這樣定義智能:智能就是在一個(gè)巨大的搜索空間中,迅速找出較優(yōu)解的過程。按照這個(gè)定義,智能算法是搜索算法,智能算法并不要求最優(yōu)解、而是要求可接受的解,智能算法需要足夠快。
搜索引擎就是要在巨大的搜索空間中,搜索到用戶期望看到的東西。但問題是:什么才是用戶最希望看到的東西呢?這需要理解用戶的心理、需要讀心術(shù)。這一點(diǎn),谷歌做得特別好。在美國過會(huì)的一次聽證會(huì)上,共和黨議員問谷歌的CEO桑達(dá)爾·皮查伊:為什么我們打入白癡(idiot)時(shí)會(huì)出現(xiàn)特朗普總統(tǒng)的照片?皮查伊回答道:因?yàn)槲覀冇行┛蛻艟褪窍肟刺乩势铡?/p>
這種奇怪的“讀心術(shù)”,谷歌是如何做到的呢?吳軍先生在《數(shù)學(xué)之美》這本書中說的很清楚:計(jì)算概率?;ヂ?lián)網(wǎng)上的數(shù)據(jù)樣本特別多,這是合理計(jì)算概率的基礎(chǔ),而大數(shù)據(jù)技術(shù)使得快速的復(fù)雜計(jì)算成為可能。于是,人工智能走向了一個(gè)新的臺(tái)階。
前幾年,谷歌的阿爾法狗風(fēng)靡一時(shí)。其本質(zhì)也是計(jì)算概率。我們知道:下棋的過程是要比較各種不同的走法,從中搜索出好的走法。但是,搜索的步子多了以后,就會(huì)遭遇組合爆炸。人工智能技術(shù)的關(guān)鍵,就是要減少搜索量。如何減少呢?就是要有重點(diǎn)的搜索。在專家系統(tǒng)這門課上,需要建立“啟發(fā)式函數(shù)”去模擬人類的感性認(rèn)識(shí),評(píng)價(jià)哪些步驟更適合作為重點(diǎn)。
“重點(diǎn)搜索”的是取勝可能性較大的做法。本質(zhì)上也是個(gè)算概率的問題。但是,這種概率函數(shù)很難人為地給出。人類棋手的判斷,常?;谒母杏X。如何才能模仿人類的感覺呢?谷歌采用了依賴大數(shù)據(jù)的深度學(xué)習(xí)技術(shù)獲得“啟發(fā)式函數(shù)”,模擬人的感覺,本質(zhì)上就是可以更合理地計(jì)算概率。
最近特別火的ChatGPT,回答問題時(shí)同樣是在計(jì)算概率。你給出一個(gè)問題后,計(jì)算機(jī)給出概率大的答案。由此可見,從某種意義上說,人說不清、道不明的感性認(rèn)識(shí),本質(zhì)上就是在計(jì)算概率。
我很早之間就認(rèn)識(shí)到了概率和智能的關(guān)系。
1994年,我在浙大讀博士。在何亞平老師的哲學(xué)課上,我走到黑板的前面畫了A、B、C三個(gè)點(diǎn)。其中,C距離A非常近。我對大家說:已知A、B是兩類不同的樣本,請問C應(yīng)該分到哪一類?這個(gè)問題給的條件太少,顯然沒有確定的答案。但如果一定要選一個(gè)的話,多數(shù)人會(huì)選擇C與A屬于同一類。因?yàn)橛X這樣的概率比較大。但人們又是如何判斷概率的呢?我認(rèn)為可以做個(gè)隨機(jī)試驗(yàn):隨機(jī)給出一個(gè)線性分類器,把C與A劃成一類的概率更大一些。當(dāng)時(shí),我沒有把想法說清楚,只是有點(diǎn)模糊的感覺。我想說的是一個(gè)道理:智能的本質(zhì)是對概率的判斷。
概率論事一門嚴(yán)密的數(shù)學(xué)學(xué)科。但在現(xiàn)實(shí)中,理想的概率往往是不存在的——正如數(shù)學(xué)上的“直線”在現(xiàn)實(shí)中是不存在的。現(xiàn)實(shí)的概率,往往只能在一定的條件下才能逼近數(shù)學(xué)理論中的概率。如果把現(xiàn)實(shí)中的概率當(dāng)成數(shù)學(xué)上的概率,往往會(huì)犯錯(cuò)誤。
合理認(rèn)識(shí)現(xiàn)實(shí)中的概率,體現(xiàn)了人的智能。
我特別喜歡《黑天鵝》中的一個(gè)故事。作者問兩個(gè)人:假如一個(gè)硬幣丟了99次,都是正面朝上。請問第100次正面朝上的概率是多大。對于這個(gè)問題,讀書讀傻了人往往會(huì)說:根據(jù)概率理論,第100次投幣正面朝上的概率和前面的結(jié)果無關(guān),所以概率為0.5。但實(shí)踐經(jīng)驗(yàn)更豐富的人則會(huì)說:這個(gè)概率應(yīng)該大于0.5。他的理由是:前面99次都正面朝上了,你還能假設(shè)正面朝上的概率是0.5嗎?
處理概率問題的本質(zhì)是如何面對不確定性。不確定性是在信息和知識(shí)不完備的前提下產(chǎn)生的。而人的智慧往往就體現(xiàn)在信息和知識(shí)不充分時(shí)如何決策,就像傳說中諸葛亮通過“夜觀天象”而知“午時(shí)三刻有東風(fēng)”。
我到寶鋼之后,從事了多年的數(shù)據(jù)分析工作。我當(dāng)時(shí)就認(rèn)識(shí)到:現(xiàn)實(shí)中的概率和教科書上的概率不一樣。教科書上的概率有個(gè)基本的前提假設(shè):事件發(fā)生的頻度是穩(wěn)定的。而現(xiàn)實(shí)中,頻度穩(wěn)定幾乎是做不到的。
比如,寶鋼大院每年生產(chǎn)幾十萬塊鋼坯。鋼坯的缺陷率是否可以看成概率呢?很難。因?yàn)槊磕甑摹叭毕莅l(fā)生頻率”都不穩(wěn)定。比如,有的年份2%,有的年份5%。為什么會(huì)有這么大的波動(dòng)呢?一個(gè)重要的原因是產(chǎn)品不同。有的產(chǎn)品缺陷發(fā)生率可以高達(dá)20%,有的幾乎無缺陷。而每年生產(chǎn)的產(chǎn)品比例不一樣。那么,對于特定產(chǎn)品是不是就可以固定缺陷率呢?我發(fā)現(xiàn)也不行。即便對于同一個(gè)鋼種,有的年份缺陷率5%,有的年份15%。特定鋼種的缺陷率為什么變化這么大呢?因?yàn)橛袀€(gè)清理環(huán)節(jié),可以把缺陷清理掉。缺陷率是清理之后才統(tǒng)計(jì)的,但清理情況經(jīng)常變化。那么,把產(chǎn)品和清理情況固定下來,缺陷率是不是就穩(wěn)定了呢?仍然不穩(wěn)定,因?yàn)檫€會(huì)有眾多的系統(tǒng)干擾。如果把各種系統(tǒng)干擾都排除掉,則每組樣本中的樣本數(shù)目就非常少了,不再具備統(tǒng)計(jì)意義。當(dāng)缺陷發(fā)生頻度不穩(wěn)定的時(shí)候,許多模型就不會(huì)有效了。
在我看來,每次缺陷的發(fā)生往往都有具體原因。而工廠的技術(shù)人員似乎更喜歡關(guān)注具體原因。只有具體原因無法觀測的時(shí)候,才不得不用“概率”。所以,如果信息收集足夠完備,人們就可以用機(jī)理知識(shí)而非概率統(tǒng)計(jì)解決問題了。
在我看來,傳統(tǒng)的概率統(tǒng)計(jì)理論,都是在小數(shù)據(jù)的背景下形成的。這個(gè)理論體系已經(jīng)不太適合大數(shù)據(jù)時(shí)代和信息時(shí)代了——換句話說,大數(shù)據(jù)時(shí)代的很多問題不適合用傳統(tǒng)的概率理論來描述了。
在計(jì)算能力極大增強(qiáng)、信息趨于完善的時(shí)代,如何重新認(rèn)識(shí)概率和不確定性,會(huì)給我們帶來機(jī)會(huì),也會(huì)帶來挑戰(zhàn)?;蛟S,需要拓展“概率”的概念,并發(fā)展出新的理論。