人工智能數(shù)學(xué)理論基礎(chǔ)綜述
引 言
人工智能、空間技術(shù)和原子能技術(shù)被稱為20 世紀(jì)的三大科學(xué)技術(shù)成就,人工智能的研究開展是智能機(jī)器人技術(shù)、信息技術(shù)、自動(dòng)化技術(shù)以及探索人類自身智能奧秘的需要[1]??茖W(xué)界有一個(gè)共識(shí),即智能化是管理、自動(dòng)化、計(jì)算機(jī)以及通信等技術(shù)領(lǐng)域的新方法、新技術(shù)、新產(chǎn)品的重要發(fā)展方向。人工智能是由數(shù)學(xué)、哲學(xué)、心理學(xué)、神經(jīng)生理學(xué)、語(yǔ)言學(xué)、信息論、控制論、計(jì)算機(jī)科學(xué)等多學(xué)科相互滲透而發(fā)展起來(lái)的綜合性新學(xué)科[2]。數(shù)學(xué)使人工智能成為一門規(guī)范的科學(xué),是人工智能發(fā)展必不可少的基礎(chǔ),在人工智能的各個(gè)發(fā)展階段都起著關(guān)鍵的作用。目前,關(guān)于人工智能數(shù)學(xué)發(fā)展史的研究綜述還很少。本文以人工智能發(fā)展的三個(gè)階段萌芽期、誕生期、發(fā)展期為視角,介紹了人工智能的數(shù)學(xué)基礎(chǔ)發(fā)展史,并對(duì)其數(shù)學(xué)基礎(chǔ)的發(fā)展趨勢(shì)進(jìn)行了展望。
1 人工智能萌芽期的數(shù)學(xué)基礎(chǔ)
1956年以前被稱為人工智能的萌芽期,在這個(gè)期間,布爾邏輯、概率論、可計(jì)算理論取得了長(zhǎng)足的發(fā)展。布爾邏輯是英國(guó)數(shù)學(xué)家GeorgeBoole 于19世紀(jì)中葉提出,典型的一元算符叫做邏輯非(NOT),基本的二元算符為邏輯或(OR)和邏輯與(AND), 衍生的二元算符為邏輯異或(XOR)[3]。在 Boole邏輯的基礎(chǔ)上,F(xiàn)rege發(fā)展出了一階邏輯,研究了命題及由這些命題和量詞、連接詞組成的更復(fù)雜的命題之間的推理關(guān)系與推理規(guī)則[4],從而出現(xiàn)了謂詞演算。這就奠定了人工智能抽取合理結(jié)論的形式化規(guī)則 命題邏輯和一階謂詞邏輯。
人工智能要解決各種不確定問(wèn)題如天氣預(yù)測(cè)、經(jīng)濟(jì)形勢(shì)預(yù)測(cè)、自然語(yǔ)言理解等,這需要數(shù)學(xué)為其提供不確定推理的基礎(chǔ),概率理論則是實(shí)現(xiàn)不確定推理的數(shù)學(xué)基礎(chǔ)。概率理論源于 17 世紀(jì),有數(shù)百年的發(fā)展。瑞士數(shù)學(xué)家 Jacob Bernoulli 證明了伯努力大數(shù)定理, 從理論上支持了頻率的穩(wěn)定性; P.S.Laplace 和J.W.Lindeberg 證明了中心極限定理;20 世紀(jì)初,俄國(guó)數(shù)學(xué)家 A.N.Kolmogrov 逐步建立了概率的公理化體系; K.Pearson 將標(biāo)準(zhǔn)差、正態(tài)曲線、平均變差、均方根誤差等統(tǒng)計(jì)方法用于生物統(tǒng)計(jì)研究,為概率論在自然科學(xué)中的應(yīng)用做出了卓越的貢獻(xiàn) ;R.Brown 發(fā)現(xiàn)了布朗運(yùn)動(dòng),維納提出了布朗運(yùn)動(dòng)的數(shù)學(xué)模型,奠定了隨機(jī)過(guò)程的基礎(chǔ) ;A.K.Erlang 提出了泊松過(guò)程,成為排隊(duì)論的開創(chuàng)者 [5]。概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)構(gòu)成了概率理論,為人工智能處理各種不確定問(wèn)題奠定了基礎(chǔ)。
支持向量機(jī)是人工智能的主要分類方法之一,其數(shù)學(xué)基礎(chǔ)為核函數(shù)。1909年,英國(guó)學(xué)者JamesMercer用Mercer定理證明了核函數(shù)的存在[6]??捎?jì)算理論是人工智能的重要理論基礎(chǔ)和工具,建立于20世紀(jì)30年代。為了回答是否存在不可判定的問(wèn)題,數(shù)理邏輯學(xué)家提出了關(guān)于算法的定義(把一般數(shù)學(xué)推理形式化為邏輯演繹)。可以被計(jì)算,就是要找到一個(gè)解決問(wèn)題的算法[7]。1900年,David Hilber提出了著名的23個(gè)問(wèn)題,其最后一個(gè)問(wèn)題:是否存在一個(gè)算法可以判定任何涉及自然數(shù)的邏輯命題的真實(shí)性。1931,KurtGodel證明了這一問(wèn)題,確實(shí)存在真實(shí)的局限整數(shù)的某些函數(shù)無(wú)法用算法表示,即不可計(jì)算。在不可計(jì)算性以外,如果解決一個(gè)問(wèn)題需要的計(jì)算時(shí)間隨著實(shí)例規(guī)模呈指數(shù)級(jí)增長(zhǎng),則該問(wèn)題被稱為不可操作的,對(duì)這個(gè)問(wèn)題的研究產(chǎn)生了計(jì)算復(fù)雜性。計(jì)算復(fù)雜性是討論P(yáng)=NP 的問(wèn)題,這個(gè)問(wèn)題到現(xiàn)在都是計(jì)算機(jī)科學(xué)中最大的未解決問(wèn)題之一[8]。關(guān)于P與NP問(wèn)題有很多定義, 較為典型的一種定義是在確定圖靈機(jī)(人工智能之父英國(guó)數(shù)學(xué)家圖靈1937年提出的一種機(jī)器計(jì)算模型,包括存儲(chǔ)器、表示語(yǔ)言、掃描、計(jì)算意向和執(zhí)行下一步計(jì)算)上能用多項(xiàng)式求解的問(wèn)題是P 問(wèn)題,在非確定圖靈機(jī)上能用多項(xiàng)式求解的問(wèn)題是NP 問(wèn)題 [9]??捎?jì)算性和計(jì)算復(fù)雜性為人工智能判斷問(wèn)題求解可能性奠定了數(shù)學(xué)基礎(chǔ)。
2 人工智能誕生期的數(shù)學(xué)基礎(chǔ)
1956 年,麥卡錫、明斯基、香農(nóng)和羅切斯特等學(xué)者召開了達(dá)特莫斯會(huì)議,該會(huì)議集聚了數(shù)學(xué)、心理學(xué)、神經(jīng)生理學(xué)、信息論和電腦科學(xué)等研究領(lǐng)域的年輕精英。該會(huì)議歷時(shí)兩個(gè)月,學(xué)者們?cè)诔浞钟懻摰幕A(chǔ)上,首次將人工智能作為一門新學(xué)科提出來(lái)。1956 年至1961 年被稱為人工智能的誕生期?;煦缡侨斯ぶ悄懿淮_定推理的新的數(shù)學(xué)理論基礎(chǔ),最早來(lái)源于物理學(xué)科的研究。學(xué)術(shù)界認(rèn)為,第一位發(fā)展混沌現(xiàn)象的學(xué)者是法國(guó)數(shù)學(xué)家物理學(xué)家龐加萊,他發(fā)現(xiàn)了天體動(dòng)力學(xué)方程的某些解的不可預(yù)見(jiàn)性,即動(dòng)力學(xué)混沌現(xiàn)象。以科爾莫戈夫、阿諾德和莫澤三個(gè)人命名的 KAM 定理被認(rèn)為是創(chuàng)建混沌理論的標(biāo)志[10]。在概率論的基礎(chǔ)上,出現(xiàn)了條件概率及貝葉斯定理, 奠定了大多數(shù)人工智能系統(tǒng)中不確定推理的現(xiàn)代方法基礎(chǔ)[5]。
3 人工智能發(fā)展期的數(shù)學(xué)基礎(chǔ)
1961 年之后,被稱為是人工智能的發(fā)展期。在這期間, 人工智能在機(jī)器證明、專家系統(tǒng)、第五代計(jì)算機(jī)、模式識(shí)別、人腦復(fù)制、人腦與電腦連接以及生物智能等領(lǐng)域取得了很多理論和實(shí)踐成果。所有的成果都離不開數(shù)學(xué)知識(shí)的支撐,人工智能的數(shù)學(xué)基礎(chǔ)在這個(gè)時(shí)期也取得了長(zhǎng)足的發(fā)展。
混沌與分形為人工智能的不確定推理打開了新的思路, 在人工智能的發(fā)展期,混沌與分形完成了理論的發(fā)展和應(yīng)用研究的開展。1963 年,美國(guó)氣象學(xué)家 E.N.Lorenz 在研究耗散系統(tǒng)時(shí)首先發(fā)現(xiàn)了混沌運(yùn)動(dòng),在他當(dāng)年發(fā)表的論文 確定性非周期流 中解釋了混沌運(yùn)動(dòng)的基本特征,介紹了洛倫茲吸引子和計(jì)算機(jī)數(shù)值模擬研究混沌的方法;1971 年,法國(guó)的D.Ruelle 和荷蘭的F.Takens 首次用混沌研究湍流,發(fā)現(xiàn)了一類特別復(fù)雜的新型混沌吸引子;1975 年,華人學(xué)者李天巖和導(dǎo)師J.Yorke 對(duì)混沌的數(shù)學(xué)特征進(jìn)行了研究,標(biāo)志著混沌理論的基本形成; 1979 年,E.N.Lorenz 在美國(guó)科學(xué)促進(jìn)會(huì)的一次演講中提出了著名的 蝴蝶效應(yīng) ,使得混沌學(xué)令人著迷、令人激動(dòng),激勵(lì)著越來(lái)越多的學(xué)者參與到混沌學(xué)的理論和應(yīng)用研究中來(lái)。1989 年,R.L.Devney 給出了混沌的數(shù)學(xué)定義 :設(shè) X 是一個(gè)度量空間,f是一個(gè)連續(xù)映射,如果 f 滿足以下三個(gè)條件則稱為X 上的混沌。
(1)f 是拓?fù)鋫鬟f的;
(2)f 的周期點(diǎn)在 X 中稠密;
(3)f 對(duì)初始條件敏感。
混沌理論在復(fù)雜問(wèn)題優(yōu)化、聯(lián)想記憶和圖像處理、模式識(shí)別、網(wǎng)絡(luò)通信等諸多領(lǐng)域都有成功的運(yùn)用。Yamada T 將混沌神經(jīng)網(wǎng)絡(luò)用于TSP 問(wèn)題優(yōu)化中,結(jié)果混沌神經(jīng)網(wǎng)絡(luò)表現(xiàn)出強(qiáng)大的優(yōu)化性能 [11]?;煦缋碚撛诼?lián)想記憶的應(yīng)用上顯示出優(yōu)越的性能,可應(yīng)用于信息存儲(chǔ)、信息檢索、聯(lián)想記憶、圖像識(shí)別等方面[12]。模式識(shí)別是人工智能的主要研究問(wèn)題之一,混沌學(xué)在此領(lǐng)域也有成功的應(yīng)用,Kyung Rung[13] 將混沌回歸神經(jīng)網(wǎng)絡(luò)應(yīng)用于朝鮮口語(yǔ)數(shù)字和單音節(jié)語(yǔ)音識(shí)別,與常規(guī)的回歸神經(jīng)網(wǎng)絡(luò)相比,新方法的效果更佳。李緒[14] 等將混沌神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于手寫體數(shù)字識(shí)別和簡(jiǎn)單圖像識(shí)別,實(shí)驗(yàn)顯示,混沌神經(jīng)網(wǎng)絡(luò)對(duì)手寫體識(shí)別正確率和可靠度高達(dá) 90% 以上。
1967 年,法國(guó)數(shù)學(xué)家 B.B.Mandel brot 提出了分形學(xué)的里程碑問(wèn)題 英國(guó)海岸線有多長(zhǎng)?成為人類研究分形幾何的開端 [15],分形理論是對(duì)歐氏幾何相關(guān)理論的拓展和延伸。1968 年,Madndelbrot 和 Ness 提出了分形布朗運(yùn)動(dòng),并給出了離散分形布朗隨機(jī)場(chǎng)的定義 [16]。Peleg S 于 1984 年提出了雙毯覆蓋模型[17],這是對(duì)Mandel brot 在估計(jì)英國(guó)海岸線長(zhǎng)度時(shí)的一種推廣?;诜中蔚睦碚摵退枷?,人們抽象出一種方法論分形方法論[17],該理論在人工智能領(lǐng)域的典型應(yīng)用是用于網(wǎng)絡(luò)流量分析。1993 年以來(lái),陸續(xù)有許多這方面的研究成果出現(xiàn)。通過(guò)對(duì)局域網(wǎng)高分辨率的測(cè)量分析,leland[18] 發(fā)現(xiàn)以太網(wǎng)流量表現(xiàn)出自相似的分形性質(zhì)。進(jìn)一步深入研究發(fā)現(xiàn),在較小的時(shí)間尺度上,網(wǎng)絡(luò)流量體現(xiàn)出更復(fù)雜的變化規(guī)律,由此出現(xiàn)了多重分形的概念[19]。分形理論用于實(shí)現(xiàn)網(wǎng)絡(luò)流量智能分析, 已經(jīng)有很多成功的案例,如TCP 流量的擁塞控制[20],Internet 流量建模 [21]。陸錦軍等還提出了網(wǎng)絡(luò)行為的概念[22],用于研究大規(guī)模網(wǎng)絡(luò)上觀測(cè)到的尺度行為。
扎德對(duì)不確定性就是隨機(jī)性這一長(zhǎng)期以來(lái)的觀點(diǎn)提出了挑戰(zhàn),認(rèn)為有一類不確定性問(wèn)題無(wú)法用概率論解決。1965 年發(fā)表了論文Fuzzy Sets,創(chuàng)立了模糊集合論[23]。除了傳統(tǒng)的屬于或不屬于一個(gè)集合之外,模糊集認(rèn)為集合之間還有某種程度隸屬于的關(guān)系,屬于的程度用[0,1] 之間的數(shù)值表示,該數(shù)值稱為隸屬度。隸屬度函數(shù)的確定方法大致有 6 種形態(tài), 包括正態(tài)(鐘形)隸屬度函數(shù)、嶺形隸屬函數(shù)、柯西隸屬函數(shù)、凸凹型隸屬函數(shù)、隸屬函數(shù)以及線性隸屬函數(shù) [24]。1978 年, 在模糊集的基礎(chǔ)上,扎德提出了可能性理論,將不確定理解為與概率不同的 可能性 ,與之對(duì)應(yīng)的可能性測(cè)度也是一種集合賦值方法[25]。聚類在人工智能領(lǐng)域有大量應(yīng)用,是模糊集研究的較早的一個(gè)方向[26]。模糊集理論在人工智能領(lǐng)域的典型應(yīng)用還有數(shù)據(jù)選擇[27]、屬性范化[28]、數(shù)據(jù)總結(jié)等[29]。
離開了隸屬度或隸屬函數(shù)的先驗(yàn)信息,模糊集合運(yùn)算難以進(jìn)行,粗糙集理論研究了用不確定本身提供的信息來(lái)研究不確定性。上世紀(jì) 80 年代初,粗糙集的奠基人波蘭科學(xué)家Pawlak[30] 基于邊界區(qū)域的思想提出了粗糙集的概念并給出了相應(yīng)的定義。粗糙集從知識(shí)分類入手,研究在保持分類能力不變的情況下,經(jīng)過(guò)知識(shí)約簡(jiǎn),推出概念的分類規(guī)則,最后獲得規(guī)則知識(shí)。粗糙集隸屬度函數(shù)的定義有多種形式,典型的是Yao Y Y 在 1998 年用三值邏輯進(jìn)行的定義[31]。粗糙集理論的核心基礎(chǔ)是從近似空間導(dǎo)出上下近似算子,典型的構(gòu)造方法是公理化方法。1994 年,Lin T Y 最早提出用公理化方法研究粗糙集[32],之后不少學(xué)者對(duì)公理化方法進(jìn)行了完善和改進(jìn)。粗糙集在人工智能領(lǐng)域的應(yīng)用主要體現(xiàn)在知識(shí)獲取 [33],知識(shí)的不確定性度量[34] 和智能化數(shù)據(jù)挖掘[35] 等方面。
傳統(tǒng)的模糊數(shù)學(xué)存在隸屬度、可能測(cè)度與概率區(qū)分不是絕對(duì)分明的問(wèn)題,目前,已經(jīng)無(wú)法滿足很多領(lǐng)域?qū)Σ淮_定推理的需要。在發(fā)現(xiàn)狀態(tài)空間理論以及云與語(yǔ)言原子模型后,1993 年,李德毅院士在其文獻(xiàn)《隸屬云和語(yǔ)言原子模型》[36]中首次提出了云的概念,并逐步建立了云模型。云模型通過(guò)3 個(gè)數(shù)字特征,即期望Ex,熵En 和超熵He 實(shí)現(xiàn)定性概念到定量數(shù)據(jù)間的轉(zhuǎn)化,并以云圖的方式表現(xiàn)出來(lái),比傳統(tǒng)的模糊概念更直觀具體。1995年,李德毅等人在其文獻(xiàn)隸屬云發(fā)生器中系統(tǒng)化的提出了云的概念[37]。1998年,該課題組在一維云的基礎(chǔ)上進(jìn)一步提出了二維云的數(shù)學(xué)模型和二維云發(fā)生器的構(gòu)成方法[38]。2001年,杜鹢提出了基于云模型的概念劃分方法云變換[39]。2003年,李德毅課題組提出了逆向云算法[40]。2004年至2007年,該課題組進(jìn)一步完善了云模型的數(shù)學(xué)基礎(chǔ)和數(shù)學(xué)性質(zhì),將云模型抽象到更深層次的普適性空間。云模型在人工智能的多個(gè)領(lǐng)域都有成功的應(yīng)用,包括定性知識(shí)推理與控制,數(shù)據(jù)挖掘和模式識(shí)別。如1999 年,李德毅將云模型用于倒立擺的控制[41];2002年,張光衛(wèi)建立了基于云模型的對(duì)等網(wǎng)信任模型[42];2001年,岳訓(xùn)等人將云模型用于Web 數(shù)據(jù)挖掘[43];2003年,田永青等人基于云模型提出了新的決策樹生成方法[44];2009年,牟峰等人將云模型用于遺傳算法的改進(jìn)[45]。
貝葉斯網(wǎng)絡(luò)起源于條件概率,是一種描述變量間不確定因果關(guān)系的圖形網(wǎng)絡(luò)模型,是目前人工智能,典型用于各種推理的數(shù)學(xué)工具。最初的貝葉斯網(wǎng)絡(luò)時(shí)間復(fù)雜度很大,限制了其在實(shí)際工程中的應(yīng)用。1986 年,PEARL 提出的消息傳遞算法為貝葉斯網(wǎng)提供了一個(gè)有效算法 [46],為其進(jìn)入實(shí)用領(lǐng)域奠定了數(shù)學(xué)基礎(chǔ)。1992 年,丹麥AALBORG 大學(xué)基于貝葉斯網(wǎng)開發(fā)了第一個(gè)商業(yè)軟件(HUGIN)[47],可實(shí)現(xiàn)貝葉斯網(wǎng)的推理,使貝葉斯網(wǎng)真正進(jìn)入實(shí)用階段。1997 年,Koller 和 Pfeffer[48] 將面向?qū)ο蟮乃枷胍胴惾~斯網(wǎng),用于解決大型復(fù)雜系統(tǒng)的建模問(wèn)題。將時(shí)間量引入貝葉斯網(wǎng)則形成了動(dòng)態(tài)貝葉斯網(wǎng)[47],動(dòng)態(tài)貝葉斯網(wǎng)提供了隨時(shí)間變化的建模和推理工具。貝葉斯網(wǎng)絡(luò)節(jié)點(diǎn)兼容離散變量和連續(xù)數(shù)字變量則形成了混合貝葉斯網(wǎng),混合貝葉斯網(wǎng)在海量數(shù)據(jù)的挖掘和推理上有較大優(yōu)勢(shì) [49]。貝葉斯在人工智能領(lǐng)域的應(yīng)用主要包括故障診斷 [50],系統(tǒng)可靠性分析[51],航空交通管理[52],車輛類型分類[53] 等。
4 結(jié) 語(yǔ)
人工智能科學(xué)想要解決的問(wèn)題是讓電腦也具有聽(tīng)、說(shuō)、讀、寫、思考、學(xué)習(xí)、適應(yīng)環(huán)境變化以及解決各種實(shí)際問(wèn)題的能力。布爾邏輯、概率論以及可信計(jì)算理論為人工智能的誕生奠定了數(shù)學(xué)基礎(chǔ),這些數(shù)學(xué)理論經(jīng)歷了上百年的發(fā)展,已經(jīng)比較成熟。混沌與分形、模糊集與粗糙集、云模型等人工智能的數(shù)學(xué)理論是近 30年發(fā)展起來(lái)的,為不確定性人工智能奠定了數(shù)學(xué)基礎(chǔ), 但還存在很多問(wèn)題需要解決。就混沌與分形來(lái)說(shuō),其理論體系還不成熟,其應(yīng)用在復(fù)雜問(wèn)題的優(yōu)化、聯(lián)想、記憶等方面將更有生命力;對(duì)于粗糙集來(lái)說(shuō),其理論研究可以從粗糙集的擴(kuò)展方面進(jìn)行,并在相關(guān)模型下進(jìn)行應(yīng)用研究;就云模型來(lái)說(shuō), 如何揭示其理論上的優(yōu)勢(shì)以及和其他相關(guān)模型的聯(lián)系與區(qū)別, 以及如何實(shí)現(xiàn)數(shù)值域和符號(hào)域共同表達(dá)的云模型都是值得研究的問(wèn)題。貝葉斯網(wǎng)是人工智能領(lǐng)域目前最有效的推理工具, 將來(lái)的研究應(yīng)集中在概率繁殖算法的改進(jìn)、混合貝葉斯網(wǎng)以及動(dòng)態(tài)貝葉斯網(wǎng)的擴(kuò)展研究等方面。