通過(guò)維基百科看世界
21ic訊 SGI與伊利諾伊大學(xué)的Kalev H. Leetaru合作,制作了英文版維基百科全文的歷史地圖繪制和探究(按時(shí)間和地點(diǎn)繪制),這是前所未有的創(chuàng)作。結(jié)合內(nèi)存數(shù)據(jù)挖掘技術(shù),在一天之內(nèi)就能實(shí)現(xiàn)將維基百科紀(jì)錄的現(xiàn)代歷史轉(zhuǎn)換成可視的地圖。通過(guò)把英文版維基百科整體下載到SGI® UV™ 2000里,Leetaru能夠展示維基百科里過(guò)去兩個(gè)世紀(jì)的世界,同時(shí)還能看到相應(yīng)的地點(diǎn)、年份和當(dāng)時(shí)世界正面或負(fù)面的情緒。
雖然之前有幾個(gè)項(xiàng)目通過(guò)編輯手動(dòng)把維基百科的條目按地址元數(shù)據(jù)繪制地圖,但其中所涉及的地址條目只占到整個(gè)維基百科的一小部分。目前這個(gè)項(xiàng)目對(duì)所有文章內(nèi)容解鎖,在400萬(wàn)頁(yè)文檔中定位每一個(gè)地址和日期,找出它們之間的聯(lián)系,然后建立一個(gè)巨大的網(wǎng)絡(luò)。
從全新角度“看”維基百科
SGI首席營(yíng)銷官兼戰(zhàn)略主管Franz Aman認(rèn)為,“這種新的分析方法能讓讀者從分散的文檔中抽身,用全局的視角審視維基百科中海量的信息。前者是一棵樹(shù)一棵樹(shù)的看,而后者則是從整片森林的角度看。我們能看到維基百科作為人類知識(shí)最全集錦之一是如何演繹歷史,并發(fā)現(xiàn)以前忽視的信息,如某特定時(shí)間和地點(diǎn)的全球情緒,或者可能存在的知識(shí)盲點(diǎn)。”Franz Aman補(bǔ)充說(shuō),“我們熱衷于使用谷歌地球,因?yàn)槲覀兡芊糯鬄g覽。SGI UV 2這個(gè)工具就是把同樣的概念運(yùn)用于大數(shù)據(jù)(Big Data),得以放大瀏覽大數(shù)據(jù)。”
根據(jù)這種分析方法,維基百科的歷史覆蓋大致經(jīng)歷了四個(gè)成長(zhǎng)階段:1001-1500(中世紀(jì))、1501-1729 (現(xiàn)代早期)、1730-2003 (啟蒙時(shí)代)和2004-2011 (維基百科時(shí)代)。維基百科將繼續(xù)致力于加強(qiáng)對(duì)歷史事件的覆蓋,而不是對(duì)現(xiàn)在發(fā)生的事件做過(guò)多紀(jì)錄。維基百科對(duì)每年歷史的紀(jì)錄基本上涵蓋主要的全球事件:過(guò)去的1000年里最具負(fù)面影響的是美國(guó)內(nèi)戰(zhàn),其次是第二次世界大戰(zhàn)。這項(xiàng)分析也顯示了“版權(quán)差距”對(duì)維基百科并不是問(wèn)題,因?yàn)榫S基百科對(duì)歷史事件的覆蓋從1924年至今呈現(xiàn)穩(wěn)定的指數(shù)增長(zhǎng)?,F(xiàn)實(shí)中,版權(quán)差距使得大部分20世紀(jì)的歷史都只能保留在印刷品中,無(wú)法數(shù)字化。
研究人員能夠以大數(shù)據(jù)(Big Data)的速度進(jìn)行數(shù)據(jù)挖掘
“維基百科的單向性聯(lián)系、缺乏鏈接、信息盒的不均勻分布,這些都給維基百科這類知識(shí)大全的元數(shù)據(jù)挖掘帶來(lái)了限制。” Leetaru說(shuō),“有了SGI UV2, 大容量的共享存儲(chǔ)能讓我?guī)缀鯇?shí)時(shí)地對(duì)整個(gè)數(shù)據(jù)集提問(wèn)。維基百科擁有海量的高速緩沖存儲(chǔ)器-一致性共享存儲(chǔ),我只要?jiǎng)觿?dòng)指尖,寫(xiě)幾行代碼,在整個(gè)數(shù)據(jù)集中運(yùn)行,就可以查詢?nèi)魏文X海里浮現(xiàn)的問(wèn)題。如果沒(méi)有橫向擴(kuò)張的計(jì)算方法,這是不可能實(shí)現(xiàn)的。這就像從打字機(jī)升級(jí)到了文字處理器-我可以用完全不同的方法開(kāi)展研究,把精力從算法轉(zhuǎn)移到結(jié)果上。 ”
分析方法
裝載SGI® UV™ 2000后,大腦(Big Brain)計(jì)算機(jī)這一巨大的數(shù)據(jù)集用算法在維基百科的各條目上定位地址和日期,進(jìn)行全文地理編碼和完全日期編碼。在公元前1000年到2012年間共挖取了超過(guò)8000萬(wàn)個(gè)地址和4200萬(wàn)個(gè)日期,每篇文章平均有19個(gè)地址和11個(gè)日期(相當(dāng)于平均每44個(gè)文字和75個(gè)文字分別含有一個(gè)地址和日期)。各個(gè)日期和地址之間的聯(lián)系匯聚成一張巨大的網(wǎng)絡(luò),展現(xiàn)了維基百科看待歷史的角度。有了這個(gè)工具,Leetaru能夠在SGI UV 2上對(duì)整個(gè)數(shù)據(jù)集進(jìn)行實(shí)時(shí)分析,編制出按地點(diǎn)和時(shí)間排列的可視地圖。 從這些地圖上,Leetaru不但能觀察到整段歷史的演化,還能看到過(guò)去幾千年里整個(gè)世界的情緒。同時(shí),Leetaru還能在SGI UV 2上對(duì)各種理論和研究問(wèn)題進(jìn)行互動(dòng)測(cè)試。上述這些工作都可以在一天之內(nèi)完成。
新版SGI UV:大腦(Big Brain)計(jì)算機(jī)
SGI UV 2產(chǎn)品線使用戶能夠在一個(gè)系統(tǒng)上找到最難問(wèn)題的答案,而這個(gè)系統(tǒng)操作起來(lái)就和工作站一樣容易。SGI UV 2內(nèi)置Intel®Xeon®E5處理器、采用標(biāo)準(zhǔn)Linux系統(tǒng),并支持各種存儲(chǔ)選項(xiàng),從而提供完整和行業(yè)領(lǐng)先的無(wú)極限計(jì)算的解決方案。
SGI UV 2的最低配置為16核和32G內(nèi)存,日后可無(wú)縫擴(kuò)展。該新一代平臺(tái)的內(nèi)核數(shù)量增加了一倍(高達(dá)4096個(gè)),連貫主內(nèi)存增加了三倍(高達(dá)64萬(wàn)億字節(jié)),可用于單一映像系統(tǒng)的內(nèi)存計(jì)算。SGI UV 2可以將共享內(nèi)存擴(kuò)展到8千萬(wàn)億字節(jié),每秒輸入/輸出速率最高達(dá)每秒4萬(wàn)億字節(jié)(14千萬(wàn)億字節(jié)/小時(shí))。它能夠在不到三秒鐘之內(nèi)完成對(duì)美國(guó)國(guó)會(huì)圖書(shū)館所有藏書(shū)內(nèi)容的檢索。
SGI UV 2000現(xiàn)已開(kāi)始銷售。今日起可訂購(gòu)SGI UV 20,2012年8月開(kāi)始發(fā)貨。起售價(jià)30,000美元。