最近，如果你不知道《長安十二時辰》，顯然你已經(jīng) Out 了！

?

這部豆瓣評分 8.6 的古裝懸疑劇，講述的是，唐朝上元節(jié)前夕，長安城陷入危局，長安死囚張小敬臨危受命，與靖安司司丞李必，攜手在十二時辰內(nèi)拯救長安的故事。

?

整部劇場景精致，沒有一哭就半集的愛情故事，沒有慢節(jié)奏的舞刀弄槍，一句話概括：簡潔明快，看點出奇。

?

隨著劇情的推進，靖安司在輔助查案的過程中，居然出現(xiàn)了不少黑科技，讓人嘆為觀止。舉幾個例子：

這玩意叫望樓，八丈高，星羅棋布的安置于長安城中，樓與樓間靠旗語、鼓聲或燈火光來傳遞信息。依靠這一體系，坐鎮(zhèn)靖安司大望樓，就可以統(tǒng)一遙控調(diào)度全城的城防力量。

?

膩不膩害？古代的無線電通訊??！

這玩意叫長安城沙盤，真實復(fù)現(xiàn)長安城建筑和地貌，結(jié)合望樓體系，靖安司就好比擁有了一個可以鳥瞰全長安的無人機，隨時可以了解，被追蹤目標當下的位置，從而做出及時的指揮調(diào)度。

?

膩不膩害？古代的虛擬現(xiàn)實??！

?

其實，當我看到這些的時候，幼小的心靈雖然受到了猛烈的沖擊，但憑借多年的看片經(jīng)驗，我抗住了。

?

直到，我看到這個哥們……

?

徐賓，靖安司書令吏，八品小官。

?

此人放到現(xiàn)在，也就相當于情報局的一個辦事員，但就是這個小小辦事員，讓佯裝淡定的我一秒破功，為他尖叫、歡呼……

?

為什么呢？

?

劇中的他不僅博學(xué)多才，還有著出色的記憶力，對于術(shù)數(shù)有著濃厚的興趣，經(jīng)過他的刻苦專研，最后研究出了一套，以檔案數(shù)據(jù)為基礎(chǔ)的處理事務(wù)的方法，即為“大案牘術(shù)”！

?

有了大案牘術(shù)，無論是查案找人，甚至預(yù)言未來，都可以通過大批書籍，匯總一切機密信息進行分析，從數(shù)據(jù)與信息間發(fā)現(xiàn)諸多關(guān)聯(lián)，進而找到線索。

?

此時，作為程序員的朋友們，是不是已經(jīng)覺察到了什么？

?

偶買噶！這不就是大！數(shù)！據(jù)！嗎？

?

徐賓，1200 多年前的程序員？

?

聊到這，可能很多不是程序員的朋友，之前也沒有接觸、或完全不了解大數(shù)據(jù)。那么問題就來了！啥是大數(shù)據(jù)呢？

?

呵呵，你們真以為我是來聊電視劇的嗎？圖樣，圖森破！

?

其實這篇文章呢，主要是想借著電視劇的熱點，和大家聊一下，什么是大數(shù)據(jù)，順道分享一些和大數(shù)據(jù)有關(guān)的趣事。

?

別著急點叉！我們簡單科普、不聊技術(shù)……

?

大數(shù)據(jù)，很明顯從字面上理解就是大量的數(shù)據(jù)，海量的數(shù)據(jù)。

?

大，意思就是數(shù)據(jù)的量級很大，不上 TB 都不好意思和別人打招呼。

?

數(shù)據(jù)，狹義上理解就是 12345 那么些數(shù)據(jù)，畢竟計算機底層是二進制來存的，那么在大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)就不僅僅包括數(shù)字這些，它可以是所有格式的東西，比如日志，音頻視頻，文件等等。

所以，大數(shù)據(jù)從字面上理解就是海量的數(shù)據(jù)，技術(shù)上它包括這些海量數(shù)據(jù)的采集，過濾，清洗，存儲，處理，查看等等部分，每一個部分包括一些大數(shù)據(jù)的相關(guān)技術(shù)框架來支持。

?

舉個例子，淘寶雙十一的總交易額的顯示，后面就是大數(shù)據(jù)技術(shù)的支持，全國那么多淘寶用戶的交易記錄匯聚到一起，數(shù)據(jù)量很大，而且要做到實時的展現(xiàn)，就需要強有力的大數(shù)據(jù)技術(shù)來處理了。

?

概括起來就是這個亞子，但咱們?nèi)f一哪天和別人聊到大數(shù)據(jù)，一點名詞不懂，豈不露怯？所以，在這里簡單說一下，在技術(shù)實現(xiàn)方面，大數(shù)據(jù)的一些的名詞，大家看一看，有個印象就好。

?

剛才說到，數(shù)據(jù)量會很大，那就牽扯到一個問題，數(shù)據(jù)存放在哪？一個服務(wù)器硬盤，肯定滿足不了這么大的數(shù)據(jù)量存儲啊，所以，分布式的存儲系統(tǒng)應(yīng)運而生，那就是 HDFS 分布式文件系統(tǒng)。簡單的說，就是把這么大的數(shù)據(jù)分開，存在幾臺、幾十臺、甚至幾百臺服務(wù)器上，管理他們的系統(tǒng)就是 HDFS 文件系統(tǒng)，也是大數(shù)據(jù)技術(shù)的最基本的組件。

?

有地方存了，還需要一些分布式的數(shù)據(jù)庫來管理查詢啊，那就有了 Hbase 等，還需要一些組件，來計算分析這些數(shù)據(jù)啊，MapReduce 是最基本的計算框架，其他的計算框架比如 Spark、Storm、Flink 還可以完成實時數(shù)據(jù)的處理。

?

……完事，就介紹這么多名詞，你們記住了嗎？

?

長安十二時辰，帶我們走進了一個擁有大數(shù)據(jù)的唐代，給人無限遐想。那么在現(xiàn)代社會、現(xiàn)實生活中，大數(shù)據(jù)又使用在哪些地方呢？

?

咱們來分享幾個有關(guān)大數(shù)據(jù)的經(jīng)典案例。

?

1. 啤酒與紙尿褲

?

這個故事產(chǎn)生于 20 世紀 90 年代的美國沃爾瑪超市中，沃爾瑪?shù)某泄芾砣藛T，分析銷售數(shù)據(jù)時發(fā)現(xiàn)了一個令人難于理解的現(xiàn)象：在某些特定的情況下，啤酒與紙尿褲兩件看上去毫無關(guān)系的商品，卻經(jīng)常會出現(xiàn)在同一個購物籃中，這種獨特的銷售現(xiàn)象，引起了管理人員的注意，經(jīng)過后續(xù)調(diào)查發(fā)現(xiàn)，這種現(xiàn)象普遍出現(xiàn)在年輕的父親身上。

?

原來，在美國有嬰兒的家庭中，一般是母親在家中照看嬰兒，年輕的父親前去超市購買紙尿褲。父親在購買尿布的同時，往往會順帶為自己購買啤酒。所以沃爾瑪超市打破常規(guī)，將紙尿褲與啤酒放在同一個區(qū)域內(nèi)，使得紙尿褲與啤酒的銷量雙雙激增。

?

2. 數(shù)據(jù)新聞讓英軍撤軍

?

2010 年 10 月 23 日，衛(wèi)報利用維基解密的數(shù)據(jù)做了一篇“數(shù)據(jù)新聞”。將伊拉克戰(zhàn)爭中，所有的人員傷亡情況均標注于地圖之上。地圖上一個紅點便代表一次死傷事件，鼠標點擊紅點后，彈出的窗口則有詳細的說明：傷亡人數(shù)、時間，造成傷亡的具體原因。密布的紅點多達39萬，顯得格外觸目驚心。一經(jīng)刊出，立即引起社會強烈反響，也推動了英國最終做出撤出駐伊拉克軍隊的決定。

?

3. 成功預(yù)測冬季流感

?

2009 年，Google 通過分析 5000 萬條美國人最頻繁檢索的詞匯，將之和美國疾病中心在2003 年到 2008 年間季節(jié)性流感傳播時期的數(shù)據(jù)進行比較，并建立一個特定的數(shù)學(xué)模型。最終 Google 成功預(yù)測了 2009 冬季流感的傳播甚至可以具體到特定的地區(qū)和州。

?

4. 奧巴馬大選連任成功

?

2012 年 11 月奧巴馬大選連任成功的勝利果實也被歸功于大數(shù)據(jù)，因為他的競選團隊進行了大規(guī)模與深入的數(shù)據(jù)挖掘。時代雜志更是斷言，依靠直覺與經(jīng)驗進行決策的優(yōu)勢急劇下降，在政治領(lǐng)域，大數(shù)據(jù)的時代已經(jīng)到來。

?

各色媒體、論壇、專家鋪天蓋地的宣傳讓人們對大數(shù)據(jù)時代的來臨興奮不已，無數(shù)公司和創(chuàng)業(yè)者都紛紛跳進了這個狂歡隊伍。

?

5. 超市預(yù)測高中生顧客懷孕

?

明尼蘇達州一家塔吉特門店被客戶投訴，一位中年男子指控塔吉特將嬰兒產(chǎn)品優(yōu)惠券寄給他的女兒：一個高中生。但沒多久他卻來電道歉，因為女兒經(jīng)他逼問后，坦承自己真的懷孕了。塔吉特百貨就是靠著分析用戶所有的購物數(shù)據(jù)，然后通過相關(guān)關(guān)系，分析得出事情的真實狀況。

??

在文章的結(jié)尾，我想說，大數(shù)據(jù)給人們生活帶來的不僅僅只是便利，還有緊密的生活服務(wù)網(wǎng)絡(luò)。

?

通過大數(shù)據(jù)，如果銀行能及時了解風險，我們的財產(chǎn)將更加安全；如果醫(yī)院能夠更早發(fā)現(xiàn)疾病，我們的身體將更加健康；如果交通動態(tài)、天氣預(yù)報能夠隨時掌握，我們?nèi)粘３鲂袑⒏油〞?；如果商場的庫存能夠動態(tài)調(diào)整，我們購買商品將更加實惠……

?

而當一切的需求，都可以按照人們的喜好來計量，社會又會步入怎樣的嶄新時代呢？也許那句老話：“你一撅屁股，我就知道你要放什么屁“……就真的離我們不遠了喲！

特別推薦一個分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒關(guān)注的小伙伴，可以長按關(guān)注一下：

長按訂閱更多精彩▼
如有收獲，點個在看，誠摯感謝