新聞大數據借助于領域詞表、大數據和人工智能技術，將雜亂無章的新聞條目數據按照領域詞表自動重新聚類，并在聚類的基礎上，進行數據重組和集成，形成具有較大價值的專題數據，提供給機構和讀者。

新聞大數據是報社的制勝法寶

互聯網媒體對傳統(tǒng)報社構成了較大沖擊，經濟效益顯著下滑，讀者數量也急劇減少。報社賴以生存的新聞報道已經被今日頭條、手百等互聯網媒體所取代，讀者通過手機百度等媒體就可以全面了解當前熱點、新聞、時政等新聞內容，導致報社讀者大量流失，讀者的流失又直接導致了廣告商投入和報紙銷量的減少。

針對互聯網媒體的沖擊，報社也投入了大量資金以應對日趨惡化的經營環(huán)境，例如，建立新聞網站、移動新聞客戶端、融媒體建設等。但大多收效甚微，主要原因是——雖然新聞的生產方式、經營方式已經數字和互聯網化，提高了新聞的生產和傳播效率，但是其經營的內容沒有改變，依然是售賣新聞模式，該模式同手機百度等媒體相比，缺乏內容競爭力，讀者自然就不買賬了。

不過，報社也有其自身的競爭力。以參考消息為例，參考消息完成了自1953年至今所有參考消息版面的數字化加工工作，加工后的數字內容以PDF、數據庫、XML等多種方式存儲，為大數據增值服務提供了數據支撐。參考消息大數據集中體現了中國自建國以來，國外媒體對中國外交、經濟、政治、民生等方面的報道及觀點，其承載的文化內容和歷史內涵都是不言而喻的，對研究中國國情及發(fā)展歷程具有很大的文獻情報價值，對圖書館、機構、社會組織、企業(yè)、讀者都有較強的內容吸引力，也是今日頭條、手百等媒體不能給予讀者的內容。

大數據增值應用有哪些技術內容?

大數據增值服務涉及到數據的感知與采集、數據的存儲、數據的挖掘分析與重組、數據的展現與交互技術。

數據的感知與采集是獲取并對數據進行預處理的技術。例如，新聞機構一般都以數據庫方式存儲新聞條目，這就需要系統(tǒng)能夠識別數據庫存儲的新聞條目，并按照預定規(guī)則對新聞條目預處理后，進入到大數據存儲系統(tǒng)。再如，利用爬蟲技術從新聞網站采集新聞條目，并按照預定規(guī)則對采集的新聞條目預處理后，進入到大數據存儲系統(tǒng)。

大數據的存儲技術非常重要，直接關系到大數據增值服務系統(tǒng)的響應和運算能力，從系統(tǒng)的響應和運算能力考慮，傳統(tǒng)的關系型數據庫存儲、數據集中式存儲技術已不能滿足大數據的存儲與數據運算需求。需要運用新的數據存儲和運算技術，以滿足不斷增長的數據存儲需求和高并發(fā)數據的運算能力。

新聞大數據的增值服務主要是對新聞數據進行挖掘和重組，對機構和讀者提供數據檢索和專題數據服務。例如，某機構要組織“記錄濰坊，見證歷史”活動，可以通過新聞大數據系統(tǒng)挖掘濰坊發(fā)展過程中涉及的熱點、大事件、政策、民生變化等新聞條目，并按照時間線和熱點、大事件、政策、民生進行排序和歸類，生成專題數據，活動參與者可以通過瀏覽器、手機瀏覽專題數據。再如，對濰坊文化、歷史感興趣的讀者都可以通過檢索和專題數據來感知濰坊。

數據的展現和交互技術直接影響用戶使用大數據服務的體驗，也影響到大數據服務的傳播和推廣。面向機構提供大數據服務時，系統(tǒng)可以部署到機構內部(大數據鏡像服務)，也可以部署在云端，并提供標準或者個性化的檢索與閱讀頁面，機構讀者可以在機構內部和外部通過移動終端(微信小程序)、PC瀏覽器訪問大數據服務;面向讀者提供服務時，充分考慮到新聞機構已有的系統(tǒng)建設，提供數據服務接口，為新聞機構已有系統(tǒng)提供數據獲取服務。

大數據增值應用實現需要的核心技術

大數據服務首先要解決大數據的存儲與高并發(fā)運算需求。大數據的特征是高價值的海量數據、數據來源渠道眾多、適合于數據的挖掘和重組、支持高并發(fā)運算?；诖髷祿纳鲜鎏卣鳎捎脗鹘y(tǒng)的數據集中式存儲和關系型數據庫技術已經不能滿足大數據服務需求，需要采用新的存儲和數據庫技術。

大數據服務宜采用分布式存儲以提高大數據的存儲擴展能力?？紤]到大數據硬件建設成本和便捷的擴展性，服務器應采用價格低廉的普通PC服務器，每臺PC服務器通過網絡連接，工作互相不受干擾，數據存儲到自身的硬盤上，當需要擴展數據存儲時，直接在網絡中加入PC服務器即可。所有接入存儲網絡的PC服務器在分布式操作系統(tǒng)的控制下，自動保存數據的多個副本到不同的PC服務器，以提高數據的容錯性，可以在不同服務器之間直接拷貝和復制數據，保持各服務器的負載平衡。

系統(tǒng)應用分布式基礎架構Hadoop技術，硬件可以基于普通PC 服務器，存儲基于服務器自帶的本地硬盤，操作系統(tǒng)采用Linux。上述基礎架構擁有較高的存儲擴展能力和內在的故障容錯能力以及數據保障機制，可以降低每TB數據的處理成本，為大數據處理提供技術和性價比支撐。數據庫采用Hbase，HBase是一個分布式的、面向列的開源數據庫。利用HBase和Hadoop技術，可在廉價PC 服務器上搭建大規(guī)模結構化存儲集群。

大數據服務宜采用云計算以提高大數據的運算能力，運算能力包括檢索、數據挖掘、重組能力。由不同PC服務器組成的分布式存儲系統(tǒng)可以構建云計算，利用PC服務器自身的運算能力，對自身存儲的數據進行運算，每臺PC服務器的運算結果匯總后，返回給數據請求者。

利用Hadoop的MapReduce技術，可以控制多臺PC服務器完成數據的并發(fā)運算。例如，讀者在前端的一個檢索請求，會觸發(fā)MapReduce發(fā)起云計算，MapReduce將調用多臺PC服務器參與運算，然后將每臺服務器的運算結果匯總并返回給檢索系統(tǒng)。