數(shù)據(jù)挖掘技術(shù)在光傳送網(wǎng)管理系統(tǒng)中的應(yīng)用
l 引 言
隨著WDM光傳輸技術(shù)的飛速發(fā)展,光傳送網(wǎng)由點到點網(wǎng)絡(luò)、環(huán)網(wǎng)逐步向網(wǎng)狀網(wǎng)演變,光傳送網(wǎng)的管理已成為電信網(wǎng)絡(luò)管理的重要研究課題。目前,光傳送網(wǎng)的管理技術(shù)尚處于發(fā)展階段,能否構(gòu)建出一種智能的、開放的管理系統(tǒng)以便對光傳送網(wǎng)實施有效的控制和管理是所有光網(wǎng)絡(luò)運營者十分關(guān)注的問題。本文將數(shù)據(jù)挖掘技術(shù)引入光傳送網(wǎng)管理領(lǐng)域,構(gòu)建了一套基于數(shù)據(jù)挖掘技術(shù)的光傳送網(wǎng)管理系統(tǒng),把一種科學(xué)、快捷、方便的思想應(yīng)用于光傳送網(wǎng)管理領(lǐng)域,使光傳送網(wǎng)管理系統(tǒng)具有智能性、自動性和遠程性,在光傳送網(wǎng)管理領(lǐng)域具有突出的優(yōu)越性和廣泛的應(yīng)用前景。
2 數(shù)據(jù)挖掘在光傳送網(wǎng)管理系統(tǒng)中應(yīng)用的必要性
數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機的實際數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是有用的信息和知識的過程。在光傳送網(wǎng)管理系統(tǒng)中采用數(shù)據(jù)挖掘技術(shù)有以下3方面必要性:
(1)在知識獲取方面,數(shù)據(jù)挖掘技術(shù)可以通過對案例庫中的實例進行學(xué)習(xí),自動從實例中獲取知識,然后將其存放于知識庫中。這種知識的獲取方式是自動的,不需要知識工程師和領(lǐng)域?qū)<抑g的直接對話,這在一定程度上克服了傳統(tǒng)光傳送網(wǎng)管理系統(tǒng)中存在的知識獲取“瓶頸”問題和知識的“窄臺階效應(yīng)”問題。
(2)在推理機制方面,數(shù)據(jù)挖掘技術(shù)運用數(shù)據(jù)挖掘算法進行全方位推理,即在推理時根據(jù)不同需要將不同維度里的運行狀態(tài)參數(shù)綜合起來進行分析計算,這可以克服傳統(tǒng)推理機制具有單一方面的精度高而忽視了其他方面影響的缺點。
(3)在知識表示方面,數(shù)據(jù)挖掘技術(shù)可以把從系統(tǒng)外得到并用數(shù)據(jù)輸入系統(tǒng)的知識推廣,知識表達很明確,是一種可以讓專家識別的形式,所以容易證實。
3 基于數(shù)據(jù)挖掘的光傳送網(wǎng)管理系統(tǒng)的設(shè)計
光傳送網(wǎng)的管理應(yīng)當(dāng)建立在與現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)平臺(如SDH網(wǎng))兼容的基礎(chǔ)上,同時應(yīng)向自動化、智能化方向發(fā)展?;跀?shù)據(jù)挖掘技術(shù)構(gòu)建的光傳送網(wǎng)管理系統(tǒng),可以實現(xiàn)這方面的功能,從而對光網(wǎng)絡(luò)實施有效的管理和監(jiān)控。
3.1 系統(tǒng)的體系結(jié)構(gòu)
光傳送網(wǎng)與網(wǎng)管系統(tǒng)處在不同地理位置,通過計算機網(wǎng)絡(luò)進行互連,網(wǎng)管系統(tǒng)可以遠程地、自動地、智能地監(jiān)控光傳送網(wǎng),并將監(jiān)控結(jié)果上報管理人員。網(wǎng)管系統(tǒng)的體系結(jié)構(gòu)主要包括以下3個模塊,如圖1所示。
數(shù)據(jù)采集模塊 數(shù)據(jù)采集模塊向診斷中心提供大量網(wǎng)絡(luò)信息,包括設(shè)備類型、設(shè)備工作狀態(tài)、設(shè)備位置狀況、時間信息、告警信息以及性能指標等。數(shù)據(jù)采集模塊主要通過以下兩種途徑收集信息:從專業(yè)網(wǎng)管的標準接口或私有數(shù)據(jù)庫接口實現(xiàn)告警、性能等數(shù)據(jù)的采集;在客戶端或局端上部署硬件探針完成網(wǎng)絡(luò)告警和性能數(shù)據(jù)的采集。
智能診斷模塊 智能診斷模塊集中了光傳送網(wǎng)中幾乎所有的信息,擁有與用戶共享的知識庫、案例庫、資源庫和方法庫,供用戶隨時調(diào)用。采用數(shù)據(jù)挖掘軟件對光網(wǎng)絡(luò)信息進行實時挖掘,并采用推理機制對實際問題進行推理,將挖掘結(jié)果以友好的界面上報給管理人員。該模塊具有專家級水平,能夠自動地對光網(wǎng)絡(luò)信息進行分析處理,是光傳送網(wǎng)管理系統(tǒng)的核心模塊。
計算機通信網(wǎng)絡(luò) 計算機通信網(wǎng)絡(luò)是連接光傳送網(wǎng)、診斷子系統(tǒng)和管理人員的橋梁。光傳送網(wǎng)信息通過Inter-net傳至診斷中心,診斷中心對這些信息進行預(yù)處理,然后選擇挖掘算法進行數(shù)據(jù)挖掘,并將結(jié)果通過Internet傳輸至管理人員。
3.2 系統(tǒng)的功能模型
基于數(shù)據(jù)挖掘技術(shù)的光傳送網(wǎng)管理系統(tǒng)的功能模型,是對光傳送網(wǎng)管理系統(tǒng)的結(jié)構(gòu)、功能和應(yīng)用的集中描述。系統(tǒng)的功能模型分4個層次:采集適配層、數(shù)據(jù)支撐層、應(yīng)用層、表示層,如圖2所示。
采集適配層 采集適配層包括網(wǎng)元設(shè)備、網(wǎng)絡(luò)通信、探針系統(tǒng)、領(lǐng)域?qū)<业?,它們是信息、知識的來源,為采集子系統(tǒng)服務(wù),其變化將會引起數(shù)據(jù)支撐層、應(yīng)用層、表示層中相關(guān)數(shù)據(jù)、信息和知識的變化。
數(shù)據(jù)支撐層 數(shù)據(jù)支撐層包括資源庫、知識庫、案例庫和方法庫,它們?yōu)閼?yīng)用層提供數(shù)據(jù)支撐。資源庫存放與網(wǎng)絡(luò)監(jiān)測有關(guān)的信息,如網(wǎng)元設(shè)備狀態(tài)信息,性能參數(shù)、歷史數(shù)據(jù)等,為智能診斷提供原始數(shù)據(jù)支持;知識庫存放領(lǐng)域?qū)<业慕?jīng)驗、知識以及利用數(shù)據(jù)挖掘技術(shù)挖掘出的新規(guī)則,庫中的知識能被智能診斷中的推理機制采用;案例庫存放一些實例以及診斷過程中產(chǎn)生的新實例;方法庫存放整個系統(tǒng)協(xié)調(diào)工作的方法和策略,是系統(tǒng)的控制中心。
應(yīng)用層 應(yīng)用層主要包括5個功能區(qū):故障管理、配置管理、性能管理、安全管理和會計管理。故障管理是指對光網(wǎng)絡(luò)進行故障診斷、故障定位、故障隔離、故障校正以及故障預(yù)測;配置管理是指通過對網(wǎng)元設(shè)備信息的實時挖掘,實現(xiàn)光連接的建立、保護倒換、資源調(diào)度,以及管理用戶信號進入光學(xué)層的適配性;性能管理是指通過監(jiān)控和管理各種估量網(wǎng)絡(luò)性能的參數(shù),對光網(wǎng)絡(luò)實行性能監(jiān)視、性能控制和性能分析;安全管理是指通過分析性能參數(shù)和安全告警,識別各種非法入侵行為;會計管理是一種負責(zé)記費和開發(fā)網(wǎng)絡(luò)元器件的壽命歷史記錄的功能。
表示層 表示層負責(zé)把管理人員熟悉的信息表示手段,如自然語言、表格、圖形等轉(zhuǎn)換成內(nèi)部表示形式,再交給智能診斷系統(tǒng)去處理,同時把診斷系統(tǒng)輸出的信息轉(zhuǎn)換成管理人員能理解的形式顯示給管理人員。
4 光傳送網(wǎng)管理系統(tǒng)應(yīng)用數(shù)據(jù)挖掘的具體流程
在光傳送網(wǎng)管理系統(tǒng)中,數(shù)據(jù)挖掘技術(shù)主要應(yīng)用于智能診斷子系統(tǒng),通過對資源庫和案例庫中的數(shù)據(jù)進行高效快速的信息挖掘,尋找出隱含的、有意義的知識,并將其存人知識庫,以便管理人員使用。光傳送網(wǎng)管理系統(tǒng)應(yīng)用數(shù)據(jù)挖掘的具體流程,包括:業(yè)務(wù)和數(shù)據(jù)理解、數(shù)據(jù)預(yù)處理、建立挖掘模型、評價和實施,如圖3所示。
(1)業(yè)務(wù)和數(shù)據(jù)理解。光傳送網(wǎng)管理人員應(yīng)該從技術(shù)的角度進行需求分析,并把業(yè)務(wù)領(lǐng)域的目標轉(zhuǎn)換成相應(yīng)的數(shù)據(jù)挖掘目標,同時對數(shù)據(jù)挖掘所需的數(shù)據(jù)進行全面調(diào)查,利用數(shù)據(jù)采集子系統(tǒng)收集所需要的數(shù)據(jù)。例如,業(yè)務(wù)目標是“對光傳送網(wǎng)中出現(xiàn)的故障進行定位”,相應(yīng)的數(shù)據(jù)挖掘目標則是“網(wǎng)元及鏈路的告警信息和性能參數(shù),正常行為的規(guī)則庫,已知的故障類型及其規(guī)則庫,預(yù)測故障出現(xiàn)的位置”,收集的數(shù)據(jù)有“網(wǎng)絡(luò)中出現(xiàn)的告警,有關(guān)網(wǎng)絡(luò)運行狀況的數(shù)據(jù)”。
(2)數(shù)據(jù)預(yù)處理。包括數(shù)據(jù)清洗、數(shù)據(jù)構(gòu)建、數(shù)據(jù)集成和數(shù)據(jù)格式化,這些處理可交叉反復(fù)進行,從而將原始數(shù)據(jù)轉(zhuǎn)化為適合數(shù)據(jù)挖掘工具處理的最終目標數(shù)據(jù)。數(shù)據(jù)清洗的任務(wù)是將數(shù)據(jù)質(zhì)量提高到滿足分析精度的要求,保證數(shù)據(jù)值的正確性和一致性,解決字段值的缺失問題;數(shù)據(jù)構(gòu)建是指從一個或幾個已知屬性構(gòu)建新屬性、生成新記錄;數(shù)據(jù)集成是將來自不同表或記錄的數(shù)據(jù)合并起來產(chǎn)生新的記錄或?qū)傩灾?;?shù)據(jù)格式化是對數(shù)據(jù)進行語法上的修改,使數(shù)據(jù)滿足建模工具的需要。
(3)建立挖掘模型。光傳送網(wǎng)管理人員首先將數(shù)據(jù)分成訓(xùn)練集和測試集,在訓(xùn)練集上運行建模工具,選擇合適的數(shù)據(jù)挖掘算法建立模型,并調(diào)整參數(shù)使模型達到最優(yōu),然后在測試集上對模型進行評估。其中數(shù)據(jù)挖掘算法包括決策樹、神經(jīng)網(wǎng)絡(luò)、粗糙集、遺傳算法等。
(4)評價。評價階段是指將挖掘模型以可視化技術(shù)和知識表示技術(shù)展示給管理人員,由管理人員根據(jù)領(lǐng)域知識和數(shù)據(jù)挖掘成功標準來解釋所得到的模型,并對模型進行全面評價,以確定是否完全達到了業(yè)務(wù)目標,最終做出是否應(yīng)用數(shù)據(jù)挖掘結(jié)果的決策。如果結(jié)果不能令管理人員滿意,需要重復(fù)以上數(shù)據(jù)挖掘過程。該步驟可能導(dǎo)致回到前面任何一步,從而使后續(xù)步驟或若干個后續(xù)步驟反復(fù)進行。
(5)實施。光傳送網(wǎng)管理人員根據(jù)挖掘結(jié)果對光傳送網(wǎng)進行維護,同時將數(shù)據(jù)挖掘產(chǎn)生的知識存入知識庫,該實例存入案例庫,并將有關(guān)數(shù)據(jù)存入資源庫。
5 結(jié) 語
數(shù)據(jù)挖掘技術(shù)是一種新興的數(shù)據(jù)分析手段,到目前為止,一些商業(yè)數(shù)據(jù)挖掘產(chǎn)品已得到應(yīng)用,但數(shù)據(jù)挖掘結(jié)合光傳送網(wǎng)的特點應(yīng)用到該領(lǐng)域的研究還未展開。隨著光傳送網(wǎng)的進一步發(fā)展,在光傳送網(wǎng)管理系統(tǒng)的各項應(yīng)用中對數(shù)據(jù)分析的要求也越來越高,適時地將數(shù)據(jù)挖掘技術(shù)引入光傳送網(wǎng)管理系統(tǒng)中,對于解決現(xiàn)有問題必將起到積極作用。本文利用數(shù)據(jù)挖掘技術(shù)建立的光傳送網(wǎng)管理系統(tǒng),具有智能性、自動性和遠程性等優(yōu)點,該系統(tǒng)能夠從大量的網(wǎng)絡(luò)數(shù)據(jù)中自動產(chǎn)生精確的、實用的管理模型,適用于任何計算環(huán)境,更加符合網(wǎng)絡(luò)動態(tài)實際情況,對光傳送網(wǎng)管理系統(tǒng)的研究起到了一定的推動作用。本文只是對數(shù)據(jù)挖掘技術(shù)在光傳送網(wǎng)管理系統(tǒng)中的應(yīng)用做了初步探索,進一步研究工作還在繼續(xù)中。