基于區(qū)塊鏈技術(shù)的人工智能預(yù)測平臺AIPE介紹
“人工智能“( Artificial Intelligence;簡稱AI)曾經(jīng)以一場堪稱圍棋人機大戰(zhàn)而轟動了全世界。在本次對戰(zhàn)當(dāng)中,阿爾法圍棋(AlphaGo)與李世石九段之間的較量也隨之引來了各界的廣泛關(guān)注。在這之后,人工智能技術(shù)也開始被各個領(lǐng)域中備受矚目。從金融相關(guān)的服務(wù)及保險領(lǐng)域,到生命科學(xué)與教育研究領(lǐng)域也在積極地使用該技術(shù)。不僅如此,人工智能技術(shù)還被使用在政府、國防、制造業(yè)、能源、運輸、醫(yī)療等領(lǐng)域中,還逐漸擴展到了銷售、通信、傳媒、娛樂、體育等生活領(lǐng)域。
實際上,隨著人們開始對智能型商務(wù)模式的實際需求不斷變大,對于傳達到消費者群體所接受的經(jīng)驗值也不斷被推陳出新。為了能滿足這一變化,谷歌(Google)、微軟(Microsoft)、IBM, 亞馬遜AWS, 英特爾(Intel)、FICO(Fair Isaac CorporaTIon)、Salesforce、百度、SAS等全球知名企業(yè)也開始致力于把人工智能技術(shù)與商務(wù)應(yīng)用兩者進行相結(jié)合。
根據(jù)全球知名市場研究機構(gòu) Research and Markets的發(fā)布的報告顯示,從 2018年7月到2023年截止,有關(guān)人工智能市場規(guī)模預(yù)期每年平均增長48%以上。機構(gòu)能夠獲得該相關(guān)數(shù)據(jù),主要原因在于有關(guān)加強智能型商務(wù)程序的必要性,物聯(lián)網(wǎng)(IoT)、連接設(shè)備(Connected Device)的增加等情況而導(dǎo)致的大規(guī)模數(shù)據(jù)生成,以及后附加的運營費用削減的必然趨勢等起到了重要作用。不僅如此,對于提高基礎(chǔ)設(shè)施及數(shù)字城市相關(guān)項目的水平,全世界的各個政府,企業(yè),以及地方自治團體等相關(guān)組織與機構(gòu)也正在不斷努力,并促進了人工智能以及相關(guān)服務(wù)市場的快速發(fā)展。該機構(gòu)還將預(yù)測相關(guān)市場的發(fā)展將會持續(xù)一段時間。
人工智能技術(shù)是通過可持續(xù)發(fā)展,能夠生成高附加值的一項產(chǎn)業(yè)。同時,它也是能夠創(chuàng)造出實際收益的一個巨大市場。但是,對于該市場向外部所呈現(xiàn)出的發(fā)展趨勢以及發(fā)展?jié)摿ο啾?,對于該技術(shù)能夠解決市場上所發(fā)生的問題處理能力,現(xiàn)還處于初步的階段。
對此,我們AIPE以人工智能預(yù)測(AI PredicTIon)為一個核心點來搭建一項人工智能模型。我們可以通過相關(guān)數(shù)據(jù)來進行測試,并將此技術(shù)實際應(yīng)用到商業(yè)化當(dāng)中的人工智能研究人員提供相關(guān)服務(wù)。不僅如此,我們也將根據(jù)人工智能模型所呈現(xiàn)出的數(shù)據(jù),對加密貨幣進行投資的投資者之間提供可聯(lián)系的一項平臺。我們將利用人工智能開發(fā)者以及該團體所積攢的相關(guān)人力資來研發(fā)出一項以區(qū)塊鏈技術(shù)為主的平臺。該平臺能夠向需要獲得人工智能數(shù)據(jù)的企業(yè)提供聯(lián)系與服務(wù)。最后,我們將通過該項目,希望能夠建立一個研究者與投資者以及企業(yè),三者之間的緊密且互利的循環(huán)模式關(guān)系。
對于該平臺內(nèi)所產(chǎn)出的并共享的所有信息,我們將通過區(qū)塊鏈技術(shù)來進行安全管理。人工智能研究人員對于所開發(fā)出的相關(guān)內(nèi)容持有版權(quán)與管理權(quán)限。對于使用人工智能模型的投資者而言,個人信息以及通過該模型進行參考并進行投資等也將獲得保護。不僅如此,所有的參與者與企業(yè)將通過該平臺的共享而起到積極的作用,均可獲得相應(yīng)數(shù)額的獎勵。
所有的參與者以及企業(yè)將由AI預(yù)測平臺所提供的應(yīng)用程序編程接口(API),在此平臺內(nèi)構(gòu)建多樣化的點播服務(wù)(On Demand Service)。我們的AIPX團隊是通過人工智能預(yù)測平臺(AI PredicTIon Platform),由人工智能研究人員所開發(fā)的預(yù)測模型(PredicTIon Model)與實際用戶們所擁有的所有權(quán)與管理權(quán)限等進行有效再分配,給予相應(yīng)的獎勵。我們希望以此來創(chuàng)造價值,并形成一條良性循環(huán)的閉合。并且,以此作為基礎(chǔ)而實現(xiàn)人工智能產(chǎn)業(yè)的創(chuàng)新,且對相關(guān)領(lǐng)域給予貢獻。
服務(wù)項目
3PIKS
結(jié)合人工智能與區(qū)塊鏈兩項技術(shù)的全新的獎勵平臺
我們?yōu)榱四軌蛳蚴袌鎏峁┮浴叭斯ぶ悄堋迸c“人為因素”(Human Factor)兩者相結(jié)合的加密貨幣預(yù)測服務(wù),專門開發(fā)了通過人工智能來預(yù)測加密貨幣市場的一項3PIKS服務(wù)平臺。
對于加密貨幣市場的參與者而言,3PIKS服務(wù)中所提供的人工智能模型的價格預(yù)測結(jié)果以及3PIKS用戶們所預(yù)測的結(jié)果均可作為其參考的主要數(shù)據(jù)指標。用戶們將根據(jù)由我公司所開發(fā)出的人工智能模型一起預(yù)測加密貨幣的實際價格,以此作為獎勵來獲得AI Token。對于AI Token,未來可以與AIPE Token進行相互兌換。不僅如此,AI Token還對即將要建立的戰(zhàn)略伙伴公司所推出的通證及加密貨幣可以進行兌換。我們所構(gòu)建的生態(tài)體系也是通過可在多處不同地點使用相關(guān)加密貨幣等來不斷得到完善。
AI比特蜂 (AIBitBip)
以人工智能為基礎(chǔ)的加密貨幣價格變動預(yù)測信號服務(wù)
該服務(wù)的設(shè)計是以人工智能模型專門對實際的交易提供相應(yīng)的幫助為主要目標。對于交易時可能會出現(xiàn)需要關(guān)注的情況(價格的上升與下降)下,該人工智能將提前收集相關(guān)數(shù)據(jù),以發(fā)送信號的方式來進行相關(guān)的通知服務(wù)。為了能夠使用戶能夠更加方便地使用到該技術(shù),我們將以手機軟件(APP)的形式來開發(fā)樣機,并計劃在2019年第二季度正式發(fā)布。在初期,我們將優(yōu)先使用由我公司自行開發(fā)的數(shù)十個人工智能模型,并進行該服務(wù)的提供。之后,我們打算通過AI預(yù)測平臺中所開發(fā)出的諸多人工智能模型當(dāng)中進行篩選以后,在此基礎(chǔ)上對相應(yīng)的模型進行內(nèi)容追加與技術(shù)的擴張,并正式公之于世。
AI比特蜂(AIBitBip)所擁有的價值不僅限于提供加密貨幣交易的相關(guān)信息。不同的群體通過該技術(shù)所提供到的信號而進行相關(guān)交易,將會形成一個巨大的價格主流群體。如果在同一時間段內(nèi),投入大量資本,將會形成一個總體價格的重要趨勢。這也在一定程度上可以大幅度地降低相關(guān)投資的風(fēng)險。因此,用戶可以對該數(shù)據(jù)及價格趨勢作為投資的相關(guān)參考資料,我們也很期待用戶的實際投資風(fēng)險也隨之降低。手機軟件的特點是方便,靈活性強,易于推薦給其他更多的用戶。這有利于在軟件市場內(nèi)進行各種形式的廣告發(fā)布與推廣。
AI自動型交易模式
以人工智能預(yù)測信號(AI Prediction Signal)為基礎(chǔ)的自動交易模型(Auto-Trading Bot)
即使,以AI比特蜂(AIBitBip)提前收到了預(yù)測信號,不是每一個人都可以在交易當(dāng)中受益。在24小時內(nèi)不停地進行大規(guī)模同步交易的加密貨幣市場當(dāng)中,憑借以提前收到的信號為來實際地進行交易是一件相當(dāng)困難的事情。為了解決這一問題,我們將通過各個交易所的API來提供AI自動交易模型的相關(guān)服務(wù)。為了實現(xiàn)該項目的成功落地,我們已通過人工智能預(yù)測信號(AI Prediction Signal)來進行了實際的交易。雖然,在這期間我們也曾出現(xiàn)過多次錯誤與失敗。但是,與此同時,我們也發(fā)現(xiàn)人工智能不斷對相關(guān)過程進行學(xué)習(xí)后,對其預(yù)測的準確率及回報率開始回升并顯示出上升趨勢。
我們的服務(wù)是能夠向所有的用戶提供可以在正確的時間點上及時進行交易,且從而獲得相應(yīng)收入。對于使用該服務(wù)的用戶須持有一定數(shù)額以上的AIPE,對于自動型交易模式中所獲取的一部分收益也將與研究人員一同共享,以此來構(gòu)建并維持整個生態(tài)體系。
而且,我公司所推出的自動型交易模式(Auto Trading)不僅限于只獲取收益,而是能夠通過該平臺與交易所建立緊密的合作關(guān)系。有關(guān)進行該自動型交易模式所提供到的服務(wù)內(nèi)容,我們需要不斷的重復(fù)以進行出價登錄以及成交的整個流程。通過該流程,我們可以確保交易所的更多交易量與加密貨幣的流通性。而且,對于在形成相應(yīng)的市場,該服務(wù)平臺將會起到重要的作用。我們期待通過B2B的商務(wù)模式,能夠形成以用戶,交易所,預(yù)測平臺這三者之間的相互發(fā)展,并形成一個完整的生態(tài)體系。
AI預(yù)測平臺
與可確保已驗證完畢的數(shù)據(jù)進行確認的人工智能預(yù)測平臺(AI Prediction Platform)
現(xiàn)階段,對于人工智能研究中最大的技術(shù)瓶頸無非是對于大規(guī)模數(shù)據(jù)的提煉與計算能力的提升。以個人來對整體環(huán)境的設(shè)定與安排幾乎無法實現(xiàn),對于需要獲取人工智能模型的相關(guān)數(shù)據(jù)的企業(yè)也仍然面臨著嚴峻的考驗。
AIPE是為了能夠解決這一問題,并提高改善人工智能研發(fā)環(huán)境而推出的AI預(yù)測平臺。在該平臺內(nèi),人工智能研究人員們可在開源圖書管理系統(tǒng)環(huán)境下輕松便捷地使用該服務(wù),同時企業(yè)也可以確保相應(yīng)的使用人數(shù)(Traffic)以及模型數(shù)據(jù)的獲取。在這種環(huán)境下,如果諸多人工智能研究人員可通過平臺所提供的數(shù)據(jù)工具來搭建多樣化的人工智能模型,這將對于提供云端的相關(guān)企業(yè)在進入到市場內(nèi)部時所碰到的壁壘也將可大幅度降低。如使用該模式及平臺,對于AI模型的管理以及數(shù)據(jù)的共享將會變得更加容易。不僅如此,對于減少使用服務(wù)器的費用,增加多樣化的交易模型或算法,以及增加對于用戶的方便使用等優(yōu)勢可將帶動對于新型資產(chǎn)運營模式的主流趨勢。
綜合以上內(nèi)容,AIPX所提供的基礎(chǔ)架構(gòu)平臺(Platform Infra)不單單只提供對AI研究人員與投資者,以及對企業(yè)的方便服務(wù)。而是,對于能夠帶來人工智能產(chǎn)業(yè)當(dāng)中的整體價值鏈(value chain)以及賦予全新理念的新思潮有著重大意義。
交易所解決方案
現(xiàn)有很多企業(yè)不斷地向相關(guān)加密貨幣交易所研發(fā)以及提供其相關(guān)服務(wù)等,作為目標進軍到該市場當(dāng)中。但是,礙于時間與實際投入到的費用,加上專業(yè)技術(shù)的不足,加上營銷戰(zhàn)略的缺乏等,從而出現(xiàn)了導(dǎo)致諸多方面問題及阻礙。
AIPE為了解決這一問題,我們已計劃提供由我公司所開發(fā)的加密貨幣交易所與解決方案。以往的傳統(tǒng)概念的中心化交易所出現(xiàn)的問題,我們也可以提供相應(yīng)的服務(wù)。不僅如此,我們正在開發(fā)以加密貨幣為中心的,可進行保證金以及杠桿交易的保證金交易所(Margin Exchange)。我公司所開發(fā)的該交易所與BitMEX一樣,是可以提供期貨保證金的交易,在此還計劃增加對于保證金的期貨交易。
現(xiàn)階段,可以提供有關(guān)加密貨幣交易所相應(yīng)解決方案的企業(yè)數(shù)不勝數(shù),但卻僅限于以中心化交易所模式來提供相應(yīng)的解決方案。AIPE是可以提供以保證金交易為主的交易所,還可提供作為衍生產(chǎn)品的期貨交易,加上以提供期權(quán)交易為主,同時也可以追加保證金交易的保證金期貨交易。不僅如此,我們還計劃提供可支持保證金期權(quán)交易的加密貨幣投資解決方案。
AI預(yù)測生態(tài)系統(tǒng)
AIPE所展望的是以人工智能為基礎(chǔ)的,由各項服務(wù)所構(gòu)成的生態(tài)體系。
AIPE所追求的目標是能夠使各項服務(wù)的價值體現(xiàn)形成一個有機的加密貨幣生態(tài)體系。
作為獎勵平臺的3PIKS與提前發(fā)出加密貨幣價格變動信號服務(wù)的AI比特蜂,通過使用這兩項服務(wù),用戶就可以對加密貨幣或通證進行空投,也可以作為以交易所內(nèi)的特定加密貨幣的營銷渠道來使用。
不僅如此,現(xiàn)3PIKS內(nèi)正在進行作為獎勵而獲得的AI Token(暫定),并且能與簽約合作方的通證或加密貨幣可進行兌換(Swap)的活動。對已進行兌換(Swap)完畢的加密貨幣,用戶可以通過由我公司提供營銷服務(wù)的相關(guān)交易所進行提款,并確保交易所的參與用戶人數(shù)與流動性。
AIPE的經(jīng)濟系統(tǒng)不僅限于獲得優(yōu)秀的人工智能模型,也不僅限于只提供在開發(fā)交易所時需獲得的解決方案。各項服務(wù)都互相保持一定的關(guān)系并構(gòu)建有機的價值體系。同時,它也將形成加密貨幣價格預(yù)測,貨幣的流動性,宣傳,參與人數(shù)以及可以保持市場穩(wěn)定性等諸多因素結(jié)合在一起的一個整體的循環(huán)機制。
AI技術(shù)
概述
人工智能的研發(fā)對于我們整個項目當(dāng)中最為核心且重要,因此我公司正在運營人工智能開發(fā)研究室(AIResearch Lab)。起初,對于開發(fā)人工智能預(yù)測模型的時候,我們所采用的方式是深度學(xué)習(xí)(Deep Learning)。而且,以此為基礎(chǔ),我們也不斷將領(lǐng)域擴大到機器學(xué)習(xí)(Machine Learning),且與深度學(xué)習(xí)進行整合與統(tǒng)一,并開發(fā)出新的模型。
對于我們以往所采納的深度學(xué)習(xí)方式進行一個簡單的概述,其主要內(nèi)容是利用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)與卷積神經(jīng)網(wǎng)絡(luò)(CNN)方法論來搭建模型系統(tǒng)。為了將該時間序列數(shù)據(jù)能夠投入到模型,其預(yù)處理過程很重要。在RNN所投入的數(shù)據(jù)預(yù)處理重點是有效地去除噪聲(Noise)。而且,對于投入到CNN的數(shù)據(jù)預(yù)處理重點有效地顯示出模式(pattern)。我們不僅單一地采用了對RNN與CNN兩種方式,同時也對這兩種方式采用了相互互補的方式來嘗試搭建該模型。對于在機器學(xué)習(xí)當(dāng)中,為了能夠完善決策樹(Decision Tree)的不穩(wěn)定性,通常使用到的方法之一,就是采用梯度提升( Gradient Boosting )的方法來搭建相關(guān)的預(yù)測模型。
我們將從2017年7月開始到至今為止的約有100,000個加密貨幣時間序列數(shù)據(jù)用于訓(xùn)練機器學(xué)習(xí)模型。對于時間序列數(shù)據(jù),我們以最高價、最低價、開盤價、收盤價、交易量等五個基本特征為基礎(chǔ)來進行了對其數(shù)據(jù)的分析研究。近期,有關(guān)對研究的不斷深化,上述的五個基本特征以外,我們還使用了以技術(shù)指標為主的特征工程(Feature Engineering)等多個種類的特征點來進行了研發(fā)。
有關(guān)機器學(xué)習(xí)模型,對其帶入的數(shù)據(jù)越多,其準確率也會顯示出更高。但是,每一個模型都有屬于自己的特點。而且,對于時間序列數(shù)據(jù)的特征而言,其不穩(wěn)定因素也是不可避免。因此,我們得出的結(jié)論是,一味的帶入大量的數(shù)據(jù),使模型進行學(xué)習(xí),未必能夠達到預(yù)期的效果。實際上,每個模型用不同量數(shù)據(jù)學(xué)習(xí)功能將會提高其性能。例如,對于一些CNN模型,在近期以18,000個時間序列數(shù)據(jù)使讓它進行學(xué)習(xí)時,其模型所列舉出的分類準確率是最高的。而且,其中幾個長短期記憶網(wǎng)絡(luò)(LSTM)類型的模型,以全部的數(shù)據(jù)來使進行學(xué)習(xí)時,其顯示的結(jié)果也是達到了最高水平。
我們所使用的模型結(jié)構(gòu)如下。如以RNN的方法來進行搭建模型,多層LSTM(長短期記憶網(wǎng)絡(luò))或以多層GRU(門控循環(huán)單位)而堆疊LSTM 或堆疊GRU(Stacked LSTM/GRU)的功能更佳。而且,通過小波轉(zhuǎn)換的RNN類的模型也顯示出了較為滿意的結(jié)果。我們發(fā)現(xiàn)對于CNN模型,卷積層(Convolutionallayer)的數(shù)量與激活函數(shù)(Activation Function)良好的配合模式將能夠提高模型功能。層數(shù)越多,有可能出現(xiàn)過擬合(overfitting)現(xiàn)象。因此,我們適當(dāng)?shù)匕才臘ropout層與正則化。對于LSTM細胞與卷積層,并列的方式層疊出了混合型模型,其顯示出了較為滿意的功能。對于梯度提升,我們所借用的是XGBoost(Extrme Gradient Boosting),LightGBM,Catboost等梯度提升的框架及算法。
對于Boosting系列的機器學(xué)習(xí)模型,大部分都比較以依賴特征(Feature)的選擇及數(shù)據(jù)的規(guī)模。
主要技術(shù)介紹
概述
我公司擁有專門的人工智能研究團隊,其團隊人數(shù)是10名。我公司也通過該研究團隊進行相關(guān)人工智能技術(shù)的所有開發(fā)與研究。我們所采取的主要研究方法及流程如下。第一,對英文、中文以及韓國語圈內(nèi)的主要研究論進行分析后,實地進行測試與重現(xiàn)。我們從2018年8月開始到2018年12月為止,共參考了約有500篇的論文。實地進行測試的模型當(dāng)中,出現(xiàn)與我們所預(yù)期相符合的模型,我們將其重新進行反復(fù)地學(xué)習(xí),進一步提高性能 。對于有參考價值的研究論文 ,您可通過我公司的官方網(wǎng)站cosmicbc.com的R&D Blog(研究內(nèi)容博客)進行相關(guān)內(nèi)容的閱覽。有關(guān)我公司所積累的研究成果,一直以來都已對外開放,以后也將持續(xù)開放。2018年12月開始,我們已經(jīng)將100篇研究內(nèi)容應(yīng)用在實際的服務(wù)當(dāng)中。
對于已搭建的模型,我公司通過亞馬遜AWS(Amazon web service),Naver Cloud Platform(NCP),阿里云(Alibaba Cloud)的人工智能云計算服務(wù)器(A.I. Cloud computing server)來正在進行研發(fā)。
首先,大部分已完成的模型用過去的數(shù)據(jù)進行學(xué)習(xí)后,再進行2周~3周的活數(shù)據(jù)(Live data)學(xué)習(xí),最后確認模型的準確率百分比。以此作為參考,我們對顯示出較高特定數(shù)值以上的模型為重點,用多樣化的處理方法,對其模型進行1個月以上的學(xué)習(xí)。
RNN
對于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型的最大特點是節(jié)點定向連接的人工神經(jīng)網(wǎng)絡(luò)。 與卷積神經(jīng)網(wǎng)絡(luò)(CNN)進行對比,該機器學(xué)習(xí)RNN還擁有CNN不具備的記憶。它的特征是可以有效解決序列數(shù)據(jù)的預(yù)測分類問題的解答。所謂序列數(shù)據(jù)是,按照順序排列的組合來構(gòu)成的時間序列數(shù)據(jù),通常是以語音、視頻或文本為主??赏ㄟ^以下序列來表示。
在這里,對于時間序列的長度t=1,2,3,。..,T,通??梢钥醋骺勺兊男蛄?。以序列時間數(shù)據(jù)舉例,就可被推斷出來。有一個文章有第t位單詞,我們就可以推斷出第t+1位單詞。各個單詞是受到前一位單詞的影響。RNN抓住對于單詞與單詞之間的依賴關(guān)系,特別是能夠?qū)ξ恼碌倪壿嬤M行學(xué)習(xí)后,可預(yù)測出較高的準確率。例如,像加密貨幣一樣的時間序列數(shù)據(jù),大部分的情下現(xiàn)存在的數(shù)據(jù)都是很容易受到之前數(shù)據(jù)的影響。同樣,RNN模型是擁有像上面所敘述的記憶結(jié)構(gòu)。因此,該結(jié)構(gòu)模型可以臨時記住相關(guān)信息,并以此信息來表現(xiàn)出不同的反饋。之所以可以把RNN適用于解決加密貨幣價格的預(yù)測分類問題,是因為模型可以根據(jù)時間序列數(shù)據(jù)來獲取文章內(nèi)容的邏輯性,從而進行分類。
進行RNN學(xué)習(xí)時,需要用到像全連接神經(jīng)網(wǎng)絡(luò)一樣的梯度下降法(Gradient Descent)。我們需要對誤差進行微分計算,從而計算各層權(quán)值。這里可采取兩種方法。一是實時遞歸學(xué)習(xí)算法RTRL(Realtime Recurrent Learning),另外則個是基于時間的反向傳播算法BPTT(Back Propagation Through Time)。前者是對記憶的使用效率較高,后者則是計算速度較快。
BPTT是把RNN以時間方向進行展開,構(gòu)成類似全連接神經(jīng)網(wǎng)絡(luò)一樣的結(jié)構(gòu),之后進行反向傳播計算。如同上圖所畫出的結(jié)構(gòu)圖,將每一時刻RNN的整個結(jié)構(gòu)中的環(huán)路展開成為時間連續(xù)的中間層連接單位。對于中間層的反向傳播,是以連續(xù)的時間點的中間層單元來進行結(jié)合。以這種方式來展開的神經(jīng)網(wǎng)絡(luò),將成為全連接神經(jīng)網(wǎng)絡(luò)模樣。根據(jù)以此來進行反向傳播,從而通過計算梯度而可進行反向傳播計算。
根據(jù)上述的內(nèi)容,RNN可以抓住時間數(shù)據(jù)的內(nèi)容,可以進行推斷。但是,對于文章的長度很敏感。理論上,對時間節(jié)點t開始至以前的所有時間步驟的信息均可保存。但是,對于長時間的信息是無法進行學(xué)習(xí)。RNN能夠反映出的輸出時間最長也就10小時。
這種局限性是因為,對于層數(shù)較多的神經(jīng)網(wǎng)絡(luò),通過反向傳播計算梯度時,隨著經(jīng)歷的層數(shù)增多,梯度值很容易發(fā)散并消失。所以,RNN很難應(yīng)對長序列的問題。換句話說,對于短期性的記憶是可以實現(xiàn),但是相反對長期性的記憶是無法得到實現(xiàn)。
LSTM and GRU
1990年代初,Sepp Hochreiter, Jürgen Schmidhuber,Youshua Bengio等為了能夠解決對于上述內(nèi)容當(dāng)中所發(fā)生的問題,通過理論性考察而推出了各種方法。其中,最為成功的方法就是長短期記憶網(wǎng)絡(luò)(Long Short Term Memory; LSTM)。LSTM與最基本的RNN相比,中間層的各個單元是由記憶單元組成。除此以外的所有的結(jié)構(gòu)都與之前的RNN完全相同。
對于LSTM將單元連接理解為傳送帶(Conveyotr Belt)的形式更容易。簡單來說,是添加了把信息裝載到各個時間步驟來進行傳輸?shù)姆椒?。在時間序列的某一個時間點上,對于已輸出的信息將上傳到傳送帶,并且在必要的時間點的時間步驟下再移動至下來。把重要的信息進行存儲,從而防止對那些已經(jīng)過了一段時間的信號有可能會逐漸消失的問題。
有關(guān)對LSTM細胞,以公式來表示如下。在這里,⊙是表示乘機-哈達馬積(Hadamardproduct)矩陣乘法。
在上圖中,我們可以看到GRU的結(jié)構(gòu)比LSTM的結(jié)構(gòu)更為簡單。在細節(jié)上,GRU也與LSRM一樣是通過門來調(diào)整信息的數(shù)量,對于這一點兩者是相同的。但是,特別是對門的控制方式會有一些不同。
公式表示如下。
CNN
CNN主要是適用于圖像認知方面所運用到的神經(jīng)網(wǎng)絡(luò)模型算法。其算法是成功地解決了計算機中一直以來的大難題(對于物體的分類認知等)。對于以往的全連接神經(jīng)網(wǎng)絡(luò)所面臨的問題是,即使識別較小的字體而計算權(quán)值與偏向的個數(shù)會暴爆發(fā)性增加。例如,為了能夠辨別出16x16大小的字體,我們可以設(shè)想一下在利用一個擁有100個神經(jīng)元的隱含層的全連接神經(jīng)網(wǎng)絡(luò)。這個網(wǎng)絡(luò)需要的權(quán)值和偏向的數(shù)量達到28,326個。如果在該神經(jīng)網(wǎng)絡(luò)在增加新的隱含層,對于需要學(xué)習(xí)的參數(shù)數(shù)量將會變得更多。而且,對于字體的圖像如發(fā)生豎直或水平的移動,回轉(zhuǎn),變形等變化,則需要重新輸入新的學(xué)習(xí)數(shù)據(jù)。
為了能夠解決此問題而誕生的CNN是與全連接神經(jīng)網(wǎng)絡(luò)是完全不同的。該算法是把層和層之間特定的單元結(jié)合的特殊層。該特殊層進行卷積(Convolution)與池化(Pooling)兩種對于圖像處理相關(guān)的計算。
CNN的誕生,是通過動物大腦的視覺皮質(zhì)(Visual cortex)的相關(guān)神經(jīng)科學(xué)中獲得了靈感。更準確來說,是對于視覺皮質(zhì)的神經(jīng)細胞感受野(Receptive field)的局部性與簡單細胞與復(fù)雜細胞中獲得了靈感。同樣一個神經(jīng),對于在水平圖像產(chǎn)生激活,或者是在不同角度的圖像產(chǎn)生激活所表現(xiàn)出的模樣是不一樣的。而且,其他神經(jīng)也擁有較寬闊的感官領(lǐng)域,因此會對低水準的模式(Pattern)之間相結(jié)合的較為復(fù)雜的模式產(chǎn)生激活。通過該規(guī)律,塑造了以下卷積神經(jīng)網(wǎng)絡(luò)。如LeNet, AlexNet, VGG, GoogLeNet等都是最具有代表性的CNN模型。這些模型均在圖像分類方面展現(xiàn)了比人類高出一等的性能。
CNN的基本構(gòu)造如下。對于輸入圖像的第一個卷積層的神經(jīng)不是連接到已輸入的整個圖像的像素當(dāng)中。而是,只連接在卷積層神經(jīng)網(wǎng)絡(luò)的感官領(lǐng)域內(nèi)的像素當(dāng)中。但是,卷積通過線性運算。因此,為了使模型能夠?qū)W習(xí)更加復(fù)雜的非線性關(guān)系,把代表性的非線性激活函數(shù)Relu(線性整流函數(shù); Rectified Linear Unit)連接在卷積層內(nèi)。之后,為了降低對于池化層的運算量與內(nèi)存使用量,以及減少參數(shù)的使用數(shù)量,對輸入圖像做類似下采樣處理。根據(jù)不同的數(shù)據(jù)特征,將卷積層+激活函數(shù)+池化層進行不同的組合,來進行層的堆疊。通常,CNN的輸出層連接一層以上的連接層,有助于高維度圖像最后一層做maping圖像分類。
綜合以上內(nèi)容,在CNN中最為重要的構(gòu)成因素是卷積層。如有WXW大小的黑白圖像,各個像素標注為(i,j)。然后,這里還有一個HXH大小過濾器的像素標注是(p,q),p,q=0,…,H-1。在這里,H《W。嚴格來說,卷積層的表示公式如下。
在卷積層之后的池化層計算如下。假定,在大小為WXWXK圖像中,像素(i,j)點為中心有一個大小為HXH正四邊形的框,做Padding計算處理圖像邊緣都包括的Pij可以求出來。對于該Pij內(nèi)的像素,每一頻道K都會單獨地利用H2個的像素值來獲得一個像素值uijk。代表性的求這個像素值的方法為最大池化(Max Pooling), 平均池化等。
最大池化是在H2個的像素值當(dāng)中選擇最大值的方式,該計算方法如下。
我們從該公式中不難看出,P=1就是平均池化,P=∞就是最大池化。
對于價格預(yù)測分類問題中,我們可以將時間序列數(shù)據(jù)的變化模式化。我們得出結(jié)論,根據(jù)卷積神經(jīng)網(wǎng)絡(luò)(CNN)而搭建的模型是擁有強大的預(yù)測能力。
梯度提升(Gradient Boosting)
有關(guān)梯度提升是對于梯度下降(Gradient Descent)與Boosting相結(jié)合的合成詞。Boosting是相對來說只是把單一決策樹進行構(gòu)建,一步步進行學(xué)習(xí)?;诖私Y(jié)果再建一個決策樹培。梯度提升方法是適用于所有損失函數(shù)可微分的函數(shù)。
梯度提升算法如下。
首先對學(xué)習(xí)機(h)進行初始化:
以梯度提升方法而搭建的模型中,最具有代表性的就是XGBoost,LightGBM,Catboost等。
首先是XGBoost。以并列處理的方式,能夠快速地進行學(xué)習(xí)與預(yù)測。能夠提供多樣化的定制型選項內(nèi)容。根據(jù)Greedy算法來自動剪枝防止過擬合(Overfitting)。對于其他算法之間連接性較好。
與XGBoost相比,LightGBM的最大優(yōu)勢就是學(xué)習(xí)時間很短,內(nèi)存使用量也相對較少。LightGBM是在XGBoost出現(xiàn)兩年后才開發(fā)出來的。該模型是繼承了XGBoost的優(yōu)勢,也彌補了諸多缺陷。LightGBM是采用了葉明智策略分裂方式,不考慮葉子的均衡,在損失值的最大的葉子節(jié)點上持續(xù)性的分裂,從而發(fā)展下去,所以會出現(xiàn)樹的非對稱現(xiàn)象。但是,相對于均衡樹分割方法,可將誤差損失最小化。
最后是Catboost。在該模型所引入的Ordering Principle概念解決了對以往的因目標泄露(target or data leakage)而導(dǎo)致的位移預(yù)測現(xiàn)象(prediction shift)與分類變量(Categorical Variable)的預(yù)處理問題。換句話說,在計算leaf value的過程中,所采用到的方法就是Ordered Boosting。以往的梯度提升是在搭建新樹的時候,將根據(jù)現(xiàn)有的模型中所使用到的數(shù)據(jù)進行再利用,因此存在著過擬合。該模型與以往的模型所不同。該過程是先求出逆向的leaf value,之后定出樹結(jié)構(gòu)的。
通證經(jīng)濟體系
加密貨幣介紹
總發(fā)行量 12億枚
單位價格 1 AIPE = 約 0.02 USD
名稱 AIPE Token
Coin Symbol AIPE
標準 ERC-20
Decimal類型 類型: 18
Hard Cap 412,500,000 AIPE
Soft Cap 137,500,000 AIPE
分配內(nèi)容
AIPE幣是針對以平臺的開發(fā)與AI預(yù)測為基礎(chǔ),搭建相關(guān)生態(tài)體系為目的而進行發(fā)行。對于參加ICO及IEO的用戶,可獲得整體發(fā)行量的40%的流通數(shù)量。除了加密貨幣銷售(Coin Sale)之外的剩余貨物量的30%,是用于構(gòu)建初期的生態(tài)體系。例如,AI預(yù)測平臺的搭建,營銷等方面。對于APIE Foundation部分的12%的貨物量,將會使用在對于擴展平臺以及后期開發(fā)而需要的基礎(chǔ)設(shè)施的搭建等。Foundation貨物量的12%與團隊的分配貨物量的10%將按照順序而進行具體的分配。
款項運營