全新的深度模型在推薦系統(tǒng)中的應(yīng)用

時(shí)間：2020-10-09 16:28:38

關(guān)鍵字： non模型網(wǎng)絡(luò)技術(shù)

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]日前，第四范式提出了全新的深度神經(jīng)網(wǎng)絡(luò)表數(shù)據(jù)分類模型——深度稀疏網(wǎng)絡(luò)，被機(jī)器學(xué)習(xí)頂會(huì)SIGIR 2020收錄。本次分享將帶你全面了解NON模型的提出動(dòng)機(jī)、整體結(jié)構(gòu)、局部特點(diǎn)，以及突出貢獻(xiàn)。

文章作者：周浩?第四范式?研究員

編輯整理：汪方野

出品平臺(tái)：第四范式天樞、DataFunTalk

導(dǎo)讀： 如今，在電子商務(wù)、物聯(lián)網(wǎng)等領(lǐng)域，推薦系統(tǒng)扮演著越來(lái)越重要的地位。如何根據(jù)用戶的歷史行為和項(xiàng)目的特征信息，判斷用戶對(duì)商品是否感興趣成了重要的研究問(wèn)題之一。日前，第四范式提出了全新的深度神經(jīng)網(wǎng)絡(luò)表數(shù)據(jù)分類模型——深度稀疏網(wǎng)絡(luò) ( Deep Sparse Network，又名NON )，被機(jī)器學(xué)習(xí)頂會(huì)SIGIR 2020收錄。本次分享將帶你全面了解NON模型的提出動(dòng)機(jī)、整體結(jié)構(gòu)、局部特點(diǎn)以及突出貢獻(xiàn)。

背景介紹

首先對(duì)推薦系統(tǒng)和深度學(xué)習(xí)進(jìn)行簡(jiǎn)單的介紹。什么是推薦系統(tǒng)？什么是深度學(xué)習(xí)？

1. Recommendation system (?推薦系統(tǒng)?)

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

維基百科給出對(duì)于推薦系統(tǒng)的定義：推薦系統(tǒng)是一個(gè)過(guò)濾系統(tǒng)，推薦系統(tǒng)的目標(biāo)是預(yù)測(cè)用戶對(duì)給定物品的評(píng)分或者喜好度，然后根據(jù)評(píng)分或者喜好度推薦給用戶對(duì)應(yīng)的物品。

以右圖為例，通過(guò)user profile和item properties，預(yù)測(cè)用戶對(duì)item1-4的打分，預(yù)測(cè)用戶的最后選擇item 1和item 2，然后推薦給用戶。在現(xiàn)實(shí)生活中的應(yīng)用, 不同的應(yīng)用軟件會(huì)向用戶推薦商品、電影、書(shū)籍、視頻等。

2. Deep Learning ( 深度學(xué)習(xí) )

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

維基百科對(duì)深度學(xué)習(xí)的介紹：

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的分支，一種基于人工神經(jīng)網(wǎng)絡(luò)的表征學(xué)習(xí)方法；
神經(jīng)網(wǎng)絡(luò)是受到生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)，從而構(gòu)建的計(jì)算系統(tǒng)。

一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)分為三個(gè)部分：輸入特征，隱藏層，預(yù)測(cè)層。對(duì)于全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，每一層的神經(jīng)元都是以前一層所有的輸出作為輸入。然后每個(gè)神經(jīng)元都有一個(gè)非線性的函數(shù)，對(duì)輸出值做一個(gè)非線性的變化。有一種說(shuō)法，只要神經(jīng)網(wǎng)絡(luò)的層數(shù)夠深，它就能擬合或者逼近任何一種函數(shù)。這種說(shuō)法表達(dá)了神經(jīng)網(wǎng)絡(luò)強(qiáng)大的表征能力，也說(shuō)明了神經(jīng)網(wǎng)絡(luò)主要功能之一，即學(xué)習(xí)輸入到輸出的函數(shù)變換。

相關(guān)工作

可以將推薦系統(tǒng)分為以下四類，簡(jiǎn)單介紹基于內(nèi)容的推薦算法、基于協(xié)同過(guò)濾的推薦算法、混合推薦算法，重點(diǎn)介紹基于模型的推薦算法。在介紹基于模型的推薦時(shí)，先給出了一些淺層的推薦算法，之后介紹了一些基于深度學(xué)習(xí)的推薦算法。

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

Contented based：

基于內(nèi)容的推薦算法。主要根據(jù)用戶的瀏覽記錄，或者購(gòu)買記錄，向用戶推薦與其瀏覽記錄或者購(gòu)買記錄相似的物品。

Collaborative Filter：

基于協(xié)同過(guò)濾的推薦算法。主要根據(jù)擁有相同經(jīng)驗(yàn)或者相同群體的喜好，為用戶推薦感興趣的資訊或者物品。例如用戶A和用戶B相似，就可以把用戶B喜歡的物品推薦給用戶A。協(xié)同過(guò)濾算法還可以分為基于用戶的協(xié)同算法和基于物品的協(xié)同算法。

Hybrid：

混合推薦算法，將不同的算法混合使用?？梢栽诓煌A段使用不同的推薦算法，也可以對(duì)多個(gè)推薦算法進(jìn)行不同的處理，然后將多個(gè)推薦算法的結(jié)果耦合，將最終結(jié)果推薦給用戶。

Model Based：

基于模型的推薦算法。將用戶的profile和物品的properties作為特征，用機(jī)器學(xué)習(xí)模型，來(lái)預(yù)測(cè)用戶對(duì)物品的喜好程度。在推薦系統(tǒng)中，經(jīng)常會(huì)用到點(diǎn)擊率 ( CTR ) 來(lái)表示喜好程度。點(diǎn)擊率表示用戶點(diǎn)擊物品的概率，點(diǎn)擊率越高說(shuō)明用戶對(duì)該物品的喜好程度越高。

在上圖中給出了一個(gè)例子，表示用戶對(duì)電影的點(diǎn)擊率。其中每一行是一個(gè)樣本，每一列是不同的特征，表示用戶的屬性，電影的特征，以及用戶的一些歷史行為記錄。在每一條樣本中，0表示用戶沒(méi)有點(diǎn)擊對(duì)應(yīng)的movie，1表示點(diǎn)擊對(duì)應(yīng)電影。那么此時(shí)問(wèn)題已經(jīng)轉(zhuǎn)化為二分類問(wèn)題。

接下來(lái)介紹下基于模型的常見(jiàn)方法：

1. 淺層的基于模型的方法

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

首先，是一些比較淺層的推薦方法，例如LR、FM、FFM等。邏輯回歸算法 ( Logistic Regression，LR ) 是推薦系統(tǒng)的常用方法之一。將用戶的瀏覽記錄和項(xiàng)目的信息、離散特征，通過(guò)one-hot編碼；將數(shù)值類特征歸一化，或者通過(guò)分桶技術(shù)，進(jìn)行離散化；然后通過(guò)LR模型進(jìn)行訓(xùn)練。LR模型很穩(wěn)定，但是缺乏學(xué)習(xí)高階特征的能力，尤其是特征間的交互。而FM模型和FFM模型則將高度的離散特征通過(guò)embedding，轉(zhuǎn)化為低維的稠密向量。然后用稠密向量的內(nèi)積表示特征之間的交互特征。

上圖展示了embedding的過(guò)程，Categorical Field x_i是高維稀疏離散特征，通過(guò)one-hot表示，只有一元為1，其他都是0。因?yàn)?span style="color: rgb(63, 74, 89);font-family: 微軟雅黑;text-align: left;font-size: 14.6667px;letter-spacing: 0.533333px;background-color: rgb(255, 255, 255);">x_i的one-hot表示只有一元為1，通過(guò)矩陣乘法，取出W_i矩陣的x_i列，得到對(duì)應(yīng)低維的稠密向量。LR、FM和FFM三種模型取得了較好的效果，但由于它們的結(jié)構(gòu)較淺，其表達(dá)能力也受到了限制。

2. 基于深度學(xué)習(xí)的方法

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

基于深度學(xué)習(xí)的推薦方法，以其中兩個(gè)典型的模型為例：DNN模型和Wide&Deep模型。

DNN模型。DNN方法使用了Embedding技術(shù)，將離散和數(shù)值特征Embedding 到低維的稠密向量。然后和將稠密向量和數(shù)值特征拼接，作為DNN的輸入，然后直接預(yù)測(cè)輸出。
Wide&Deep模型。Wide&Deep方法，對(duì)比DNN方法。增加了Wide的部分，即專家手工設(shè)計(jì)的高階特征。然后把高階特征和DNN學(xué)到的特征拼接，作為模型的輸入，預(yù)測(cè)最終的點(diǎn)擊率。

其他深度學(xué)習(xí)的方法借鑒了Wide&Deep的模式。例如，在DeepFM模型中，將專家手工設(shè)計(jì)的部分 ( Wide部分 ) 替換成了FM；在xDeepFM模型中，將Wide部分替換成了CNN；在AutoInt模型中，將Wide部分替換成self-attention的網(wǎng)絡(luò)。

在推薦系統(tǒng)中還有一類方法，基于用戶的興趣，使用了用戶的歷史行為數(shù)據(jù)，例如DIN、DSIN，但是這類方法不在本次討論范圍之內(nèi)。

3. 上述方法存在的問(wèn)題

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

首先，現(xiàn)有方法直接融合不同特征域的向量表示，而未顯式地考慮域內(nèi)信息。我們將"每個(gè)特征域內(nèi)的不同特征值，均屬于同一個(gè)特征域"記為域內(nèi)信息。對(duì)于每個(gè)特征域中的特征，它們的內(nèi)在屬性是都屬于同一個(gè)特征域。以在線廣告場(chǎng)景為例，假設(shè)特征域 "advertiser_id" 和 "user_id" 分別表示廣告商和用戶的ID，則特征域 "advertiser_id"?( "user_id" ) 中的不同的廣告商ID ( 用戶ID ) 都屬于廣告商 ( 用戶 ) 這個(gè)特征域。此外，特征域有自己的含義，如 "advertiser_id" 和 "user_id" 分別代表廣告主和用戶，而不管域內(nèi)特征的具體取值。

其次，大多數(shù)現(xiàn)有方法使用預(yù)定義的特征域交互操作組合 ( 如DNN、FM )，而未考慮輸入數(shù)據(jù)。事實(shí)上，預(yù)定義的操作組合并不適用于所有的數(shù)據(jù)，而是應(yīng)該根據(jù)數(shù)據(jù)選擇不同的操作，以獲得更好的分類效果。如上圖所示：

Wide&Deep中的Operations使用了Linear和DNN；
DeepFM使用了FM和DNN；
xDeepFM使用了CIN、Linear和DNN；
AutoInt中使用了self-attention和DNN。

同時(shí)他們?cè)陬A(yù)測(cè)時(shí)，都是將不同的結(jié)果通過(guò)線性求和關(guān)聯(lián)起來(lái)，沒(méi)有考慮非線性的關(guān)系，即現(xiàn)有方法忽略了特征域交互操作 ( 如DNN和FM ) 的輸出之間的非線性。

NON模型詳細(xì)講解

接下來(lái)為大家全面介紹Network on Network。

1. NON模型整體結(jié)構(gòu)

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

為了解決上述問(wèn)題，第四范式提出了深度稀疏網(wǎng)絡(luò) ( NON )，它由三部分組成：底層為域內(nèi)網(wǎng)絡(luò) ( Field-wise Network ) 中層為域間網(wǎng)絡(luò) ( Across Field Network )，頂層為融合網(wǎng)絡(luò) ( Operation Fusion Network )。域內(nèi)網(wǎng)絡(luò)為每個(gè)特征域使用一個(gè)DNN來(lái)捕獲域內(nèi)信息；域間網(wǎng)絡(luò)包含了大部分已有的Operation，采用多種域間交互操作來(lái)刻畫(huà)特征域間潛在的相互作用；最后融合網(wǎng)絡(luò)利用DNN的非線性，對(duì)所選特征域交互操作的輸出進(jìn)行深度融合，得到最終的預(yù)測(cè)結(jié)果。

2. Field-wise network

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

每一個(gè)特征Field都和一個(gè)NN網(wǎng)絡(luò)相連，其中類別特征先進(jìn)行Embedding操作，而數(shù)值型特征直接通過(guò)NN網(wǎng)絡(luò)。通過(guò)NN網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，顯示地學(xué)習(xí)特征域內(nèi)信息。鑒于DNN的強(qiáng)大的表達(dá)能力，特征域內(nèi)信息可以被充分地學(xué)習(xí)。還有一點(diǎn)需要注意，在模型中還加入了一個(gè)Gate Function，將NN的輸出和輸入耦合起來(lái)，常見(jiàn)的Gate Function包括concatenation、element-wise product以及其他更加復(fù)雜的操作。對(duì)于Field-wise network的詳細(xì)分析將在實(shí)驗(yàn)中介紹。

3. Across field network

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

在域間網(wǎng)絡(luò) ( Across field network ) 中，利用已有的Operation，來(lái)學(xué)習(xí)特征之間的Interaction，這些Operation都是以Field-wise network的輸出為輸入。常見(jiàn)的特征域交互操作包括LR、DNN、FM、Bi-Interaction和多頭自注意網(wǎng)絡(luò)等。NON在設(shè)計(jì)上，兼容目前大部分學(xué)術(shù)上提出的Operation。在實(shí)際應(yīng)用中，NON將Operation作為超參數(shù)，在訓(xùn)練過(guò)程中根據(jù)數(shù)據(jù)進(jìn)行選擇?，F(xiàn)有方法中，域間交互操作的方式是用戶事先指定的。而在深度稀疏網(wǎng)絡(luò)中，可以通過(guò)數(shù)據(jù)，自適應(yīng)地選擇最合適的操作組合，即在深度稀疏網(wǎng)絡(luò)中，操作組合的選擇是數(shù)據(jù)驅(qū)動(dòng)的。

4. Operation fusion network

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

在融合網(wǎng)絡(luò) ( Operation fusion network ) 中，將域間網(wǎng)絡(luò)層的輸出拼接作為NN的輸入，并利用NN的非線性，學(xué)習(xí)不同Operation的高階特征表示。

需要注意一點(diǎn)，NON網(wǎng)絡(luò)設(shè)計(jì)的特別深，所以在訓(xùn)練過(guò)程中，很容易出現(xiàn)梯度消散的現(xiàn)象，導(dǎo)致模型效果變差。受到GoogLeNet的啟發(fā)，在模型訓(xùn)練過(guò)程中引入了輔助損失。在DNN的每一層都加入了一條路徑，連接到最終的損失上，緩解了梯度消散問(wèn)題。經(jīng)測(cè)試，該方案不僅能夠增加模型最終預(yù)測(cè)效果，也使得模型能在更短的時(shí)間內(nèi)，取得更好的效果。如下圖所示。

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

至此模型介紹結(jié)束，接下來(lái)將分析實(shí)驗(yàn)結(jié)果。

NON模型實(shí)驗(yàn)結(jié)果分析

1. DNN with auxiliary losses

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

這是在Criteo的采樣數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，圖中的橫坐標(biāo)是訓(xùn)練的輪次，縱坐標(biāo)是AUC。從圖上可以看出，通過(guò)添加輔助損失，訓(xùn)練效率明顯提升。在同等AUC的情況下，產(chǎn)生了1.67倍的加速。本文之后的所有關(guān)于NON的訓(xùn)練都是通過(guò)添加輔助函數(shù)的方式進(jìn)行訓(xùn)練的。

2. Ablation study of NON

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

在NON消融學(xué)習(xí)中，展示NON每一個(gè)模塊的作用。從左到右：第一列數(shù)據(jù)集；第二列，只有DNN；第三列，增加輔助損失的DNN，和DNN比較，添加了輔助損失可以提高性能；第四列，添加了Field-wise Network，從結(jié)果看出，域內(nèi)網(wǎng)絡(luò)捕獲的域內(nèi)信息有助于提高模型的泛化性能；第五列，加入了Across field network，結(jié)果有所提升；第六列，完整的NON模型，取得了最好的結(jié)果?？梢钥闯鲭S著NON不同的組件堆疊，模型的預(yù)測(cè)效果持續(xù)增長(zhǎng)。

3. Study of field-wise network

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

從定性和定量的角度分析Field-wise network的結(jié)果。右圖是不同特征域Embedding的可視化展示。第一行是通過(guò)Field-wise network之前，第二行是通過(guò)Field-wise network之后。不同的顏色表示不同F(xiàn)ield中的Embedding。通過(guò)對(duì)Field-wise network處理前后特征值對(duì)應(yīng)的向量進(jìn)行可視化的比較，可以看出經(jīng)過(guò)Field-wise network后，每個(gè)Field內(nèi)的特征在向量空間中更加接近，不同F(xiàn)ield間的特征也更容易區(qū)分。

左側(cè)的表格展示了所有的Field 內(nèi)部的Embedding 平均余弦相似度 ( 數(shù)值越大，相似度越高 )。Field-wise network可以使余弦距離提高一到兩個(gè)量級(jí)，即能有效地捕獲每個(gè)域內(nèi)特征的相似性。

4. Study of operations

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

對(duì)Operation的學(xué)習(xí)，就是對(duì)Across field network層的學(xué)習(xí)。這一部分做了兩個(gè)實(shí)驗(yàn)。在Across field network，深度稀疏網(wǎng)絡(luò)將不同的交互操作視為超參數(shù)，并根據(jù)在具體數(shù)據(jù)驗(yàn)證集上的效果，選擇最適合的交互操作。其中，DNN 被視為必選，而其他操作 ( LR、Bi-Interaction和multi-head self-attention ) 被視為可選。第二個(gè)試驗(yàn)，通過(guò)固定域間網(wǎng)絡(luò)中的操作組合來(lái)進(jìn)行更多驗(yàn)證。橫坐標(biāo)是不同的組合，縱坐標(biāo)是AUC。可以看出沒(méi)有一個(gè)操作組合能夠在所有數(shù)據(jù)集上都取得最優(yōu)效果，這表明了根據(jù)數(shù)據(jù)選擇操作組合的必要性。

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

上表列出了在不同數(shù)據(jù)集上表現(xiàn)好的Operation組合，可以看到DNN和LR都有，可能是因?yàn)長(zhǎng)R的穩(wěn)定性很好。同時(shí)，從結(jié)果可以看出來(lái)，大數(shù)據(jù)集傾向于選擇容量大、復(fù)雜的操作組合；小數(shù)據(jù)集傾向于輕量、簡(jiǎn)單的操作組合。再一次證明需要對(duì)不同的數(shù)據(jù)集需要選擇不同的Operation組合。

5. Comparison with SOTAs

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

和當(dāng)前的SOTA模型進(jìn)行比較。與FFM、DNN、Wide&Deep、NFM、xDeepFM、AutoInt等模型相比，深度稀疏網(wǎng)絡(luò)在實(shí)驗(yàn)數(shù)據(jù)集上均能獲得最好的結(jié)果，AUC可提高0.64%~0.99%，結(jié)果說(shuō)明NON模型設(shè)計(jì)的有效性。其次，看一些細(xì)節(jié)，在Talkshow數(shù)據(jù)集上，NFM模型的效果退步，說(shuō)明網(wǎng)絡(luò)不一定越復(fù)雜越來(lái)，需要進(jìn)行仔細(xì)的設(shè)計(jì)，才能獲得較好的結(jié)果。結(jié)果證明了NON模型設(shè)計(jì)范式的有效性。

嘉賓介紹：

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

周浩博士

第四范式 | 研究員

周浩，第四范式研究員，復(fù)旦大學(xué)博士。主要研究方向?yàn)樽詣?dòng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用，相關(guān)研究成果發(fā)表在KDD/SIGIR上。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：

全新的深度模型在推薦系統(tǒng)中的應(yīng)用

長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！