本文作者朱鵬飛，天津大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒炇腋苯淌?，碩士生導(dǎo)師。分別于2009和2011年在哈爾濱工業(yè)大學(xué)能源科學(xué)與工程學(xué)院獲得學(xué)士和碩士學(xué)位，2015年于香港理工大學(xué)電子計算學(xué)系獲得博士學(xué)位。目前，在機(jī)器學(xué)習(xí)與計算機(jī)視覺國際頂級會議和期刊上發(fā)表論文20余篇，包括AAAI、IJCAI、ICCV、ECCV以及IEEE TransacTIons on InformaTIon Forensics and Security等。

國際人工智能聯(lián)合會議（ InternaTIonal Joint Conference on ArTIficial Intelligence，IJCAI ）是聚集人工智能領(lǐng)域研究者和從業(yè)者的盛會，也是人工智能領(lǐng)域中最主要的學(xué)術(shù)會議之一。1969年到2015 年，該大會在每個奇數(shù)年舉辦，現(xiàn)已舉辦了 24 屆。隨著近幾年來人工智能領(lǐng)域的研究和應(yīng)用的持續(xù)升溫，從 2016 年開始，IJCAI大會將變成每年舉辦一次的年度盛會；今年是該大會第一次在偶數(shù)年舉辦。第 25 屆IJCAI 大會于 7 月 9 日- 15 日在紐約舉辦。

本屆會議的舉辦地在繁華喧囂的紐約時代廣場附近，正映襯了人工智能領(lǐng)域幾年來的火熱氛圍。此次大會包括7場特邀演講、4場獲獎演講、551篇同行評議論文的presentation，41場workshop、37堂tutorial、22個demo等。深度學(xué)習(xí)成為了IJCAI 2016的關(guān)鍵詞之一，以深度學(xué)習(xí)為主題的論文報告session共計有3個。本期我們從中選擇了兩篇深度學(xué)習(xí)領(lǐng)域的相關(guān)論文進(jìn)行選讀，組織了相關(guān)領(lǐng)域的博士研究生，介紹論文的主要思想，并對論文的貢獻(xiàn)進(jìn)行點評。

Makeup Like a Superstar Deep Localized Makeup Transfer Network

在人臉分割的應(yīng)用中，美妝是一個受眾較廣的問題。給出一張素顏正面照，如果能夠給出其最適合的化妝風(fēng)格并將其渲染到這張素顏臉上，可以讓女孩子們更方便地找到適合的風(fēng)格。中科院信工所劉博士等人的論文所解決的問題就是完成一個功能更完善的人臉自動美妝應(yīng)用，不僅能夠給素顏的圖片上妝，而且可以為用戶推薦最適合的妝容，達(dá)到更高的用戶滿意度。

文章采用端到端的方法完成風(fēng)格推薦、五官提娶妝容遷移這三個步驟，同時在損失函數(shù)中還考慮平滑性與臉部對稱性的約束，最終達(dá)到了state-of-the-art效果，本文方法的整體框架如下：

核心方法：

首先風(fēng)格推薦，是從已上妝人臉數(shù)據(jù)庫中挑選與當(dāng)前素顏人臉最相近的圖片。具體方法是選取與當(dāng)前人臉特征的歐氏距離最小者作為推薦結(jié)果，該特征即網(wǎng)絡(luò)輸出的feature map。

然后是五官提齲五官提取是采用全卷積網(wǎng)絡(luò)做圖像分割實現(xiàn)face parsing，而已上妝數(shù)據(jù)庫還要多一個眼影的部分，對于素顏圖片則沒有眼影部分的問題，因此要根據(jù)眉眼特征點定位給出眼影區(qū)域。由于妝容分割的部分相對于背景更重要，網(wǎng)絡(luò)輸出loss選擇的是加權(quán)交叉熵，

權(quán)重為使驗證集上F1 score最大的權(quán)重值。另一方面，數(shù)據(jù)庫中的臉都為正面，具有對稱性，因此加上了對稱性的先驗約束，具體方法為在輸出每個像素點的類別概率預(yù)測值后，將這個值與它的對稱點再取均值作為最終輸出：

最后是妝容遷移。本文中的妝容包括粉底（對應(yīng)面部），唇彩（對應(yīng)雙唇），眼影（對應(yīng)雙眼）。眼影的遷移比較特殊，因為它不是直接改變雙眼的部分，文章針對此設(shè)計了一個loss：

意指給需要的人臉上妝后眼影部分與推薦的帶妝人臉眼影的特征的L2 Norm （該特征為從五官提取部分用到的FCN第一層卷積特征conv1-1）。類似的，對面部、上唇與下唇的loss：

不同的是它計算了conv1-1，conv2-1， conv3-1， conv4-1， conv5-1層特征的相似度。最后給出的使這個loss最小的A（即最終給出的妝后人臉）滿足以下條件：

其中Rl、Rr表示左眼右眼眼影的loss，Rf表示臉部粉底的loss，Rup、Rlow表示上唇下唇唇彩的loss，Rs表示結(jié)構(gòu)的loss（計算公式與眼影l(fā)oss相同，但Sb、Sr中元素值都為1）。人臉妝容的平滑性可以通過以下公式進(jìn)行進(jìn)一步約束：

本文用end-to-end深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出妝前妝后面部特征部位的對應(yīng)關(guān)系，并進(jìn)行妝容的遷移，流程較為簡單，在考慮了人臉結(jié)構(gòu)對稱性和平滑性約束后達(dá)到了理想的效果，部分實驗結(jié)果如下：

Feature Learning based Deep Supervised Hashing with Pairwise Labels

在信息檢索中，哈希學(xué)習(xí)算法將圖像/文本/視頻等復(fù)雜數(shù)據(jù)表示成一串緊致的二值編碼（只由0/1或者±1構(gòu)成的特征向量），從而實現(xiàn)時間、空間高效的最近鄰搜索。在哈希學(xué)習(xí)算法中，給定一個訓(xùn)練集，目標(biāo)是學(xué)到一組映射函數(shù)，使得訓(xùn)練集中的數(shù)據(jù)經(jīng)過映射后，相似的樣本被映射到相似的二值編碼（二值編碼的相似性用Hamming距離度量）。

南京大學(xué)李武軍組的這篇文章中，作者提出了一種使用pairwise label進(jìn)行哈希學(xué)習(xí)的方法。通常的圖像標(biāo)簽指示的可能是圖像中的物體屬于哪個類別，或者圖像所描繪的場景屬于哪個類別，而這里的pairwise label則是基于一對圖像定義的，指示的是這一對圖像是否相似（通常可以根據(jù)這一對圖像是否屬于同一類別定義它們是否相似）。具體來說，對于一個數(shù)據(jù)庫中的第i，j兩幅圖像，sij=1代表這兩個圖像相似，sij=0代表這兩個圖像不相似。

具體到這篇文章，作者使用了上圖所示的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)的輸入為成對的圖像，以及相應(yīng)的pairwise label。該網(wǎng)絡(luò)結(jié)構(gòu)中包含了共享權(quán)值的兩路子網(wǎng)絡(luò)（這種結(jié)構(gòu)被稱為Siamese Network），每路子網(wǎng)絡(luò)處理一對圖像中的一張。在網(wǎng)絡(luò)的后端，根據(jù)得到的樣本的二值編碼和pairwise label，作者設(shè)計了損失函數(shù)來指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練。

具體來說，理想情況下，網(wǎng)絡(luò)前端的輸出應(yīng)該是只由±1構(gòu)成的二值向量，在這種情況下，兩個樣本的二值編碼向量的內(nèi)積事實上是等價于Hamming距離的?；谶@個事實，作者提出了如下的損失函數(shù)，希望用樣本二值編碼之間的相似性（內(nèi)積）去擬合pairwise label（logistic regression）：

在實際中，如果想讓網(wǎng)絡(luò)前端輸出為只由±1構(gòu)成的二值向量，則需要在網(wǎng)絡(luò)中插入量化操作（如sign函數(shù)）。但是，因為量化函數(shù)在定義域上要么導(dǎo)數(shù)為0，要么不可導(dǎo)，因此在訓(xùn)練網(wǎng)絡(luò)的時候無法使用基于梯度的算法，因此作者提出將網(wǎng)絡(luò)前端的輸出進(jìn)行松弛，不再要求輸出是二值的，轉(zhuǎn)而通過在損失函數(shù)中增加一個正則項的方法，對網(wǎng)絡(luò)輸出進(jìn)行約束：

其中U表示松弛后的“二值編碼”，其余定義與J1相同。

在訓(xùn)練的時候，J2中的第一項可以直接根據(jù)圖像對的標(biāo)簽和Ui計算得到，第二項需要對Ui進(jìn)行量化得到bi后再計算。利用上述損失函數(shù)訓(xùn)練好網(wǎng)絡(luò)后，當(dāng)查詢樣本出現(xiàn)時，只需要將圖像通過網(wǎng)絡(luò)，并對最后一個全連接層的輸出進(jìn)行量化，即可得到樣本的二值編碼。

本文中的部分實驗結(jié)果如下，文章提出的方法取得了state-of-the-art的性能，即使和使用了CNN特征作為輸入的一些非深度哈希方法相比，在性能上也有比較顯著的優(yōu)勢：

總體來說，本文提出的方法通過聯(lián)合學(xué)習(xí)圖像特征和哈希函數(shù)，在圖像檢索任務(wù)上取得了顯著的性能提升。但是由于文中使用的pairwise label在描述一對樣本的時候只有相似、不相似兩種可能，相對比較粗糙，因此不可避免地限制了本文方法的適用場合。作者在后續(xù)的工作中可能會考慮使用更加靈活的監(jiān)督信息形式來擴(kuò)展方法的通用性。

參與人員：

胡藍(lán)青中科院計算所VIPL研究組博士研究生

尹肖貽中科院計算所VIPL研究組博士研究生

劉昊淼中科院計算所VIPL研究組博士研究生

劉 昕中科院計算所VIPL研究組博士研究生