X-Trans 相機(jī)與市場(chǎng)上的其他相機(jī)有何不同，機(jī)器學(xué)習(xí)又是如何顛覆 raw 文件的處理方式的?DxO首席科學(xué)家 Wolf Hauser 探討了 X-Trans 的優(yōu)缺點(diǎn)，以及 DxO 用于顯著提高圖像質(zhì)量的處理方法。

富士公司向來(lái)不憚?dòng)诹肀傩聫剑麄冊(cè)?2012 年推出了 X-Trans 傳感器。 鑒于整個(gè)相機(jī)行業(yè)幾乎都在使用拜耳傳感器，這可謂一個(gè)大膽的舉措。在過(guò)去的十年里，關(guān)于 X-Trans 的激烈討論不絕于耳，它能否為攝影師帶來(lái)切實(shí)的好處，或者僅僅是一個(gè)精心設(shè)計(jì)的營(yíng)銷(xiāo)技巧? 正如接下來(lái)將探討的，X-Trans 兼有優(yōu)缺點(diǎn)，而用于解讀該傳感器 raw 數(shù)據(jù)的算法對(duì)于獲取理想結(jié)果至關(guān)重要。 富士相機(jī)的粉絲長(zhǎng)期以來(lái)一直在尋找一款最優(yōu)秀的軟件來(lái)處理他們的圖像，DxO PhotoLab 5 和 DxO PureRAW 2 現(xiàn)支持對(duì) X-Trans raw 文件的處理，讓富士相機(jī)拍攝的清晰圖像呈現(xiàn)出色的細(xì)節(jié)。

拜耳還是 X-Trans，百事可樂(lè)還是可口可樂(lè)?

您可能已經(jīng)注意到，討論相機(jī)技術(shù)的微小細(xì)節(jié)會(huì)一石激起千層浪，自 X-Trans 推出以來(lái)，留言板和社交媒體上關(guān)于 X-Trans 優(yōu)缺點(diǎn)的辯論便如火如荼。 然而，濾色器陣列只是用于定義相機(jī)的眾多功能中的一個(gè)，鮮有客戶(hù)在購(gòu)買(mǎi)相機(jī)時(shí)將其放在首位。 使用富士相機(jī)的攝影師喜愛(ài)其相機(jī)的獨(dú)特外觀和質(zhì)感，享受其人體工學(xué)設(shè)計(jì)和易用性，更不用說(shuō)相機(jī)直出的驚艷效果。 富士的工程師是色彩方面的專(zhuān)家，擁有 70 多年的彩色攝影經(jīng)驗(yàn)，品牌愛(ài)好者深?lèi)?ài)富士依托公司悠久的膠片生產(chǎn)歷史打造出的膠片模擬效果。

Astia 和 Velvia 等名稱(chēng)也為他們的相機(jī)賦予一種逼真感。

拜耳與 X-Trans 的爭(zhēng)論與 ARM 處理器與英特爾設(shè)計(jì)的處理器之間上演的對(duì)決十分相似。 蘋(píng)果的營(yíng)銷(xiāo)部門(mén)聲稱(chēng)他們的 iPad 更好，因?yàn)槠渑鋫淞怂麄兊娜?ARM 芯片，而微軟則勸說(shuō)大眾 Surface 更好，因?yàn)樗褂昧俗钚碌挠⑻貭栃酒?兩家品牌的愛(ài)好者們會(huì)花無(wú)數(shù)個(gè)夜晚在論壇上激烈爭(zhēng)辯，討論 ARM 與英特爾、RISC 與 CISC 孰優(yōu)孰劣——但實(shí)際上 99% 的用戶(hù)對(duì)此并不關(guān)心。 他們選擇平板電腦的標(biāo)準(zhǔn)，是更喜歡其中某一款的外觀和質(zhì)感、用戶(hù)體驗(yàn)以及對(duì)品牌的認(rèn)可。

除了系統(tǒng)內(nèi)部的一些技術(shù)差異之外，對(duì)于大多數(shù)用戶(hù)來(lái)說(shuō)，選擇富士還是佳能、尼康、索尼等可能與選擇百事可樂(lè)還是可口可樂(lè)那樣沒(méi)有太大區(qū)別。

復(fù)雜性的后果

無(wú)論選擇相機(jī)的標(biāo)準(zhǔn)是什么，盡可能發(fā)揮其傳感器的最佳性能仍然很重要。此外，還有必要看看將圖像放大到 100% 或更大時(shí)會(huì)發(fā)生什么。

我們需要牢記，最終呈現(xiàn)的圖像不單是傳感器本身作用的結(jié)果。無(wú)論是在相機(jī)內(nèi)還是通過(guò)軟件，都會(huì)歷經(jīng)各種各樣的流程，尤其是去馬賽克，即填補(bǔ)紅色、綠色和藍(lán)色通道之間空白的算法。 這些算法與濾色器陣列相結(jié)合，才決定了最終的結(jié)果。

拜耳濾色器一直占據(jù)一席之地的原因之一，便是工程師已習(xí)慣于處理它的數(shù)據(jù)。 研究人員耗費(fèi)四年時(shí)間，才找到為拜耳傳感器去馬賽克的最佳方案，多年來(lái)開(kāi)發(fā)的那些高度復(fù)雜的算法為他們放寬了許多設(shè)計(jì)方面的基本限制。 即使是相當(dāng)簡(jiǎn)單的算法，例如嵌入在第一代數(shù)碼相機(jī)中的算法，也能產(chǎn)生不錯(cuò)的效果。

另一方面，X-Trans 模式增加的復(fù)雜性也相應(yīng)帶來(lái)了復(fù)雜得多的去馬賽克流程。 據(jù)說(shuō)富士的工程師花了五年時(shí)間才使得其相機(jī)處理能力迎頭趕上其他競(jìng)品，得以于 2012 年在 X-Pro1 中引入 X-Trans。 與此同時(shí)，與拜耳相比，研究界發(fā)表的關(guān)于 X-Trans 去馬賽克的論文要少得多。它不僅是一個(gè)更復(fù)雜的問(wèn)題，而且用于解決這個(gè)問(wèn)題的研究數(shù)量也更少。 平心而論，當(dāng)前的 X-Trans 去馬賽克算法距離實(shí)現(xiàn)理論上的最佳解決方案還有一段距離。 這也是富士的粉絲經(jīng)常徘徊在不同的軟件包之間尋找解決方案、以獲得最佳結(jié)果的原因之一。

通過(guò)機(jī)器學(xué)習(xí)克服復(fù)雜性

今天，機(jī)器學(xué)習(xí)——特別是一項(xiàng)被稱(chēng)為卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)——正在徹底改變圖像處理。 這類(lèi)新算法在短短幾年之內(nèi)便讓數(shù)十年的研究工作相形見(jiàn)絀，它不再由研究人員和工程師手工計(jì)算得出，而是由計(jì)算機(jī)從數(shù)百萬(wàn)個(gè)訓(xùn)練示例中由經(jīng)驗(yàn)式學(xué)習(xí)得出。 例如，在拜耳的去馬賽克技術(shù)中，神經(jīng)網(wǎng)絡(luò)現(xiàn)在可以輕松擊敗人類(lèi)設(shè)計(jì)出的最佳算法。

這種變革對(duì)于畢生致力于去馬賽克算法的研究人員來(lái)說(shuō)，固然令人沮喪，但它實(shí)際上是一個(gè)巨大的機(jī)會(huì)。 由此不僅可以獲取更佳的結(jié)果，而且還提高了生產(chǎn)力：計(jì)算機(jī)可以在幾天或幾周內(nèi)找到最先進(jìn)的去馬賽克算法，而不是幾年或幾十年。 當(dāng)有確切的輸入和預(yù)期的輸出，但兩者之間的映射過(guò)于復(fù)雜、無(wú)法以經(jīng)典算法表達(dá)時(shí)，機(jī)器學(xué)習(xí)的優(yōu)勢(shì)便格外突顯。 圖像和語(yǔ)音識(shí)別便是最早的范例。機(jī)器學(xué)習(xí)確實(shí)是一種非常強(qiáng)大的工具，在經(jīng)典算法行之有效的領(lǐng)域(如去馬賽克)，它依然被證實(shí)有用。

X-Trans 的去馬賽克是機(jī)器學(xué)習(xí)的絕佳對(duì)象。 由于比拜耳的去馬賽克流程更為復(fù)雜，其機(jī)器學(xué)習(xí)相較于傳統(tǒng)工程的優(yōu)勢(shì)，理應(yīng)比在拜耳去馬賽克上顯現(xiàn)的優(yōu)勢(shì)更大。 我們?cè)?Adobe 的同行在 2020 年初推出由機(jī)器學(xué)習(xí)驅(qū)動(dòng)的“增強(qiáng)細(xì)節(jié)”功能時(shí)，便清晰地證明了這一點(diǎn)。 測(cè)評(píng)人士得出結(jié)論是，拜耳的圖像上只展現(xiàn)出微妙的差異，但 X-Trans 的圖像獲得了顯著改善。

在 DxO，我們使用 DxO PhotoLab 中的機(jī)器學(xué)習(xí)解決了另一項(xiàng)高度復(fù)雜的任務(wù)：我們的 RAW 轉(zhuǎn)換技術(shù)——DxO DeepPRIME。它使用單個(gè)巨大的卷積神經(jīng)網(wǎng)絡(luò)同時(shí)應(yīng)用去馬賽克和降噪。 經(jīng)過(guò) 10 天的密集工作，我們的計(jì)算機(jī)開(kāi)發(fā)出了一種高度復(fù)雜的算法，其表現(xiàn)優(yōu)于我們?cè)诘?ISO 條件下的傳統(tǒng)去馬賽克技術(shù)，以及我們?cè)诟?ISO 條件下的傳統(tǒng)去馬賽克和降噪技術(shù)。

DxO PhotoLab5 和 DxO PureRAW2 為 X-Trans 提供 DxO DeepPRIME

拜耳傳感器圖像的工作完成后，做出更改以適應(yīng) X-Trans 的 raw 文件便不再是一項(xiàng)艱巨的任務(wù)，因?yàn)橹恍柽M(jìn)行少量修改就可重復(fù)使用生成訓(xùn)練數(shù)據(jù)的過(guò)程。 當(dāng)中依然有許多困難需要克服，因?yàn)槲覀儽仨殢母旧细淖兙W(wǎng)絡(luò)形狀以適應(yīng)復(fù)雜的 X-Trans 模式，但它是可行的，并且具有光明的前景， 最終的結(jié)果也令人振奮。 我們來(lái)看一個(gè)例子。

這張低光室內(nèi)動(dòng)態(tài)照片是使用富士 X-T3 在 ISO 6400 下拍攝的。 原始照片曝光不足，因此我們?cè)诤笃谔幚磉^(guò)程中將其推高了兩檔 — 相當(dāng)于 ISO 25600(上圖)。 JPEG 圖像上無(wú)法進(jìn)行如此大幅度的曝光調(diào)整，因此這里不是與相機(jī)進(jìn)行比較，而是與一款著名的 raw 轉(zhuǎn)換器——具有“增強(qiáng)細(xì)節(jié)”功能的 Adobe Lightroom(左下角)進(jìn)行比較。 當(dāng)我們放大人臉觀察時(shí)，可以看到 DxO DeepPRIME(右下，使用 DxO PhotoLab)的圖像明顯更為清晰。 因?yàn)?DeepPRIME 使用神經(jīng)網(wǎng)絡(luò)同時(shí)運(yùn)行去馬賽克和降噪，在降噪方面表現(xiàn)更佳，同時(shí)在亮度和顏色方面保留了更多細(xì)節(jié)。

不僅僅是機(jī)器學(xué)習(xí)

顯然，要在像 DxO PhotoLab 和 DxO PureRAW 2 這樣復(fù)雜的軟件中完全支持 X-Trans，需要的不僅僅是 DxO DeepPRIME。 我們實(shí)驗(yàn)室用于校準(zhǔn)每個(gè)相機(jī)機(jī)身的顏色和噪點(diǎn)模型的許多內(nèi)部工具也必須進(jìn)行調(diào)整。 其他幾個(gè)處理塊也必須從頭開(kāi)始設(shè)計(jì)，例如用戶(hù)在進(jìn)行調(diào)整時(shí)用于顯示預(yù)覽的去馬賽克算法。

讓您的照片也受益于技術(shù)的進(jìn)步

經(jīng)過(guò)一段時(shí)間的緊張研發(fā)，DxO PhotoLab 5 和 DxO PureRAW 2 現(xiàn)已準(zhǔn)備就緒，可為您的 RAW 文件帶來(lái)顯著的改進(jìn)。 我們相信，攝影師會(huì)愛(ài)上我們的 DxO DeepPRIME 技術(shù)，它能成功再現(xiàn)此前缺失的色彩細(xì)節(jié)，為老照片帶來(lái)新的活力，提升高 ISO 圖像的品質(zhì)。 下載免費(fèi)試用版并了解 DxO DeepPRIME 如何可以提升您的照片品質(zhì)。