人工智能的未來在于使人類和機(jī)器能夠共同解決復(fù)雜問題。組織正在嘗試通過將人工智能/機(jī)器學(xué)習(xí)技術(shù)與人工審核相結(jié)合來提高流程效率和透明度。

近年來，隨著人工智能的發(fā)展，專門針對(duì)人工智能的法規(guī)也應(yīng)運(yùn)而生，例如制藥行業(yè)的良好機(jī)器學(xué)習(xí)實(shí)踐 (GMLP) 和金融行業(yè)的模型風(fēng)險(xiǎn)管理 (MRM)，以及其他涉及數(shù)據(jù)隱私的廣泛法規(guī)，如歐盟的 GDPR 和加州的 CCPA。同樣，內(nèi)部合規(guī)團(tuán)隊(duì)在驗(yàn)證基于模型預(yù)測(cè)的決策時(shí)可能也希望解釋模型的行為。例如，承保人希望了解為什么特定的貸款申請(qǐng)被 ML 模型標(biāo)記為可疑。

概述

什么是可解釋性?

在機(jī)器學(xué)習(xí)環(huán)境中，可解釋性是指嘗試追溯哪些因素對(duì)機(jī)器學(xué)習(xí)模型做出特定預(yù)測(cè)有影響。如下圖所示，較簡(jiǎn)單的模型更易于解釋，但與深度學(xué)習(xí)和基于 Transformer 的模型等復(fù)雜模型相比，其準(zhǔn)確率通常較低，因?yàn)楹笳呖梢岳斫鈹?shù)據(jù)中的非線性關(guān)系，并且準(zhǔn)確率通常較高。

寬泛地來說，有兩種類型的解釋：

· 全局解釋： 在整體模型層面進(jìn)行解釋，以了解哪些特征對(duì)輸出貢獻(xiàn)最大?例如，在金融環(huán)境中，用例是構(gòu)建 ML 模型來識(shí)別最有可能違約的客戶，而做出該決定的一些最有影響力的特征是客戶的信用評(píng)分、信用卡總數(shù)、循環(huán)余額等。

· 局部解釋：這可以讓你放大特定數(shù)據(jù)點(diǎn)并觀察模型在該鄰域中的行為。例如，對(duì)于電影評(píng)論用例的情緒分類，評(píng)論中的某些詞可能對(duì)結(jié)果產(chǎn)生比其他詞更大的影響?！拔覐膩頉]有看過這么糟糕的電影。 ”

什么是變壓器模型?

Transformer 模型是一種神經(jīng)網(wǎng)絡(luò)，它跟蹤順序輸入中的關(guān)系(例如句子中的單詞)，以學(xué)習(xí)上下文和后續(xù)含義。Transformer 模型使用一組不斷發(fā)展的數(shù)學(xué)方法(稱為注意力或自我注意力)來查找一系列等距數(shù)據(jù)元素之間的細(xì)微關(guān)系。有關(guān)更多信息，請(qǐng)參閱Google 的出版物。

積分梯度

積分梯度 (IG) 是論文《深度網(wǎng)絡(luò)的公理歸因》中介紹的一種可解釋 AI技術(shù)。本文嘗試為每個(gè)輸入特征分配一個(gè)歸因值。這說明輸入對(duì)最終預(yù)測(cè)的貢獻(xiàn)有多大。

IG 是一種局部方法，由于其廣泛適用于任何可微分模型(例如文本、圖像、結(jié)構(gòu)化數(shù)據(jù))、易于實(shí)施、相對(duì)于替代方法的計(jì)算效率高以及理論依據(jù)，它是一種流行的可解釋性技術(shù)。積分梯度表示沿從給定基線到輸入的路徑對(duì)輸入的梯度的積分。積分可以用黎曼和或高斯勒讓德求積規(guī)則來近似。形式上，它可以描述如下：

沿輸入 X 的第 i 維積分梯度。Alpha 是縮放系數(shù)。這些方程式是從 原始論文中復(fù)制而來的。

該方法的基石是兩個(gè)基本公理，即敏感性和實(shí)現(xiàn)不變性。更多信息可以在原始論文中找到。

用例

現(xiàn)在讓我們實(shí)際看看如何使用Captum包應(yīng)用積分梯度法。我們將使用HuggingFace的 transformers 庫(kù)在SQUAD數(shù)據(jù)集上微調(diào)問答B(yǎng)ERT(來自 Transformers 的雙向編碼器表示)模型，請(qǐng)查看筆記本以了解詳細(xì)的演練。

腳步

· 加載標(biāo)記器和預(yù)先訓(xùn)練的 BERT 模型，在本例中，bert-base-uncased

· 接下來是計(jì)算與BertEmbeddings層相關(guān)的屬性。為此，定義基線/參考并將基線和輸入數(shù)字化。

ython

1

def construct_whole_bert_embeddings(input_ids, ref_input_ids, \

2

token_type_ids=None, ref_token_type_ids=None, \

3

position_ids=None, ref_position_ids=None):

Python

1

input_embeddings = model.bert.embeddings(input_ids, token_type_ids=token_type_ids, position_ids=position_ids)

Python

1

ref_input_embeddings = model.bert.embeddings(ref_input_ids, token_type_ids=ref_token_type_ids, position_ids=ref_position_ids)

Python

1

return input_embeddings, ref_input_embeddings

· 現(xiàn)在，讓我們將問答對(duì)定義為 BERT 模型的輸入

問題 =“什么對(duì)我們來說是重要的?”

text = “對(duì)我們來說，包容、賦權(quán)和支持各種各樣的人非常重要?！?

· 為問答對(duì)生成相應(yīng)的基線/參考

· 下一步是進(jìn)行預(yù)測(cè)，一種選擇是使用LayerIntegratedGradients和計(jì)算關(guān)于的屬性BertEmbedding。LayerIntegratedGradients表示沿著從給定基線的層激活到輸入的層激活的直線路徑對(duì)層輸入/輸出的梯度的積分。

Python

1

start_scores, end_scores = predict(input_ids, \

2

token_type_ids=token_type_ids, \

3

position_ids=position_ids, \

4

attention_mask=attention_mask)

Python

1

print(‘Question: ‘, question)

2

print(‘Predicted Answer: ‘, ‘ ‘.join(all_tokens[torch.argmax(start_scores) : torch.argmax(end_scores)+1]))

Python

1

lig = LayerIntegratedGradients(squad_pos_forward_func, model.bert.embeddings)

· Output:

Question: What is important to us?

Predicted Answer: to include , em ##power and support humans of all kinds

· 使用輔助函數(shù)可視化輸入序列中每個(gè)單詞標(biāo)記的屬性

Python

# storing couple samples in an array for visualization purposes

Python

start_position_vis =

viz.VisualizationDataRecord(

attributions_start_sum,

torch.max(torch.softmax(start_scores[0], dim=0)),

torch.argmax(start_scores),

torch.argmax(start_scores),

str(ground_truth_start_ind),

attributions_start_sum.sum(),

all_tokens,

delta_start)

Python

print(‘\033[1m’, ‘Visualizations For Start Position’, ‘\033[0m’)

viz.visualize_text([start_position_vis])

Python

print(‘\033[1m’, ‘Visualizations For End Position’, ‘\033[0m’)

viz.visualize_text([end_position_vis])

從上面的結(jié)果可以看出，對(duì)于預(yù)測(cè)起始位置，我們的模型更側(cè)重于問題方面。更具體地說，側(cè)重于標(biāo)記“什么”和“重要”。在文本方面，它也稍微側(cè)重于標(biāo)記序列“對(duì)我們來說”。

與此相反，對(duì)于預(yù)測(cè)結(jié)束位置，我們的模型更加側(cè)重于文本方面，并且對(duì)最后的結(jié)束位置標(biāo)記“種類”具有相對(duì)較高的歸因。

結(jié)論

本文介紹了如何使用可解釋的人工智能技術(shù)(如積分梯度)通過強(qiáng)調(diào)正面和負(fù)面的詞語(yǔ)對(duì)模型結(jié)果的影響，使深度學(xué)習(xí) NLP 模型變得可解釋。