作者：Nicolas，追一科技AI Lab研究員

最近，微軟的FreeLB-Roberta[1] 靠著對抗訓練 (Adversarial Training) 在GLUE榜上超越了Facebook原生的Roberta，追一科技也用到了這個方法僅憑單模型 [2] 就在CoQA榜單中超過了人類，似乎“對抗訓練”一下子變成了NLP任務的一把利器。

GLUE Leaderboard

CoQA Leaderboard

突如其來的小廣告

對FreeLB感興趣的朋友們歡迎關注本週四下午1點的Talk~馬里蘭大學在讀博士生朱晨將帶來主題為“FreeLB—適用於自然語言理解的對抗學習”的技術分享，詳情戳→這裡！

提到“對抗”，相信大多數人的第一反應都是CV中的對抗生成網絡 (GAN)，殊不知，其實對抗也可以作為一種防禦機制，並且經過簡單的修改，便能用在NLP任務上，提高模型的泛化能力。關鍵是，對抗訓練可以寫成一個插件的形式，用幾行代碼就可以在訓練中自由地調用，簡單有效，使用成本低。不過網上的大多數博客對於NLP中的對抗訓練都介紹得比較零散且無代碼實現，筆者在這篇博客中，對NLP任務中的對抗訓練做了一個簡單的綜述，並提供了插件形式的PyTorch實現。

本文專注於NLP對抗訓練的介紹，對對抗攻擊基礎感興趣的讀者，可以看這幾篇博客及論文 [3] [4] [5]（見文末參考資料），這裡就不贅述了。不想要理解理論細節的讀者也可以直接看最後的代碼實現。

1. 對抗樣本

我們常常會聽到“對抗樣本”、“對抗攻擊”、“對抗訓練”等等這些令人頭禿的概念，為了讓大家對“對抗”有個更清晰的認識，我們先把這些概念捋捋清楚。

Taxonomy

Szegedy在14年的ICLR中 [6] 提出了對抗樣本這個概念。如上圖，對抗樣本可以用來攻擊和防禦，而對抗訓練其實是“對抗”家族中防禦的一種方式，其基本的原理呢，就是通過添加擾動構造一些對抗樣本，放給模型去訓練，以攻為守，提高模型在遇到對抗樣本時的魯棒性，同時一定程度也能提高模型的表現和泛化能力。

那麼，什麼樣的樣本才是好的對抗樣本呢？對抗樣本一般需要具有兩個特點：

1. 相對於原始輸入，所添加的擾動是微小的；

2. 能使模型犯錯。

下面是一個對抗樣本的例子，決定就是你啦，胖達：

一隻胖達加了點擾動就被識別成了長臂猿

2. 對抗訓練的基本概念

GAN之父Ian Goodfellow在15年的ICLR中 [7] 第一次提出了對抗訓練這個概念，簡而言之，就是在原始輸入樣本 上加一個擾動 ，得到對抗樣本後，用其進行訓練。也就是說，問題可以被抽象成這麼一個模型：

其中， 為gold label， 為模型參數。那擾動要如何計算呢？Goodfellow認為，神經網絡由於其線性的特點，很容易受到線性擾動的攻擊。

於是，他提出了 Fast Gradient Sign Method (FGSM) ，來計算輸入樣本的擾動。擾動可以被定義為：

其中， 為符號函數， 為損失函數。Goodfellow發現，令 ，用這個擾動能給一個單層分類器造成99.9%的錯誤率。看似這個擾動的發現有點拍腦門，但是仔細想想，其實這個擾動計算的思想可以理解為：將輸入樣本向著損失上升的方向再進一步，得到的對抗樣本就能造成更大的損失，提高模型的錯誤率。回想我們上一節提到的對抗樣本的兩個要求，FGSM剛好可以完美地解決。

在 [7] 中，Goodfellow還總結了對抗訓練的兩個作用：

1. 提高模型應對惡意對抗樣本時的魯棒性；

2. 作為一種regularization，減少overfitting，提高泛化能力。

3. Min-Max 公式

在 [7] 中，對抗訓練的理論部分被闡述得還是比較intuitive，Madry在2018年的ICLR中 [8]總結了之前的工作，並從優化的視角，將問題重新定義成了一個找鞍點的問題，也就是大名鼎鼎的Min-Max公式：

該公式分為兩個部分，一個是內部損失函數的最大化，一個是外部經驗風險的最小化。

1. 內部max是為了找到worst-case的擾動，也就是攻擊，其中， 為損失函數， 為擾動的範圍空間。

2. 外部min是為了基於該攻擊方式，找到最魯棒的模型參數，也就是防禦，其中 是輸入樣本的分佈。

Madry認為，這個公式簡單清晰地定義了對抗樣本攻防“矛與盾”的兩個問題：如何構造足夠強的對抗樣本？以及，如何使模型變得刀槍不入？剩下的，就是如何求解的問題了。

4. 從 CV 到 NLP

以上提到的一些工作都還是停留在CV領域的，那麼問題來了，可否將對抗訓練遷移到NLP上呢？答案是肯定的，但是，我們得考慮這麼幾個問題：

首先，CV任務的輸入是連續的RGB的值，而NLP問題中，輸入是離散的單詞序列，一般以one-hot vector的形式呈現，如果直接在raw text上進行擾動，那麼擾動的大小和方向可能都沒什麼意義。Goodfellow在17年的ICLR中 [9] 提出了可以在連續的embedding上做擾動：

乍一思考，覺得這個解決方案似乎特別完美。然而，對比圖像領域中直接在原始輸入加擾動的做法，在embedding上加擾動會帶來這麼一個問題：這個被構造出來的“對抗樣本”並不能map到某個單詞，因此，反過來在inference的時候，對手也沒有辦法通過修改原始輸入得到這樣的對抗樣本。我們在上面提到，對抗訓練有兩個作用，一是提高模型對惡意攻擊的魯棒性，二是提高模型的泛化能力。在CV任務，根據經驗性的結論，對抗訓練往往會使得模型在非對抗樣本上的表現變差，然而神奇的是，在NLP任務中，模型的泛化能力反而變強了，如[1]中所述：

因此，在NLP任務中，對抗訓練的角色不再是為了防禦基於梯度的惡意攻擊，反而更多的是作為一種regularization，提高模型的泛化能力。

有了這些“思想準備”，我們來看看NLP對抗訓練的常用的幾個方法和具體實現吧。

5. NLP中的兩種對抗訓練 + PyTorch實現

a. Fast Gradient Method（FGM）

上面我們提到，Goodfellow在15年的ICLR [7] 中提出了Fast Gradient Sign Method（FGSM），隨後，在17年的ICLR [9]中，Goodfellow對FGSM中計算擾動的部分做了一點簡單的修改。假設輸入的文本序列的embedding vectors 為 ，embedding的擾動為：

實際上就是取消了符號函數，用二範式做了一個scale，需要注意的是：這裡的norm計算的是，每個樣本的輸入序列中出現過的詞組成的矩陣的梯度norm。原作者提供了一個TensorFlow的實現 [10]，在他的實現中，公式裡的 是embedding後的中間結果（batch_size, timesteps, hidden_dim），對其梯度 的後面兩維計算norm，得到的是一個(batch_size, 1, 1)的向量 。為了實現插件式的調用，筆者將一個batch抽象成一個樣本，一個batch統一用一個norm，由於本來norm也只是一個scale的作用，影響不大。筆者的實現如下：

<code>import torch/<code><code>class FGM:/<code><code> def __init__(self, model):/<code><code> self.model = model/<code><code> self.backup = {}/<code>
<code> def attack(self, epsilon=1., emb_name='emb.'):/<code><code> # emb_name這個參數要換成你模型中embedding的參數名/<code><code> for name, param in self.model.named_parameters:/<code><code> if param.requires_grad and emb_name in name:/<code><code> self.backup[name] = param.data.clone/<code><code> norm = torch.norm(param.grad)/<code><code> if norm != 0 and not torch.isnan(norm):/<code><code> r_at = epsilon * param.grad / norm/<code><code> param.data.add_(r_at)/<code>
<code> def restore(self, emb_name='emb.'):/<code><code> # emb_name這個參數要換成你模型中embedding的參數名/<code><code> for name, param in self.model.named_parameters:/<code><code> if param.requires_grad and emb_name in name:/<code><code> assert name in self.backup/<code><code> param.data = self.backup[name]/<code><code> self.backup = {}/<code>

需要使用對抗訓練的時候，只需要添加五行代碼：

<code># 初始化/<code><code>fgm = FGM(model)/<code><code>for batch_input, batch_label in data:/<code><code> # 正常訓練/<code><code> loss = model(batch_input, batch_label)/<code><code> loss.backward # 反向傳播，得到正常的grad/<code><code> # 對抗訓練/<code><code> fgm.attack # 在embedding上添加對抗擾動/<code><code> loss_adv = model(batch_input, batch_label)/<code><code> loss_adv.backward # 反向傳播，並在正常的grad基礎上，累加對抗訓練的梯度/<code><code> fgm.restore # 恢復embedding參數/<code><code> # 梯度下降，更新參數/<code><code> optimizer.step/<code><code> model.zero_grad/<code>

PyTorch為了節約內存，在backward的時候並不保存中間變量的梯度。因此，如果需要完全照搬原作的實現，需要用register_hook接口[11]將embedding後的中間變量的梯度保存成全局變量，norm後面兩維，計算出擾動後，在對抗訓練forward時傳入擾動，累加到embedding後的中間變量上，得到新的loss，再進行梯度下降。不過這樣實現就與我們追求插件式簡單好用的初衷相悖，這裡就不贅述了，感興趣的讀者可以自行實現。

b. Projected Gradient Descent（PGD）

內部max的過程，本質上是一個非凹的約束優化問題，FGM解決的思路其實就是梯度上升，那麼FGM簡單粗暴的“一步到位”，是不是有可能並不能走到約束內的最優點呢？當然是有可能的。於是，一個很intuitive的改進誕生了：Madry在18年的ICLR中[8]，提出了用Projected Gradient Descent（PGD）的方法，簡單的說，就是“小步走，多走幾步”，如果走出了擾動半徑為 的空間，就映射回“球面”上，以保證擾動不要過大：

其中 為擾動的約束空間， 為小步的步長。

<code>import torch/<code><code>class PGD:/<code><code> def __init__(self, model):/<code><code> self.model = model/<code><code> self.emb_backup = {}/<code><code> self.grad_backup = {}/<code>
<code> def attack(self, epsilon=1., alpha=0.3, emb_name='emb.', is_first_attack=False):/<code><code> # emb_name這個參數要換成你模型中embedding的參數名/<code><code> for name, param in self.model.named_parameters:/<code><code> if param.requires_grad and emb_name in name:/<code><code> if is_first_attack:/<code><code> self.emb_backup[name] = param.data.clone/<code><code> norm = torch.norm(param.grad)/<code><code> if norm != 0 and not torch.isnan(norm):/<code><code> r_at = alpha * param.grad / norm/<code><code> param.data.add_(r_at)/<code><code> param.data = self.project(name, param.data, epsilon)/<code>
<code> def restore(self, emb_name='emb.'):/<code><code> # emb_name這個參數要換成你模型中embedding的參數名/<code><code> for name, param in self.model.named_parameters:/<code><code> if param.requires_grad and emb_name in name:/<code><code> assert name in self.emb_backup/<code><code> param.data = self.emb_backup[name]/<code><code> self.emb_backup = {}/<code>
<code> def project(self, param_name, param_data, epsilon):/<code><code> r = param_data - self.emb_backup[param_name]/<code><code> if torch.norm(r) > epsilon:/<code><code> r = epsilon * r / torch.norm(r)/<code><code> return self.emb_backup[param_name] + r/<code>
<code> def backup_grad(self):/<code><code> for name, param in self.model.named_parameters:/<code><code> if param.requires_grad:/<code><code> self.grad_backup[name] = param.grad.clone/<code>
<code> def restore_grad(self):/<code><code> for name, param in self.model.named_parameters:/<code><code> if param.requires_grad:/<code><code> param.grad = self.grad_backup[name]/<code>

使用的時候，要麻煩一點：

<code>pgd = PGD(model)/<code><code>K = 3/<code><code>for batch_input, batch_label in data:/<code><code> # 正常訓練/<code><code> loss = model(batch_input, batch_label)/<code><code> loss.backward # 反向傳播，得到正常的grad/<code><code> pgd.backup_grad/<code><code> # 對抗訓練/<code><code> for t in range(K):/<code><code> pgd.attack(is_first_attack=(t==0)) # 在embedding上添加對抗擾動, first attack時備份param.data/<code><code> if t != K-1:/<code><code> model.zero_grad/<code><code> else:/<code><code> pgd.restore_grad/<code><code> loss_adv = model(batch_input, batch_label)/<code><code> loss_adv.backward # 反向傳播，並在正常的grad基礎上，累加對抗訓練的梯度/<code><code> pgd.restore # 恢復embedding參數/<code><code> # 梯度下降，更新參數/<code><code> optimizer.step/<code><code> model.zero_grad/<code> 

在[8]中，作者將這一類通過一階梯度得到的對抗樣本稱之為“一階對抗”，在實驗中，作者發現，經過PGD訓練過的模型，對於所有的一階對抗都能得到一個低且集中的損失值，如下圖所示：

我們可以看到，面對約束空間 內隨機採樣的十萬個擾動，PGD模型能夠得到一個非常低且集中的loss分佈，因此，在論文中，作者稱PGD為“一階最強對抗”。也就是說，只要能搞定PGD對抗，別的一階對抗就不在話下了。

6. 實驗對照

為了說明對抗訓練的作用，筆者選了四個GLUE中的任務進行了對照試驗。實驗代碼是用的Huggingface的transfomers/examples/run_glue.py [12]，超參都是默認的，對抗訓練用的也是相同的超參。

我們可以看到，對抗訓練還是有效的，在MRPC和RTE任務上甚至可以提高三四個百分點。不過，根據我們使用的經驗來看，是否有效有時也取決於數據集。畢竟：

緣，妙不可言~

7. 總 結

這篇博客梳理了NLP對抗訓練發展的來龍去脈，介紹了對抗訓練的數學定義，並對於兩種經典的對抗訓練方法，提供了插件式的實現，做了簡單的實驗對照。由於筆者接觸對抗訓練的時間也並不長，如果文中有理解偏差的地方，希望讀者不吝指出。

8. 一個彩蛋：Virtual Adversarial Training

除了監督訓練，對抗訓練還可以用在半監督任務中，尤其對於NLP任務來說，很多時候輸入的無監督文本多的很，但是很難大規模地進行標註，那麼就可以參考[13]中提到的Virtual Adversarial Training進行半監督訓練。

首先，我們抽取一個隨機標準正態擾動，加到embedding上，並用KL散度計算梯度：

然後，用得到的梯度，計算對抗擾動，並進行對抗訓練：

實現方法跟FGM差不多，這裡就不給出了。

最後，記得週四下午1點來聽Talk哦~

[1] FreeLB: Enhanced Adversarial Training for Language Understanding. arxiv.org/abs/1909.1176

[2] Technical report on Conversational Question Answering. arxiv.org/abs/1909.1077

[3] EYD與機器學習：對抗攻擊基礎知識（一）. zhuanlan.zhihu.com/p/37

[4] Towards a Robust Deep Neural Network in Text Domain A Survey. arxiv.org/abs/1902.0728

[5] Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey. arxiv.org/abs/1901.0679

[6] Intriguing properties of neural networks. arxiv.org/abs/1312.6199

[7] Explaining and Harnessing Adversarial Examples. arxiv.org/abs/1412.6572

[8] Towards Deep Learning Models Resistant to Adversarial Attacks. arxiv.org/abs/1706.0608

[9] Adversarial Training Methods for Semi-Supervised Text Classification. arxiv.org/abs/1605.0772

[10] Adversarial Text Classification原作實現. github.com/tensorflow/m

[11] register_hook api. cnblogs.com/SivilTaram/

[12] huggingface的transformers. github.com/huggingface/

[13] Distributional Smoothing with Virtual Adversarial Training. arxiv.org/abs/1507.0067

-The End-

將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構，旗下涵蓋

將門創新服務

將門技術社群

專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。

專注於投資通過技術創新激活商業場景，實現商業價值的初創企業，關注技術領域包括

在三年的時間裡，將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。

如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”: [email protected]

閱讀更多 將門創投 的文章

關鍵字: 功守道 自知 Facebook