介紹可應用於Tensorflow代碼的VeriTensor代碼方法，以使調試更加有效。
Image from Pixabay
Tensorflow代碼很難調試。 我以前花了數週時間調試代碼。 更糟糕的是，在大多數情況下，我不知道如何進行-我可以看到我的代碼沒有訓練好，但是我不知道是因為該模型無法學習，或者是由於實現存在錯誤。 如果是後者，錯誤在哪裡？
這是許多機器學習從業者面臨的挫敗感。 本文介紹了我設計用來調試Tensorflow代碼的VeriTensor方法。 VeriTensor基於"Design by Contract"方法。 它包括三種技術。 這種方法將我的調試時間從數週縮短至數小時，提高了90％以上。 更好的是，在完成調試後，我知道代碼中沒有錯誤。 真是太好了！
通過斷言進行規範
有效調試的關鍵是編寫規範以定義代碼的正確性。 規範描述了代碼應該執行的操作，而實現則描述瞭如何執行代碼。 一段代碼僅在其規範方面是正確的。 在Python中，您可以使用斷言來編寫規範，如下面所示。
<code>def square_root(x):
assert x >= 0
result = math.sqrt(x)
assert result == math.sqrt(x)
return result/<code>
你說，但是很難寫斷言。 我同意你的看法。 我花了15年的時間用斷言驗證代碼。 我開發了基於斷言的技術，Microsoft將其包含在Bing搜索引擎中。 我知道規格可能會很棘手。 這就是為什麼當我開發VeriTensor時，我確保它是實用的。
有效調試的關鍵是通過斷言告訴調試器代碼應該做什麼。
VeriTensor方法
VeriTensor包括3種技術。 您可以在編寫Tensorflow代碼後應用它們。 這意味著這些技術是很簡單的，您無需從頭開始就可以使用它們。
技術1：張量形狀斷言
引入張量時，需要編寫斷言以檢查其形狀。 關於張量形狀的錯誤假設通常會導致棘手的錯誤。 而且TensorFlow的廣播機制可以將它們隱藏得很深。
例如，在諸如Deep Q Network（DQN）之類的迴歸算法中，您有一個來自神經網絡的預測張量，目標張量和損失張量：
<code>prediction = q_function.output_tensor
target = reward + gamma* bootstrapped_q
loss = tf.reduce_mean(tf.square(target - prediction))/<code>
該預測代表預測值。 目標張量表示期望值，由獎勵張量和bootstrapped_q張量計算得出，而γ是浮點數。損失張量表示我們的訓練損失為均方誤差。
現在，我們為引入的張量添加斷言，如下清單所示。 這些斷言檢查預測的形狀和目標的形狀必須在batch_size和action_dimension方面相同。 這些是DQN算法中使用的一些數量。 如果您不熟悉它們，不必擔心。 這裡重要的是我們編寫斷言來檢查張量形狀。 最後，由於損失評估為數字，因此斷言聲明其形狀為[]。
<code>prediction = q_function.output_tensor
assert prediction.shape.to_list() == [batch_size, action_dimension]
target = reward + gamma* bootstrapped_q
assert target.shape.to_list() == [batch_size, action_dimension]
loss = tf.reduce_mean(tf.square(target - prediction))
assert loss.shape.to_list() == []/<code>
如果張量的形狀與它們的期望值不匹配，則會違反聲明。 您不會相信違反形狀聲明的可能性會如此的大！
技術2：張量間的依賴
Tensorflow程序是一個計算圖。 因此，您需要確保正確構建張量圖。 如果張量B的值取決於張量A的值（例如B = A + 1），則圖中的節點B到節點A之間應該有一條邊。
您使用TensorBoard可視化Tensorflow圖。 但是，瞭解此圖很困難，因為實際的張量圖通常具有數百個節點和邊。 下圖顯示了典型的TensorBoard可視化。
這裡的關鍵見解是：要檢查張量圖的結構，只需要可視化所引入的張量之間的關係即可。 而且，您通常可以將許多張量分組到一個節點中。 例如，在具有許多變量的多層神經網絡中，每個變量都是張量。 但是您只需要將整個網絡可視化為一個節點。
我開發了Python包VeriTensor，以簡化張量圖的可視化。 我將很快將此程序包開源。 它包含一個TensorGroupDependency類。 此類允許您僅註冊要可視化的張量。 它為註冊的張量生成一個新的，更小的可視化圖像。
下一個清單顯示瞭如何使用TensorGroupDependency。 您首先調用add方法來註冊張量。 然後，調用generate_dot_representation方法為您提供可視化效果。 此可視化僅顯示已註冊的張量及其相關性。
<code>d = TensorGroupDependency()
d.add(prediction, 'prediction')
d.add(target, 'target')
d.add(bootstrapped_q, 'bootstrapped_q')
d.add(loss, 'loss')
# Generate tensor dependency graph in DOT notation.
dot = d.generate_dot_representation()
print(dot)
# Generate assertions describing the above dependency graph.
assertions = d.generate_assertions(target_exp='d')
print(assertions)/<code>
第1至5行創建一個張量依賴圖對象，並註冊要可視化其關係的張量。 第8行和第9行以DOT語言生成並打印那些張量依賴關係，這些依賴關係可以以圖形方式呈現：
讓我們瞭解以上依賴關係圖：
- 圖中的節點表示張量或張量集（例如神經網絡中的所有變量）。
- 如果B中的至少一個張量取決於A中的一個張量，則從節點B到節點A會有一個有向邊。在我們的示例中，損耗張量取決於預測和目標張量。 因此，從預測節點和目標節點到損失節點有兩個方向性邊緣。
- 在每個節點中，您可以看到其種類，例如[Tensor]，[Placeholder]，[Variable]。
- 在每個節點中，您還會看到張量形狀，例如（None，1），表示二維張量，其中第一維為動態長度None，第二維為長度1。損耗張量具有形狀（），因為它 是標量。
要檢查圖結構的正確性，您需要解釋為什麼每個邊都存在。 這意味著解釋這些張量之間的依賴關係。 如果您無法解釋某些邊的存在，則您腦海中的想法與您實際構建的圖形之間會有差異。 這通常表示一個錯誤。
解釋完所有邊緣之後，您可以通過調用generate_assertions方法來生成描述圖的斷言，如上面片段中的第12行所示。 以下清單顯示了生成的斷言。 它們描述了相同的依賴圖。 它們成為您代碼的一部分，並將在以後的所有執行中進行檢查：
<code>d.assert_immediate_ancestors('target', {'bootstrapped_q', 'reward'})
d.assert_immediate_ancestors('prediction', set())
d.assert_immediate_ancestors('bootstrapped_q', set())
d.assert_immediate_ancestors('loss', {'prediction', 'target'})
d.assert_immediate_ancestors('reward', set())/<code>順便說一句，如果您在Tensorflow代碼中精心設計了名稱範圍，並且在TensorBoard可視化文件中進行了認真的摺疊，您將獲得與上述庫相同的功能。 但我認為庫很不錯，因為：
- 您很可能沒有仔細設計名稱範圍-是嗎？
- 使用該庫，您可以生成那些張量依賴斷言，這將幫助您在以後的所有執行中進行調試。
技術3：張量方程評估
到目前為止，您已經驗證了定義的張量之間的依賴關係。 最後一步是檢查張量是否執行正確的數值計算。 例如，方程B = A +1和B = A -1都引入了從B到A的依存關係，因此它們的依存關係圖是相同的。 但是您需要指定B = A + 1是正確的實現。 使用張量方程評估對算法中的每個方程執行以下操作：
- 在每個優化步驟中，通過在session.run中添加它們來評估所涉及的張量。
- 用這些張量求值以numpy編寫相同的方程式，以計算所需的值。 然後斷言期望值與實際值相同。
接下來的清單顯示了損失張量的張量方程評估。 session.run會評估parameter_update_operations，這是您常用的東西，例如漸變下降步驟。 除了這項常規工作之外，session.run現在還評估預測，目標和損失張量。 您可以從這三個張量評估中計算出所需的損失。 最後，您斷言實際損失等於第4行和第5行的期望損失。請注意，第4行和第5行在Python世界中。 在Python世界中，您可以使用循環，調用任意函數； 它比Tensorflow世界中的方法容易得多。
<code>prediction_, target_, loss_, _ = session.run(
[prediction, target, loss, parameter_update_opeations],
feed_dict={...})
desired_loss = np.mean(np.power(target_ - prediction_, 2))
np.testing.assert_almost_equal(actual=loss_, desired=desired_loss, decimal=3)/<code>
這些技術有效且實用嗎？
我們已將這些技術應用於所有Tensorflow學習者。 下表報告了我們花在驗證五個模型上的時間以及發現的錯誤數量。
Table 1. Bugs detected with assertion techniques
"學習模塊"列列出了機器學習模型的名稱。 這些是深度強化學習中的Actor-Critic算法。
"編碼時間"列報告了我們花費在編寫這些學習者代碼上的時間（以小時為單位）。 總共我們花了24個小時。
"驗證時間"列報告了我們在驗證上花費的時間。 這包括編寫斷言，運行代碼，觀察斷言衝突並修復檢測到的錯誤。 總共我們花了5個小時。 換句話說，驗證需要20％的工作量。
"檢測到的錯誤"列是每種斷言技術的細分。 它顯示了花費在每種技術上的時間百分比以及檢測到的錯誤數量。 總共，我們僅在5小時內檢測到23個錯誤。 更重要的是，應用這些技術後，我們知道我們的代碼是正確的。
我們可以清楚地看到VeriTensor在檢測錯誤方面很有效。
為什麼VeriTensor對檢測錯誤有效？
首先，它們要求您通過斷言定義代碼的正確性。 編寫規範並不是一個新主意，但VeriTensor使其實用：
- 形狀斷言要求您寫下所引入的張量的形狀-簡單！
- 張量依賴性僅要求您關注引入的張量。 在此階段無需檢查數值運算。 這樣可以將圖形從數百個節點減少到十二個左右，從而使人類研究變得切實可行。 自動斷言生成減少了寫下斷言所需的時間。
- 在張量方程評估中，您將檢查Python世界中的每個方程。 Python世界比Tensorflow世界更容易。
其次，在Tensorflow中發現錯誤的來源令人生畏。 人們花費大部分時間來定位錯誤的來源。 一旦知道了來源，通常即可輕鬆修復該錯誤。 按順序應用時，VeriTensor技術可幫助您定位故障。 在張量依賴階段有問題時，您會知道所有涉及的張量都具有正確的形狀。 當張量方程式有問題時，您就會知道依賴關係結構是正確的。 簡而言之，您可以更好地關注和定位每個問題。
第三，VeriTensor將Tensorflow代碼調試從一門藝術變成了一個軟件工程過程。 如果遵循簡單的任務清單，該過程將確保代碼正確：
- 為您引入的所有張量編寫一個形狀斷言。
- 解釋這些張量之間的所有依賴關係邊，並自動生成結構性斷言。
- 編寫一個斷言以檢查算法中的每個方程。
驗證和/或測試代碼時的常見問題是知道如何進行和何時停止。 您從代碼的哪一部分開始？ 您應該檢查哪些方面？ 經過足夠的測試，您怎麼知道？
我們的三種技術消除了這些疑慮。 您一一應用它們，每種技術都有有限且可管理的步驟。 步驟的數量受您在代碼中引入的張量和方程式的數量限制（通常約為12個）。 最後，您知道您的代碼是正確的。 這是一個工程過程，而不是一門藝術。 不要忽略這種工程過程的力量。 人們知道確切的步驟後，他們的效率就會大大提高。
不要忽略這種工程過程的力量。 人們知道確切的步驟後，他們的效率就會大大提高。
驗證代碼正確性，而不是性能
我需要明確說明VeriTensor會驗證代碼的正確性。 它不會評估代碼的性能。 正確性意味著您實現的代碼符合您的想法。 績效是學習有意義模型的能力。 通常通過繪製損失，交叉驗證和測試數據來衡量性能。
您必須先確定代碼的正確性，然後再查看其性能。 我稱這是性能原則之前的正確性。 否則，您需要擔心性能不好是因為學習算法不夠好，還是代碼中存在一些錯誤。 顯然，您需要後者，但是很難證明您的代碼沒有錯誤。
性能先於原則：只有在確定正確性之後，才能查看代碼的性能。
可悲的是，我看到很多人都採用的模式是使用性能指標來進行調試。 當他們的代碼不學習時，他們將通過繪製損失函數來開始調試。 這違反了性能原則之前的正確性，因此無法有效地發現錯誤。 這是因為：
- 性能指標是漸近定向的，而不是單調的。 例如，損失函數應隨時間減少。 但是在任何時間點，包括調試時，這些數字都可以上升或下降。 沒有正確的值使您很難識別出是否有問題。 將此與斷言進行比較：您知道發生斷言衝突時情況不對。
- 即使您發現性能指標顯然是錯誤的，它們也不會告訴您錯誤的來源。 將此與VeriTensor的故障定位支持進行比較。 您可以在階段中找到錯誤-張量成形階段，張量依賴階段和張量值階段。 您可以在每個階段集中精力。
- 修復錯誤後，很難為該錯誤編寫回歸測試。 這是因為基於性能指標的錯誤和症狀的根源很遠。 將此與使用斷言的測試用例編寫經驗進行比較。 您只需要將主學習循環變成具有較小學習時間步長的單元測試，以使測試儘快終止。 您可以使用真實輸入，也可以使用隨機輸入。
影片介紹
一年半以前，我在Tensorflow Deep Dive活動中介紹了VeriTensor。 演講受到好評。 這是演示。
在那之後的20個月中，我將VeriTensor應用於所有的機器學習代碼，並且一次又一次地起作用。 希望對您有幫助。
(本文翻譯自Wei Yi的文章《Reducing Tensorflow Debugging Time by 90 Percent》，參考：https://towardsdatascience.com/reducing-tensorflow-debugging-time-by-90-percent-41e8d60f9494)
閱讀更多 聞數起舞 的文章
