TensorFlow還是PyTorch？哪一個才更適合編程實現深度神經網絡？

編程實現神經網絡的最佳框架是什麼？TensorFlow還是PyTorch？我的回答是：別擔心，你從哪一個入門，你選擇哪一個並不重要，重要的是自己動手實踐！下面我們開始吧！

這兩種框架都提供了編程神經網絡常用的機器學習步驟：

· 導入所需的庫

· 加載並預處理數據

· 定義模型

· 定義優化器和損失函數

· 訓練模型

· 評估模型

這些步驟可以在任何一個框架中找到非常類似的實現（即使是像MindSpore這樣的框架）。為此，在本文中，我們將構建一個神經網絡模型，分別在PyTorch API與TensorFlow Keras API下進行手寫數字分類任務的實現。

1. 神經網絡編程步驟

a）導入必要的庫

在這兩個框架中，我們需要首先導入一些Python庫並定義一些我們將需要訓練的超參數：

<code>import numpy as np 
import matplotlib.pyplot as plt 
epochs = 10 
batch_size=64/<code>

對於TensorFlow，您僅需要額外導入以下庫：

<code>import tensorflow as tf/<code>

而對於PyTorch，您還需要導入這兩個庫：

<code>import torch 
import torchvision/<code>

b）導入並預處理數據

使用TensorFlow加載和準備數據可以使用以下兩行代碼：

<code>(x_trainTF_, y_trainTF_), _ = tf.keras.datasets.mnist.load_data()

x_trainTF = x_trainTF_.reshape(60000, 784).astype('float32')/255
y_trainTF = tf.keras.utils.to_categorical(y_trainTF_, 
            num_classes=10)/<code>

而在PyTorch則是這兩行代碼：

<code>xy_trainPT = torchvision.datasets.MNIST(root='./data', train=True, download=True,transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()])) 
xy_trainPT_loader = torch.utils.data.DataLoader(xy_trainPT, batch_size=batch_size)/<code>

我們可以通過matplotlib.pyplot庫驗證這兩個代碼是否加載了相同的數據：

<code>print("TensorFlow:")
fig = plt.figure(figsize=(25, 4))
for idx in np.arange(20):
   ax = fig.add_subplot(2, 20/2, idx+1, xticks=[], yticks=[])
   ax.imshow(x_trainTF_[idx], cmap=plt.cm.binary)
   ax.set_title(str(y_trainTF_[idx]))/<code>

<code>print("PyTorch:")
fig = plt.figure(figsize=(25, 4)) 
for idx in np.arange(20):
   ax = fig.add_subplot(2, 20/2, idx+1, xticks=[], yticks=[])
   ax.imshow(torch.squeeze(image, dim = 0).numpy(), 
             cmap=plt.cm.binary)
   image, label = xy_trainPT [idx]
   ax.set_title(str(label))/<code>

c）定義模型

在定義模型的時候，這兩種框架都使用相當相似的語法來完成。 對於TensorFlow，可以使用以下代碼來完成：

<code>modelTF = tf.keras.Sequential([ tf.keras.layers.Dense(10,activation='sigmoid',input_shape=(784,)), tf.keras.layers.Dense(10,activation='softmax') ])/<code>

在PyTorch下則這麼完成：

<code>modelPT= torch.nn.Sequential( torch.nn.Linear(784,10),torch.nn.Sigmoid(), torch.nn.Linear(10,10), torch.nn.LogSoftmax(dim=1) )/<code>

d）定義優化器與損失函數

同樣，指定優化器和loss函數的方法在兩個框架下也是很相似的。在TensorFlow下，我們可以這樣做：

<code>modelTF.compile( loss="categorical_crossentropy", optimizer=tf.optimizers.SGD(lr=0.01), metrics = ['accuracy'] )/<code>

在PyTorch下則是這樣的：

<code>criterion = torch.nn.NLLLoss() 
optimizer = torch.optim.SGD(modelPT.parameters(), lr=0.01)/<code>

e）訓練模型

最大的不同在於訓練。對於TensorFlow，我們只需要這一行代碼：

<code>_ = modelTF.fit(x_trainTF, y_trainTF, epochs=epochs, batch_size=batch_size, verbose = 0)/<code>

而在PyTorch下則更長，像這樣：

<code>for e in range(epochs):
    for images, labels in xy_trainPT_loader:
        images = images.view(images.shape[0], -1)
        loss = criterion(modelPT(images), labels)
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()/<code>

PyTorch沒有內置像在Keras或Scikit-learn中非常常見的fit()等訓練方法，因此訓練循環必須由程序員手動指定。 嗯，這其實是在簡單性和實用性之間進行一定的折衷，以便能夠做更多自定義的事情。

f）評估模型

評估模型也是如此，在TensorFlow中，您只需對測試數據調用evaluate()方法：

<code>_, (x_testTF, y_testTF)= tf.keras.datasets.mnist.load_data()
x_testTF = x_testTF.reshape(10000, 784).astype('float32')/255
y_testTF = tf.keras.utils.to_categorical(y_testTF, num_classes=10)

_ , test_accTF = modelTF.evaluate(x_testTF, y_testTF)
print('\nAccuracy del model amb TensorFlow =', test_accTF)

TensorFlow model Accuracy = 0.8658999800682068/<code>

在PyTorch中，再次需要程序員手動定義評估循環：

<code>xy_testPT = torchvision.datasets.MNIST(root='./data', train=False, download=True, 
            transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]))

xy_test_loaderPT = torch.utils.data.DataLoader(xy_testPT)

correct_count, all_count = 0, 0
for images,labels in xy_test_loaderPT:
  for i in range(len(labels)):
    img = images[i].view(1, 784)

    logps = modelPT(img)
    ps = torch.exp(logps)
    probab = list(ps.detach().numpy()[0])
    pred_label = probab.index(max(probab))
    true_label = labels.numpy()[i]
    if(true_label == pred_label):
      correct_count += 1
    all_count += 1

print("\nAccuracy del model amb PyTorch =", (correct_count/all_count))

TensorFlow model Accuracy = 0.8657/<code>

2. 更重要的是，它們在相互融合！

好了，如這個簡單的示例所示，在TensorFlow和PyTorch中創建神經網絡的方式並沒有真正的區別，只是在一些細節方面，程序員必須實現訓練和評估循環的方式，以及一些超參數，像epoch或batch_size是在不同的步驟中指定的。

實際上，在過去兩年中，這兩個框架一直在不斷融合，相互學習並採用它們的長處。 例如，在幾周前發佈的新版本TensorFlow 2.2中，訓練步驟可以像PyTorch一樣，現在程序員可以通過實現train_step()來指定循環主體的詳細內容。 因此，不必擔心選擇"錯誤的"框架，它們正在相互融合！ 最重要的是要學習背後的深度學習概念，您在其中一個框架中獲得的所有知識在另一個框架下照樣有用。

3. 工業應用還是學術研究？

但是，很明顯，神經網絡的工業應用與學術研究是截然不同的。 在這種情況下，決定選擇哪一個很重要。

TensorFlow是一個非常強大且成熟的Python庫，具有強大的可視化功能以及用於高性能模型開發的各種選項。 它具有準備用於生產的部署共軛能，並自動支持Web和移動平臺。

另一方面，PyTorch仍然是一個年輕的框架，但是擁有一個非常活躍的社區，尤其是在研究領域。 門戶網站The Gradient在附圖中顯示了主要的深度學習會議（CVPR，ICRL，ICML，NIPS，ACL，ICCV等）發表的研究論文中PyTorch的使用量，可以看到PyTorch在研究界的興起和廣泛採用。

從2018年的數據可以看出，Pythorch框架的使用還是少數，而相比之下，2019年的使用量對比TensorFlow是壓倒性的。

4. 新手請選擇Keras

如果你還是個萌新，對這一切都還很不瞭解，請從TensorFlow的Keras API開始。 PyTorch的API具有更大的靈活性和控制力，但顯然TensorFlow的Keras API可以更容易上手。 而且，如果您正在閱讀這篇文章，我假定您是深度學習領域的入門者。

順便說一句，Keras計劃在2020年推出幾種新特性，它們都是為了"讓事情變得更容易"。以下是最近添加的或即將發佈的一些新功能的列表：

· 預處理層API

到目前為止，我們已經使用NumPy和PIL（Python Imaging Library）編寫的輔助工具完成了預處理。 這種外部預處理使模型的可移植性降低，因為每次有人重用已經訓練好的模型時，他們都必須重新實現整個預處理流程。 因此，通過"預處理層"，預處理現在可以成為模型的一部分。 這包括諸如文本標準化，標記化，向量化，圖像標準化，數據增強等方面。也就是說，這將允許模型接受原始文本或原始圖像作為輸入。 我個人認為這將非常有趣。

· Keras Tuner

這是一個可讓您在Keras中找到模型的最佳超參數的框架。 當你開始進行一些深度學習工作時，你會發現超參數的調整將是整個工作中最為繁重的部分，這個框架旨在解決這一問題。

· AutoKeras

該項目旨在用幾行代碼建立一個很好的機器學習模型，根據可能的模型空間自動搜索最佳模型，並使用Keras Tuner查找進行超參數調整。 對於高級用戶，AutoKeras還允許對搜索空間和過程的配置進行更高級別的控制。

· Cloud Keras

我們的願景是讓程序員更容易地將本地代碼（我們的筆記本電腦或Google Colab本地工作）移動到雲端，使其能夠在雲端以最佳和分佈式的方式執行此代碼，而不必擔心集群或Docker參數。

· 與TensorFlow集成

與TFX（TensorFlow Extended，用於管理機器學習生產應用程序的平臺）進行更多集成的工作正在進行中，併為將模型導出到TF Lite（用於移動和嵌入式設備的機器學習執行引擎）提供更好的支持。 毫無疑問，改善對模型生產的支持對於Keras程序員的忠誠度至關重要。

5. 小結

打個比方，你認為哪種語言是入門編程的最佳語言，C++還是Java？好吧…這取決於我們想用它做什麼，最重要的是取決於我們能學到什麼樣的工具。我們可能無法達成一致，因為我們有一個先入為主的觀點，我們很難改變對這個問題的回答（同樣的情況也發生在PyTorch和TensorFlow的"粉絲"身上 )。但我們都同意的一點是，最重要的是知道如何編程。事實上，無論我們從一種語言的編程中學到什麼，當我們使用另一種語言時，它都會為我們服務，對吧？對於框架來也是如此，重要的是要了解深入學習，而不是框架的語法細節，然後我們將這些知識用於正在流行的框架或者我們想用的其他框架。

作者：Jordi TORRES.AI

deephub翻譯組：Alexander Zhao