寒蟾

嗯。。。這種問題，如果有應用過TensorFlow做大規模分佈式機器學習系統的話，那麼已經可以算作熟悉TensorFlow了。當然如果要檢驗是否熟悉Tensorflow，那麼可以用下面這些標準大概確認下自己的熟悉程度，當然同時也可以用來查缺補漏。

Tensorflow基礎知識點

計算圖

在Tensorflow中，經常提及到計算圖的概念，那什麼是計算圖呢？它實質上是一個全局數據結構：計算圖是一個有向圖，捕獲有關計算方法的指令。我們來看看簡單的計算圖形成，通過以下代碼，我們可以生成2+3的步驟，但是隻包含計算步驟，不包含結果，至少目前還沒實現。

會話

會話的概念就是將計算圖生成的步驟逐一執行，處理內存分配和優化，使我們能夠實際執行由圖形指定的計算。例如以下代碼：

佔位符和 feed_dict

佔位符是一種用於接受外部輸入的節點，而feed_dict 屬性是為了給佔位符提供實質的數值。

變量共享

你可能會碰到帶有變量共享的 Tensorflow 代碼，代碼有它們的作用域，並設置“reuse=True”。我強烈建議你不要在代碼中使用變量共享。如果你想在多個地方使用單個變量，只需要使用指向該變量節點的指針，並在需要時使用它。換句話說，對於打算保存在內存中的每個參數，應該只調用一次 tf.get_variable()。

優化器

在深度學習中，典型的“內循環”訓練如下：

• 獲取輸入和 true_output；

• 根據輸入和參數計算出一個“猜測”；

• 根據猜測和 true_output 之間的差異計算出一個“損失”；

• 根據損失的梯度更新參數。

優化器的作用在於對於找到的每個變量節點，它計算與損失相關的變量梯度。然後，它為該變量計算新值：當前值減去梯度乘以學習率。最後，它執行一個賦值操作來更新變量的值。

用 tf.Print 進行調試

一般來說，檢查計算圖中發生了什麼是很困難的。你不能使用常規的 Python 打印語句，因為你永遠無法訪問到要打印的值，這時候就需要用tf.Print。

常用模型的Tensorflow實現

對於這一塊內容，最好自己用編程語言實現過一遍，考驗深度學習基礎功底。

• 卷積網絡（Convolutional Network）
  

• 循環神經網絡（LSTM）（Recurrent Neural Network (LSTM)）
  

• 受限玻爾茲曼機（Restricted Boltzmann Machine）
  

• 深度信念網絡（Deep Belief Network）
  

• 作為RBM堆疊的深度自編碼器（Deep Autoencoder as stack of RBMs）
  

• 去噪自編碼器（Denoising Autoencoder）
  

• 堆疊的去噪自編碼器（Stacked Denoising Autoencoder）
  

• 作為去噪自編碼器堆疊的深度自編碼器（Deep Autoencoder as stack of Denoising Autoencoders）
  

• 多層感知器（MultiLayer Perceptron）
  

• Logistic 迴歸
  

TensorFlow的交叉熵函數

交叉熵（Cross Entropy）是Loss函數的一種（也稱為損失函數或代價函數），用於描述模型預測值與真實值的差距大小，常見的Loss函數就是均方平方差（Mean Squared Error）。

交叉熵具體定義如下：

TensorFlow針對分類問題，實現了四個交叉熵函數，分別是tf.nn.sigmoid_cross_entropy_with_logits

tf.nn.softmax_cross_entropy_with_logits

tf.nn.sparse_softmax_cross_entropy_with_logits