作者：TIRTHAJYOTI SARKAR
翻譯：閆曉雨
校對：Uynix
本文約1790字，建議閱讀4分鐘。
數據科學家介紹了向量化技巧，簡單的數學變化可以通過可迭代對象執行。
簡介
向量化技巧對於數據科學家來說是相當熟知的，並且常用於編程中，以加速整體數據轉換，其中簡單的數學變化通過可迭代對象（例如列表）執行。未受到重視的是，把有一定規模的代碼模塊，如條件循環，進行矢量化，也能帶來一些好處。
正文
Python正在迅速成為數據科學家的編程實戰語言。但與R或Julia不同的是，它是通用型編程語言，沒有功能語法來立即開始分析和轉換數值數據。所以，它需要專門的庫。
Numpy是Numerical Python的縮寫，是Python生態系統中高性能科學計算和數據分析所需的基礎軟件包。它是幾乎所有高級工具（如Pandas和scikit-learn）的基礎。
TensorFlow使用NumPy數組作為基礎構建模塊，在這些模塊的基礎上，他們為深度學習任務（在長列表/向量/數字矩陣上大量使用線性代數運算）構建了張量對象（Tensor objects）和圖形流（graphflow）許多Numpy操作都是用C語言實現的，避免了Python中循環的基本代價，即指針間接尋址和每個元素的動態類型檢查。速度的提升取決於您正在執行的操作。對於數據科學和現代機器學習的任務來說，這是一個非常寶貴的優勢。
我最近一篇文章講了使用Numpy向量化簡單數據轉換任務的優勢，它引起了一些聯想，並受到讀者的歡迎。關於代碼簡化等矢量化的效用，也有一些有趣的討論。
現在，基於某些預定義條件的數學轉換在數據科學任務中相當普遍。事實證明，通過首先轉換為函數然後使用numpy.vectorize方法，可以輕鬆地對條件循環的簡單模塊進行矢量化。在我之前的文章中，我展示了Numpy矢量化簡單數學變換後一個數量級的速度提升。對於目前的情況來說，由於內部條件循環仍然效率低下，速度提升並不那麼顯著。但是，與其他純粹Python代碼相比，執行時間至少要提高20-50％。
以下是演示它的簡單代碼：
import numpy as np
from math import sin as sn
import matplotlib.pyplot as plt
import time
# 測試數量
N_point = 1000
# 定義一個有if else循環的函數
def myfunc(x,y):
if (x>0.5*y and y<0.3): return (sn(x-y))
elif (x<0.5*y): return 0
elif (x>0.2*y): return (2*sn(x+2*y))
else: return (sn(y+x))
# 從正態分佈產生存儲元素的列表
lst_x = np.random.randn(N_point)
lst_y = np.random.randn(N_point)
lst_result = []
# 可選擇畫出數據分佈
plt.hist(lst_x,bins=20)
plt.show()
plt.hist(lst_y,bins=20)
plt.show()
# 首先，純粹的Python代碼
t1=time.time()
First, plain vanilla for-loop
t1=time.time()
for i in range(len(lst_x)):
x = lst_x[i]
y= lst_y[i]
if (x>0.5*y and y<0.3):
lst_result.append(sn(x-y))
elif (x<0.5*y):
lst_result.append(0)
elif (x>0.2*y):
lst_result.append(2*sn(x+2*y))
else:
lst_result.append(sn(y+x))
t2=time.time()
print("\nTime taken by the plain vanilla for-loop\n----------------------------------------------\n{} us".format(1000000*(t2-t1)))
# List comprehension
print("\nTime taken by list comprehension and zip\n"+'-'*40)
%timeit lst_result = [myfunc(x,y) for x,y in zip(lst_x,lst_y)]
# Map() 函數
print("\nTime taken by map function\n"+'-'*40)
%timeit list(map(myfunc,lst_x,lst_y))
# Numpy.vectorize 方法
print("\nTime taken by numpy.vectorize method\n"+'-'*40)
vectfunc = np.vectorize(myfunc,otypes=[np.float],cache=False)
%timeit list(vectfunc(lst_x,lst_y))
# 結果
Time taken by the plain vanilla for-loop
----------------------------------------------
2000.0934600830078 us
Time taken by list comprehension and zip
----------------------------------------
1000 loops, best of 3: 810 µs per loop
Time taken by map function
----------------------------------------
1000 loops, best of 3: 726 µs per loop
Time taken by numpy.vectorize method
----------------------------------------
1000 loops, best of 3: 516 µs per
請注意，我已經在任何可以把表達式用一行語句來實現的地方使用了％timeit Jupyter魔術命令。這樣我就可以有效運行超過1000個相同表達式的循環，來計算平均執行時間以避免任何隨機效應。因此，如果您在Jupyter Notebook中運行整個腳本，則可能會出現與第一種情況（即普通循環執行）略有不同的結果，但接下來的三種應該會給出非常一致的趨勢（基於您的計算機硬件）。
我們看到的證據表明，對於基於一系列條件檢查的數據轉換任務，與一般Python方法相比，使用Numpy的向量化方法通常會使速度提高20-50％。
這貌似不是一個顯著改進，但節省的每一點時間都可以加入數據科學工作流程中，從長遠來看是值得的！如果數據科學工作要求這種轉換髮生一百萬次，那麼可能會導致短則八小時，長則兩天的差異。
簡而言之，任何時候你有長的數據列表並需要對它們進行數學轉換，都應強烈考慮將這些Python數據結構（列表或元組或字典）轉換為numpy.ndarray對象並使用自帶的向量化功能。
Numpy提供了一個用於更快代碼執行的C應用程序接口（C-API），但是它失去了Python編程的簡單性。這個Scipy講義能告訴你在這方面的所有相關選項。
法國神經科學研究人員撰寫了關於該主題的完整開源在線書籍。看看這裡。
作者的話
如果您有任何問題或想法可以分享，請聯繫作者tirthajyoti [AT] gmail.com。您也可以在作者的GitHub倉庫以獲取Python，R或MATLAB的代碼片段以及機器學習相關資源。如果你像我一樣熱衷於機器學習/數據科學/半導體，請隨時在LinkedIn上添加我。
Tirthajyoti Sarkar ，半導體從業人員，數據科學與機器學習愛好者。使用Python\R\Matlab進行數據科學和機器學習的實踐者。半導體專業人員。伊利諾伊大學電子工程博士。在三藩灣區生活與工作。
原文標題：
Data science with Python: Turn your conditional loops to Numpy vectors
原文鏈接：
https://www.codementor.io/tirthajyotisarkar/data-science-with-python-turn-your-conditional-loops-to-numpy-vectors-he1yo9265
譯者簡介
閆曉雨，本科畢業於北京林業大學，即將就讀於南加州大學應用生物統計與流行病碩士項目。繼續在生統道路上摸爬滾打，熱愛數據，期待未來。
運營人員：冉小山
閱讀更多 THU數據派 的文章
