不久前，有位老朋友問了我一個技術問題。如下：
萬兆的NAS類存儲，以前我還真沒仔細研究過性能。不過以早年千兆時代的習慣，單1Gb/s網口客戶端訪問60-70MB/s也還算正常吧？
然後我到網上查了下，萬兆文件存儲跑到1GB/s應該挺輕鬆的，就想著自己搭個平臺驗證下，看看能否遇到朋友類似的問題。
模擬測試平臺：10GBASE-T直連 + NVMe SSD
我手頭倒是有一臺帶Intel10Gb/s萬兆SFP+網卡的2U主機，但其它設備都是RJ-45網口了。上面的交換機是24千兆+4個萬兆SFP+的配置，這次暫時先不用光纖連接了吧。
Dell Precision 3930 Rack機架工作站集成2個RJ-45網口，其中下面那個是萬兆。
就地取材，我選了2臺帶10GBASE-T網口的1U機架工作站，湊合用雙絞線直連測試。正好這2臺機器裝的都是Windows10專業版系統，也就先不整ServerOS了。與其說NAS存儲測試，不如看作簡化了環境，主要目的是驗證下Windows SMB文件共享在萬兆以太網下的性能。
關於測試機順便多介紹幾句：這款1U機架工作站支持550W 1+1冗餘電源；後端的2個Type-C是Intel集成顯卡輸出/USB 3通用接口（可轉接為HDMI/VGA等）；Dell 3930 Rack與1U服務器最大的區別是可以支持各種Quadro、GeForce顯卡，雙寬全長300W功耗。比如照片中上面那臺就安裝了一片2080Super，等到下篇我測試Premiere視頻編輯存儲時會派上用場。
Aquantia AQtion AQC107——這個網卡芯片品牌可能沒有Intel、Broadcom和Mellanox那樣為人熟知，我在新聞中看到去年Aquantia應該是被Marvell收購了。
上圖用箭頭指示出的，是3930 Rack 1U工作站主板上的2個M.2NVMe SSD安裝位。
在常規1U機箱中，如果用HDD機械硬盤組建RAID，受限於盤位數其性能難以達到萬兆網卡的帶寬水平。所以本次模擬測試使用NVMeSSD以規避來自存儲介質的瓶頸，並且是那種以最大帶寬長時間持續寫入也不會掉速的那種SSD。
在Dell商用客戶端產品中，Class 50是最高等級的NVMe SSD——類似企業級SSD那樣按照恆定寫入帶寬來設計（價格也會高一些）；而Class 40及以下的就像大多數民用SSD那樣，有TLC模擬SLC閃存的寫入緩衝區，一開始能夠達到比較高的突發寫帶寬。視頻編輯等方面的用戶需要留意下這點。
iPerf3網絡測試及優化嘗試
首先我用iperf3跑了下單線程測試，帶寬7.75 Gb/s。
5個線程測試，合併帶寬達到了9.46Gb/s，看著還湊合了？
隨後我發現，文件訪問客戶端和服務端的網卡驅動版本不同，一臺是較新的2.1.12，而另一臺是2.1.5。我把版本低的也升級到2.1.12再測試。
處理完網卡驅動之後，單線程的測試帶寬提升到8.14Gb/s。
然後我又在兩端打開了Jumbo Packet（巨型幀）——大家知道，默認的以太網MTU數據包大小是1500字節，部分存儲應用建議將其調大至9000（9014字節）。
打開JumboPacket之後，多線程iperf3測試帶寬提高到9.88 Gb/s，已經接近10Gb的理論值了。
不過，可能由於我是用網線直連，中間沒有交換機，MTU 9000測試單線程帶寬反而有點下降，在接下來的文件傳輸測試中速度也不是很穩定。所以後續測試我還是先改回默認的MTU 1500。
文件讀寫測試：輕鬆超過1GB/s
剛才介紹過，運行SMB文件共享的R3930 Rack服務端配置了高速NVMe SSD，而客戶端這臺恰好是SATASSD。為了省事起見，我在客戶端開了一個10GB的RAMDisk內存虛擬盤，這樣兩邊都不會給網絡拖後腿。
測試複製的數據內容主要是幾個700MB-2.xGB的視頻大文件。上圖是從Windows SMB文件共享中讀取數據，速度保持在1.0 GB/s以上，對應的客戶端網卡接收速率也是9.x Gbps。這應該證明了Windows SMB文件共享的單一複製任務就使用了多線程網絡傳輸，那麼其它應用比如視頻編輯存儲呢？
測試網絡文件寫入有時還會更快一點，比如上圖中就看到網卡發送9.9Gbps的情況。畢竟服務端的SMB共享目錄位於NTFS文件系統上，可能還會有一些緩存啥的吧。
朋友的問題分析：交換機沒開Jumbo Packet
雖然我測試的Aquantia網卡不開Jumbo Packet性能也還行，但朋友說他用的網卡是著名“洋垃圾”CX341 + OCP轉接卡（通過光纖與交換機連接）。經過確認，他嘗試打開巨型幀之後上行到服務器的性能可以達到1.2GB/s，但下行只有50MB/s。然後我又確認了他的交換機應該沒開Jumbo Packet，希望是這點導致的問題吧，雖然我不是網絡專家：）
本想接著給大家講網絡存儲視頻編輯測試，不過看看篇幅還是單獨再寫一篇吧。我以前對使用本地DAS磁盤、FC SAN存儲做非線性編輯的素材盤還熟悉一些；NAS的好處是共享訪問能力，比如大名鼎鼎的Isilon。
雖然我的測試還沒有那麼高大上，不過技術總是要對接應用。萬兆NAS在做多層HD/4K視頻編輯時能發揮出幾成功力呢？敬請關注下篇…
注：本文只代表作者個人觀點，與任何組織機構無關，如有錯誤和不足之處歡迎在留言中批評指正。進一步交流技術，可以加我的QQ/微信：490834312。如果您想在這個公眾號上分享自己的技術乾貨，也歡迎聯繫我：）
尊重知識，轉載時請保留全文。感謝您的閱讀和支持！
