如何處理CNA節點上虛擬機偶爾網絡不通問題
本案例主要介紹了主機上所有虛擬機偶爾網絡不通問題的定位方法
適用操作系統
Windows/Linux
適用版本
適用UVP所有版本
適用產品線
所有產品線
背景及現象描述
環境中任意虛擬機在某個主機上時，ping虛擬機IP會出現偶爾不通的情況，將虛擬機遷移到另外任何主機上都沒有問題。
原因分析
1.因為任意虛擬機僅在某個主機才有網絡異常問題，所以問題原因與該主機強相關，排除虛擬機存在mac地址衝突情況。
2.查看異常主機，組網方案是將四個物理網卡組成bond，bond模式是負載均衡，該模式下，交換機應配置trunk。但排查了交換機，配置正確。
3.虛擬機使用的均是ovs虛擬交換機，該情況下，網卡不應開啟SR-IOV功能。在局點環境中執行lspci –vvv，查看網口（通過總線號進行對應）的VFs數來判斷是否開啟了SR-IOV：
SR-IOV disabled：VFs為0
SR-IOV enabled：VFs非0
對比發現僅異常的主機上網卡開啟了SR-IOV功能，而正常主機上未開啟。於是登陸BMC，重啟CNA節點，按Ctrl+P進入網卡BIOS，對網口（可通過MAC或總線號進行對應）設置SR-IOV為Disable，如下圖。保存並退出後，虛擬機再運行到該主機上時，不再出現網絡偶爾不同的問題，由此確認是該原因導致。
解決辦法
登陸BMC，按Ctrl+P進入BIOS設置，對網口（可通過MAC或總線號進行對應）設置SR-IOV為Disable。
建議與總結
1.目前僅發現MZ510網卡上在配置SR-IOV並使用ovs虛擬交換機時有此問題。判斷網卡類型方法：在主機上執行lspci | grep Eth，如果包含be3但不包含“(Lancer)”字樣，則屬於MZ510網卡；包含“(Lancer)”則屬於MZ910；
2.在使用ovs虛擬交換機場景下，如果出現ping虛擬機IP不通問題時，可以通過查看ovs的mac-port表進行初步分析。
首先找到虛擬機對應的後端網卡(假設為vif8.0)，可以在主機上執行ovs-dpctl show，看vif8.0對應的port id和所在ovs名稱，如下圖，紅框中分別代表port id為7，所在ovs名稱為br-1。
在主機上執行ovs-appctl fdb/show br-1(此處為上面查到的ovs名稱)，查看該ovs上的mac-port表，看ping不通時，ovs學習到虛擬機mac地址對應的port是否和上面查詢到的一致，下圖表示學習到正確的mac-port信息。
當局點遇到bond模式與交換機配置不匹配或SR-IOV配置異常問題時，mac-port表中可能會出現學習到虛擬機mac地址對應port 1的情況。
閱讀更多 我叫王小壹 的文章
