前几天有朋友提到，某款标称5400RPM（每分钟转数）的HDD硬盘，实际上是7200 RPM。今天又看到国外网站上用声音（噪声）测试来判断的方法。
由于对硬盘的感情，我本来也想就此写点东西，并且我还想提出另外2种更简单的测试（判断硬盘转速）方法，其中一种是破坏性的：）
但因为时间和精力实在不够，上面这个话题只能先搁置了。今天写给大家的东西，实际上也已经拖了一段时间…
NVMe Switch Adapter：I2C bus负责LED点灯
基于48（50） lane PCIe Switch的设计，上下行带宽比是1:2。
在写《PCIe 4.0 SAS+NVMe RAID/HBA卡：最高读IOPS300万、写24万》的时候，我已经注意到Broadcom这款P411W-32P NVMe Switch Adapter。其实原理很简单，大家可以把它近似看作PCIe Switch卡。
从照片和图表中不难看出P411W-32P用的芯片是PEX88048（从PLX收购来的产品线），48 lane PCIe 4.0 Switch（严格说应该是50 lane）。主机插槽为x16，连接SSD或背板的是4个x8的SFF-8654接口。在不级联下一个PCIe Switch的情况下，最多可以拆分为32个PCIex1来连接SSD（此时牺牲了单盘带宽）。
大家知道LSI的传统强项是MegaRAID SAS和HBA，如今已发展到兼容NVMe的Tri-Mode三模接口，但传统RAID架构的始终无法让PCIe SSD性能充分发挥。Broadcom推出这款“纯NVMe HBA”可能多少有点无奈之举吧？其实同类产品已经很多了。
上面照片最早出现在5年前的《服务器设计进化：戴尔R930跨代对比之存储篇》一文中，曾经我还以为卡上的芯片只是一颗PCIeretimer，但实际上看散热片就是PCIe 3.0 Switch了。Switch交换芯片从信道拆分等兼容性上还是要比retimer更好。当时这块卡是用来线速支持前面板的4个热插拔U.2 NVMe SSD。
前面提到过原理，Broadcom P411W-32P如果直连标准U.2 NVMe x4 SSD通常是8块盘。根据背板上连接器的不同，可能需要使用1分2的线缆。上图中的红色连线示意I2C bus，毕竟存储这个用途需要考虑管理，特别是热插拔和LED点灯。
相比之下，服务器大厂（OEM）的玩法，当前可以说还有些不同。我再从《直联还是交换？Intel、AMD服务器NVMe SSD IO拓扑速查手册》中引用2张图：
Dell PowerEdge 14G服务器使用的PCIe Extender card上下行接口都是x16（这一代Intel平台还是PCIe 3.0）。因为有时是搭配直通背板，而有时则是下面这种带Switch Daughter card的扩展背板。
更多品牌的“NVMe HBA”
下面我再给大家介绍一位朋友做的NVMe Switch Adapter品牌，其性价比可能比Broadcom原厂卡要高一些。在给出的链接里，也有specsheet（测试报告）的下载。
https://www.amazon.com/DiLiVing-SFF-8639-SFF-8643-Connector-Servers-LRNV9324-4I/dp/B089SQ84CH?ref_=ast_sto_dp
这款卡的型号是LRNV9324-4I，PLX PEX8724主控自然比前面的便宜，主机插槽为主流的PCIe3.0 x8，4个SFF-8643接口用来连接SFF-8639（U.2）NVMe SSD。上下行接口带宽也是1:2。
在测试报告中，有SSD单盘性能，也有Windows下做了Striped Volume（带区卷，软RAID0）的测试——如上图，就是证明下确实能跑出PCIe 3.0 x8的水平。
除了直连SSD、背板之外，既然是PCIe Switch也可以用于扩展连接显卡等。比如在主板插槽有限的情况下，实现多显卡屏幕拼接方案，或者是挖矿啥的？
这个品牌也有高端型号LRNV9349-8I，这里的主控芯片就是48 lane PCIe Switch了。除了支持的PCIe速率，与前面介绍的P411W-32P还有一点差别，就是连接器仍然是传统的SFF-8643。一些白牌服务器/渠道经销商使用的机箱，背板接口应该还有许多尚未更新到高密的x8，两头SFF-8643的线缆也比较普及。
Multi-Host PCIe Switch模式
最后我再引用一段网站上的英文介绍：
LRNV9324-4I NVMe Series is PCI Express x8 Gen3 Multi-Host PCI-e switchCard. It offers Multi-Host PCI Express switching capability that enables usersto connect multiple hosts to their respective endpoints via scalable, high-bandwidth, non-blockinginterconnection to a wide variety of applications including servers, storage,communications, and graphics platforms. The LRNV9324-4I employs an enhancedversion of PLX’s field tested PEXPCIe switch architecture, which allows usersto configure the device in legacy single-host mode or multi-host mode with up to six host portscapable of 1+1 (one active & one backup) or N+1 (N active & one backup)host failover. This powerful architectural enhancement enables users to build PCIe based systems tosupport high-availability, failover, redundant, or clustered systems.High Performance & Low Packet Latency The LRNV9324-4I architecture supportspacket cut-thru with a latencyof less than 130ns between symmetric(x8 to x8). This combined with largepacket memory, flexible common buffer/FC credit pool and non-blocking internalswitch architecture, provides full line rate on all ports forperformance-hungry applications such as servers and switch fabrics. The lowlatency enables applications to achieve high throughput and performance and supportsa packet payload size of up to 2048 bytes, enabling the user to achieve even higher throughput.
多主机连接，属于PCIe Switch的高级用法吧。如果是传统双控存储那样的2节点间PCIe连接，Intel CPU现在也支持NTB（非透明桥接），不见得要通过PCIe Switch。但总有特殊一些的用途，比如连接2个以上的主机，在一个机箱内的节点互连/切换等。Multi-Host卡支持这个功能，而具体的软硬件系统设计又是另一个层面了。
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，可以加我的QQ/微信：490834312。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文。感谢您的阅读和支持！
