本篇文章，聊聊对家里的设备做局部万兆改造，希望能够帮助到有需求的同学。
写在前面
最近和大家分享了我的一些网络设备升级经历，比如之前写过的《2024 年终，个人设备盘点》中提到的“HomeLab 的存储、计算、网络升级换代” ，以及《千兆之上：家庭网络 2.5G 升级实践》。
体验了一个多月的外网 2000M 宽带和内网多数设备都是 2.5G 连接后，我决定再次对家里网络进行升级，让部分设备能够支持万兆连接。这次升级的想法主要基于两点：一是前期尝试让我尝到了高速网络的甜头，二是希望设备之间的数据交互和处理能力能进一步提升。不过这次升级我也有一些具体的考量：
首先是性价比。 我认为并不是所有设备都需要上万兆，大多数设备有 2.5G 就够用了，设备整体散热控制更好，家里运行基本静音。但对于存储、计算等特定设备来说，从千兆升级到万兆能带来 10 倍的效率提升，很多原本需要靠程序策略来解决的问题，现在可以直接用硬件来解决。
其次是实用性。 我并不打算追求 25G/40G/56G/100G 这样更高的速率，即使很多网卡设备都很便宜。随着带宽的提升，交换机设备的价格也在快速提升，所以大家普遍采用点对点连接。点对点连接虽然成本最低，但维护和扩展都很麻烦。而且超过 10G 的连接，无论是电口还是光口，都会带来不小的散热压力。
我的上一次网络升级，不算宽带费用，设备投入在 2000 元左右。这次我想控制预算在 600 元左右，用更经济的方式来实现这次升级改造。
那么，我就来分享下，如何用最经济实惠的方案来实现这次改造，并且尽可能保证静音、省电。
整个升级方案主要包含两个部分：一是负责网络接入的核心设备升级，二是已有设备的调整优化。我们先来看看网络接入设备这块的改造计划。
提供网络接入的核心设备升级
让我们先来看看改造前后的网络架构变化。
我的家庭网络一直采用分层设计，从光纤入户开始层层延伸。
原本的网络结构是这样的：
- 网络使用光纤入户连接光猫（宽带 2000 M），光猫使用设备上目前最高规格的 2.5G 电口 向下游设备进行输出。
- 光猫通过 2.5G 电口网口 连接到 QNAP QHora 301w 主路由（配备双万兆电口）的一个万兆电口。为了确保设备稳定性，我关闭了路由器的 Wi-Fi 功能，以减少发热量。
- 主路由的另一个万兆口与同品牌 QSW-2104-2T 交换机相连，占用交换机的一个万兆口。这样的连接方式让两台设备之间实现了万兆互通，确保所有下游 2.5G 设备可以充分利用上游带宽，实现无阻塞数据交换。
- 主交换机通过 2.5G 接口向下游分发网络，连接了多个设备：
- 一台购置多年的 16 口全千兆交换机
- 延伸到办公桌的 2.5G 交换机和一众下游设备
- 延伸至电视桌交换机和小米 Wi-Fi 7 路由器（AP 设备）
- 其他的若干 2.5G 网口的设备们
改造后的变化：
这次网络升级主要是在主交换机下游增加了两台新的 “2.5G 交换机”。
除了原有的桌面交换机、电视和 Wi-Fi 路由器外，其他设备都改为通过这两台新交换机进行数据交互。
看到这里，你或许会疑惑，这 2.5G 交换机和家用网络局部万兆有什么关系呢？
这里不得不提一颗芯片：Realtek 的 RTL8372N。虽然官方对这款芯片的介绍相当简洁，但通过查阅相关拆解文章和技术方案，我们可以了解到它的几个关键特点：低功耗设计、成本效益好、支持 4 个 2.5G 端口和 2 个 10G SFP+ 端口、具备基础的网络管理功能。
我购买的设备是 TP Link 副牌（“青春版”）的 SE 106 Pro 这款设备。通过群友推荐的平台下单，发现确实很划算。因为这段时间经常不在家，所以不追求次日达，稍微等待几天，直接节省了接近 50% 的支出。
从官方产品主页上，我们可以查看到这款设备的详细技术参数，包转发率和支持协议、工作模式。官方特别标注了所有端口都支持“线速转发”功能（具体性能测试会在下一篇文章中详细分享，因为还有一台设备正在改造中）。
这款设备配备了两个 10G 光口，只要插入两台设备就能实现万兆互联，同时其他局域网设备还可以用 2.5G 速率与它们进行数据交互。这就很好地优化了前文提到的使用光纤点对点连接设备，不便维护和扩展的问题。
如果想要接入更多万兆设备，除了等待未来更实惠的多光口交换机问世，其实还有个有趣的解决方案。这个我打算在下篇文章中详细展开。这篇，我们先专注在已经完成改造的部分。
设备使用万兆网络接入方案选择
在完成核心网络设备的升级后，下一步就是提升现有终端设备的网络性能。要实现万兆或更高速率的网络连接，主要有以下四种解决方案：
- 网口聚合：设备配备多个 2.5G 网络接口（比如 4 个），且上下游都支持网络聚合技术。通过将这些接口合并，可以实现相当于 10G 的网络接入带宽。
- 原生万兆：设备本身就具备万兆网络接口，可以是 RJ45 电口或光纤接口，可以直接接入万兆网络。
- 雷电组网：如果设备在软硬件层面都支持雷电技术，可以使用雷电被动或主动线缆来组建网络。（USB4接口也是类似的）
- PCIe扩展：设备带有PCIe扩展槽，可以通过安装万兆网卡或雷电扩展卡来实现高速网络接入。
让我们分别来聊聊这几种方案的优势和不足。
首先是网口聚合这条路。想象一下，你手上有 4 个 2.5G 的网口，通过一些“魔法”（有几种不同方案）把它们捆在一起，就能达到接近万兆的速度，听起来确实很棒对吧？这方案的钱包压力确实小很多，但也有些小坑。比如实际速度可能不太稳定，配置起来也挺麻烦的，而且占用这么多交换机的网口在现阶段是非常不经济的，布线的时候也会非常头疼。好在，目前的设备考虑到功耗和散热，基本不会直接搭载 4 个 2.5G 网口，客观层面解决了我们的“困扰”。
说到直接了当的方案，原生万兆网口确实很诱人。插上去就能跑万兆，简单直接。不过这个“入场券”可不便宜，尤其是选择光纤接口的话，通常情况下还得额外配光模块。而且市面上支持的设备不算多，选择余地比较小，除非你计划直接上服务器设备。虽然家用万兆最优解其实是电口，线材省心耐造，但是散热可能会让你头疼，网卡在过热的时候，经常出现断流问题。服务器正常工作的环境可都是无尘的空调房。
关于雷电接口组网，我在之前的文章中（《廉价的全闪存雷电 NAS 折腾笔记：NUC9 操作系统踩坑》、《MacBook 与其他设备的低成本高性能数据传输方案（一）》）有提到过。这个方案简单省事，带宽还高于一般情况下的万兆组网。但坦白说，入门门槛也不低，设备需要是较新的设备，线材也相对较贵，尤其是你想入手 2m 或以上的线材时。能够接入的设备数量也比较有限，因为它的大带宽是和主板上其他设备争过来的，总的资源就那么多。在特定环境下，它依旧是非常好的解决方案，但是想将这些设备加入设备数量较多的网络中，是有难度的，尤其是在不伤害钱包的前提下。
最后就是一个老派但实用的招数：使用 PCIe 扩展卡。先来说它的缺点，通常只能使用在台式机或工作站中，毕竟不是所有设备都有扩展槽，笔记本设备想使用，需要使用外置扩展坞，当然设备本身也需要能够支持扩展。PCIe 设备和主板、系统很多时候，也存在一些协作问题，比如某张网卡在某品牌主板上就是识别不出来，但是在其他设备上完全没问题。
但这个方案也有好处，在当前阶段，服务器淘汰的大量光口网卡非常便宜，几十块到百十来块钱，我们就能够让老设备支持万兆网络接入，即便网卡有问题，替换成本也非常低。很多时候，网上会推荐我们搭配光模块和光纤来实现长距离的万兆或以上的网络组网，但是光纤的制作和维护保养，其实是有一些挑战的，尤其是你家里有充满好奇心的小朋有或者猫猫狗狗。
我的使用场景是机柜内，在机柜环境下组网时，SFP+ DAC (Direct Attach Copper) 堆叠线是一个极具性价比的选择。个人认为，它有以下两个优势：
- 成本优势：二手市场上有大量机房淘汰的优质线材，价格在 10-20 元左右；即便选择全新的 10G 万兆线，价格也能控制在几十元范围内。
- 使用便捷：线材两端已集成SFP+连接器，无需额外购买光模块；即插即用，功耗极低；类似传统网线，耐用且易于维护管理。
不过它也有一些限制，通常情况下传输距离有限，10m 之内场景更适合它。和网卡和主板的“恩怨”一样，有一些品牌和网卡也存在兼容性问题。以及，有一些设备和线材不支持热拔插，设备可能需要重启。
升级已有设备的网络接入方式
这次我选择测试升级的设备，是这两台小型服务器。
分别提供局域网内的存储扩展和一些计算能力扩展。在之前的文章《省心和颜值兼顾的 HomeLab 设备：HPE MicroServer Gen10 Plus v2（一）》《低成本和颜值兼顾的 HomeLab 设备：HPE MicroServer Gen10（二）》中有提到。
我选择的网卡分别是 Mellanox CX311A 单口万兆光纤网卡（之前测试购入了两块，单块成本 110 元），以及 HP 560 SPF+ Intel x520 双口万兆光纤网卡（成本 118 元）。
实际测试过程中，CX311A 相比 x520 的发热低的多，虽然只是一个接口数量的差异。如果设备散热空间有限，个人建议不要贪多。并且，使用万兆进行数据交互，对设备的 CPU 的消耗也是不可忽视的。如果你的设备 CPU 不是很强，或需要保留资源给服务使用，即使你看到了很便宜的双口和四口网卡，没有特别的设计需求，不建议选择。
线材的选择是上文提到的“万兆懒人线材”，DAC。考虑到兼容性问题，我分别购入了 ZBNET 和 Mellanox 的万兆直连线，前者是全新（65元），后者目测应该是二手回收（20元/条），实际测试没有什么差别。
设备添加网卡的步骤非常简单，拆开机器，把 PCIe 光纤网卡插上去。Gen 10 Plus 的空间非常紧凑，所以后续需要额外增加散热，保障系统和网卡的稳定性，以及最重要的运行安静的问题。
我们把拆开安装好的设备装回去，插好 DAC 网线，再接入电源，开机就可以开始测试啦。
硬件相关聊的差不多了，我们来聊聊软件相关的部分吧，先从 Gen10 这台老设备开始。
Gen 10 启用万兆网络
Gen 10 这台设备的相对详细的介绍，在之前的文章中有提及，就不再赘述了。
简单来说，有两个 PCIe 接口，分别是 x1 和 x8。但是最佳策略或许是使用 PCIe x8 接口接入 x4 的单口万兆网卡，因为它本身的算力有限，更大算力需求的计算设备的性能可能发挥不出来。另外一个 x1 的插口，后续接入一个 2.5G 单口网卡或者一块 M2 硬盘，这台机器的 PCIe 插槽或许就开发完毕啦。
我在 Gen10 上安装了一套群晖，来进行测试，默认情况下系统能够直接识别我们插上的网卡。（另外两张原生千兆可以在界面中进行聚合，成为 2000 M 虚拟接口）
当时测试的时候，我使用的是通过桌面 2.5G 交换机访问放到到机柜网络的笔记本电。能够看到瞬间 200MB/s+ 的时候，设备 CPU 也被拉到了 96%。因为一些原因，第二台设备没有就绪，所以我没有测试它的极限速度，希望在第二篇文章中，这个设备能够有不错的性价比表现。
在完成网卡安装之后，Gen10 的运行噪音和之前差别不大，将设备放置机柜，距离机柜 1m 左右的距离，能够听到类似净化器风扇转动的声音。这部分对于运行声音的改造，我也将在下一篇文章中尝试解决。
Gen 10 Plus 启用万兆网络
这代设备相比 Gen10 的扩展性要稍微差一些，因为只具备 1 个 PCIe 插槽，并且设备空间非常小，上文中提到，插上双口光纤网卡后，基本满满当当的。
安装和更新和 Gen10 差别不大，我在这台设备上安装了 ESXi 8.0 版本，如果你使用的网卡型号和我一样，默认是可以直接识别的，没有太多需要说明的。
或许需要注意的是，服务器在机柜和桌面来回搬运的过程中，可能会让内存插槽没插好，导致设备启动报上图中的错误（官方文档引导需要重新安装 CPU）。解决方案很简单，将内存都拔掉，重新插上即可。
不过这台设备本身运行的时候，就会有一些风扇声音，启动的时候比较大声，运行的时候相对安静，但是还有一些声音。作为计划不再按需启动使用，而是和其他设备一样长时间开机使用的设备，我计划对它进行一些改造，在改造结束后，再进行测试，这样对我而言更有意义。
改造的目标主要是能够通过一些程序和简单的硬件，来完成 HP 系列服务器的风扇控制，使用在家里使用噪音更低的、相对价格更低的消费级风扇和辅助风扇，替换设备当前的原装风扇，在保障散热、设备能够稳定运行的前提下，让这台设备能够提供长时间稳定的服务和万兆网络交互能力。
这也是前文中提到的一种有趣玩法的前提。
其他
在折腾本文的过程中，我将早些时候文章《低成本搭建一台家庭存储服务器：全闪存篇》《低成本搭建一台家庭存储服务器：前篇》《低成本搭建一台 Unraid 家庭存储服务器：中篇》提到的 EliteDesk 800G6 SFF 损坏了，在损坏之前，这台设备上也测试了光纤网卡的使用。
虚拟机中的网卡状态识别也是正常的，原本计划将这台设备作为新的内网日志服务器，遗憾的是这台服务器没有扛过折腾，在使用了马上两年之际挂掉了，只好作罢。
设备下架后，除了 CPU 之外，多余出来一些配件，可以替换给其他的设备。等折腾完 Gen10 Plus 的万兆组网，和文章中提到的性能测试后，再写一篇吧相关的内容吧。
最后
这篇文章就先写到这里，期待在下一篇文章里，我们能够来一起验收成果。
–EOF