本篇文章,分享一台端午假期折腾的设备,HP Gen10 Plus v2,分享下我的折腾思路,希望能够帮助到有类似需求的你。
写在前面
这个假期我入手了几台新的设备,Gen10 Plus v2 是其中一台。
之所以入手它,在和我正在折腾的一些 AI 相关的小项目相关,我想要扩展存储设备来做接下来模型解析后的数据与原始数据的存储和备份。
勾勒设备画像
因为这台设备运行在家里,所以我对它有一些额外的需求:
- 噪音控制要好,虽然设备放置在机柜中,能够降低一些分贝数,但是主要还是需要设备本身能够相对保持安静。
- 虚拟化支持良好,随着项目的变化,运行在设备上的主机环境和容器要能够轻易的完成迁移或备份。
- 多磁盘位支持,设备最好可以内部支持四盘位的存储,方便在这个存储设备涨价的季节,以相对低的成本购入数据存放的介质。
- 价格不能太贵,主要的模型计算等需求都被分离在家里的 4090 和其他的设备中,所以这台设备的成本不应该太贵。
- 设备颜值要高,毕竟放在家里,设备要有一个不错的颜值。
那么,让我们来分析下,上面的需求如何被满足。
根据之前的经验,想要噪音少,我们需要相对先进的 CPU 制程,或者能够灵活使用睿频和降频,减少发热,降低风扇转速,或者有比较好的风道和比较大的机箱空间。当然,之前文章中《低成本搭建一台家庭存储服务器:全闪存篇》提到的,长期运行的设备,全闪存自然而然能够降低设备制造的声音。
想要虚拟化支持的好,除了 CPU 本身支持虚拟化之外,设备的 IO 能力最好也跟上,既要能支持 ECC(长期运行稳定的保障),又要能够支持多盘位,方便虚拟机扩展存储。如果虚拟机软件对这个品牌或机型有特殊优化或定制,也会是巨大的加分。
想要支持多盘位,目前有几条路线,第一种是设备本身就支持多盘位,可以是 SATA 多盘,也可以是 M2 SSD 多盘,这种最方便。第二种是设备支持通过 PCIe 来扩展多盘,需要转接卡,不是特别方便,但是也还能将就。第三种是通过 eSata 或者 NAS 网络存储来挂载外部的阵列柜或网络存储,虽然灵活性更好,但是更适合存储做存储的设备进行扩展。参考之前文章《NAS 扩容简明指南:使用各种外设给 NAS 们扩容》一文中提到的 DAS 方案。
价格不能太贵的诀窍是不要买刚刚发布的产品,不要买非量产的小众产品,不要买配件价格特别贵的产品,以及看情况购买设备,不一定要入手顶配。
颜值这个事情嘛,萝卜青菜各有所爱,比较玄学,本篇文章里,以我为准。(哈哈)
筛选目标设备
当我完成上面的基础设备画像后,第一个符合条件的设备是《低成本搭建一台家庭存储服务器:前篇》、《低成本搭建一台 Unraid 家庭存储服务器:中篇》、《低成本搭建一台家庭存储服务器:全闪存篇》文章中提到的 “HP EliteDesk 800G6”。
可惜的是,去年这篇文章发布后,许多其他的玩家也发现了这个设备的高扩展性:默认可以识别两块 M2 SSD、三块 SATA 磁盘,拥有四个 PCIe 插槽可以继续扩展磁盘。目前,性价比较好的版本和设备在网上不太好找了。设备价格目前都比较虚高,就性能、扩展性、颜值、出厂时间来看,暂时不推荐入手。
当我继续通过上面的标准搜索设备时,我看到了 HPE ProLiant MicroServer Gen10 Plus v2(官方设备规格),除了默认 CPU 使用志强 E 系列处理器或奔腾 Gold 处理器散热之外,多盘位、虚拟化支持、设备价格、颜值,都是符合的。
正巧,在网上看到了这台设备能够支持最近配件商们脱手的 Intel CC150(传闻之前用在 Nvidia GeForce Now 游戏流媒体服务中心),想着如果这台机器搭配这个 CPU 或许能够在保持虚拟化支持良好的前提下,控制漂亮的功耗和发热,让风扇速度和噪音都有所控制。
为了验证这个事情,我花了 5145 块,购置了一台安装了 CC 150(~330块),两根 32G ECC 内存(~1200块),原装 iLO 卡(~210块)的准系统(~3400块)。
就这个成本来说,准系统并不便宜,但是如果横向对比各种 4 盘位的 NAS,不论是品牌信誉、参考资料丰富度、产品质量,以及虚拟化使用而言,还是物有所值的。
准系统到手后,设备并不能使用,还需要添置一些其他的配件。
完善设备配件
因为上面的准系统已经包含了几乎所有必备的配件,所以这里,只需要额外购入存储和线缆相关的内容,设备就可以使用啦。
购置硬盘和转接架
为了确保存储靠谱,我又再次从两个不同的渠道入手了两块容量不同的致态 SC001 XT SATA SSD 硬盘,分别是 1TB 版本和 2TB 版本,后续随着应用使用数据量的增加再做增加和替换即可。
上文提到过,使用固态硬盘,可以降低设备运行过程中的噪音,并且可以降低设备运行温度。除了购置 SATA 类型的 SSD 之外,虽然还可以购置 NGFF(SATA协议)古老固态盘,搭配转接卡来使用,但是考虑到数据无价,恢复数据费时又费力,还是使用市场上还在销售并且存在售后保障的产品吧。
当然,因为市场上目前售卖的 SATA SSD 基本只有 2.5 寸盘,所以我们还需要购置一些硬盘转换架(~30块),我选择的版本是富士康出品的 HP 硬盘转换架,金属材质,有利于进一步的磁盘散热,工差很小,可以顺利完成磁盘的安装。
在完成硬盘安装后,我们可以来进行模拟测试,来验证硬盘温度能够在工作中保持比较低的温度。我的日常使用过程中硬盘环境大概是这样:CPU 和内存在持续使用,硬盘定时收到来自内存的落地数据。所以,硬盘的升温,除了硬盘读写之外(可忽略),更多会和机器中 CPU、内存、机箱温度因素相关。
我使用这篇文章《开源的全能维护 U 盘工具:Ventoy》中 U 盘引导 PE 系统,对设备进行了一个小时的压力测试(测试 CPU & 内存 & 缓存)。在测试开始前,硬盘温度为 23 度。
当测试完毕后,硬盘温度提升到了 27 度,说明上面充满风道、并使用了金属转接架的固态硬盘,或许是个不错的策略。
购置网线
在不使用 PCIe 扩展网络接口的前提下,如果你也使用了官方的 iLO 卡,那么你的 HP Gen10 Plus v2 默认情况下将有五个接口,一个 iLO 管理接口,和四个网络接口。
因为设备默认接口只有千兆速率,所以我们购置六类或超六类网线就足够了。这些网口支持通过软件进行带宽聚合,如果你需要吞吐比较强的设备,在不够卖扩展网卡的情况下,也是能够一战的。
购置引导 U 盘
我希望系统中的磁盘可以相对轻松的更换,在未来某个时刻相对轻松的扩容或迁移。所以虚拟化系统的引导和安装,我选择安装在设备机箱内的 USB 接口的扩展介质中。
相比较 Gen10 或 EliteDesk SFF 机箱里有充足空间,Gen10 Plus 机箱里的设备比较紧凑,所以这次无法选择使用 USB 线扩展连接的设备,而是传统的 U 盘。
科技发展日新月异,和之前的“迷你豆”相似的身材下,容量已经翻倍到了 512GB。但是,ESXi 并不支持安装在这么大容量的设备中,在创建引导分区的时候,会报无法创建文件系统的错误。
所以,我不得不又更换了一个古早的设备。
翻箱倒柜找到了一块 32GB 的老 U 盘,顺利的完成了 ESXi 的安装。关于安装的细节,下文中我们再聊。
购置 VGA 线或 VGA 转接 HDMI 转接口(可选)
对于这类“服务器”标签的设备,通常建议使用 VGA 接口来完成设备的首次部署安装,当然,这台支持 iLO 的 Gen10 Plus 支持完全不接显示设备,完成系统安装,你只需要在浏览器中访问 iLO 管理界面即可。
不过,如果你追求相对更清晰的画面,不妨购置一个 VGA 转接 HDMI 的设备,一般情况选择最便宜的版本即可。
设备测试
本篇文章中的机器测试比较简单,分别为 BIOS 中自带的内存测试(最初没有买 VGA 转接线,没有存到截图),以及进入 PE 系统后的系统压力测试。
在进行了差不多一个小时的测试后,机器的温度、负载情况如下:
我们能够看到,CPU 一般在 38 度左右,最高能够跑到 91 度(实际满负载 80 度出头更常见)。而 CPU 实际情况是空载 3 瓦,满载则会是 66 瓦。对应的设备整机功耗为 20 瓦到 100 瓦,通常,设备运行功耗会保持在 22 瓦 ~ 24 瓦。
当然,如果使用最保守策略,按需开关机,待机状况(iLO 在线)则会消耗 7 瓦左右的功耗,如果排除掉设备电源适配器空载也会损耗的 0.5 瓦上下的功耗,iLO 大概是一个 6 瓦功耗的独立芯片,差不多前几年的 N3700,这两年的 N100 的功耗水平。
实际测试过程中,设备表现还是蛮好的,在测试前,由于使用了非公开出售的 CC150 CPU,我还一度捏了一把汗,看来不大需要。
当然,如果你也心动这块现在可能性价比还行的 CPU,或许你也会好奇整机的状况。那么,上面的图片应该能够满足你的好奇心。
ESXi 8 虚拟化系统安装
如果你还不了解 ESXi,可以翻阅过往的 ESXi 相关的文章。
在 HPE Gen10 系列主机上安装最新的 ESXi 系统非常简单,因为默认情况下整机的硬件都是完美支持的:VMware 提供了定制的 ESXi 镜像。
不过,因为博通收购 VMware 不久,许多支持页面和系统还在缓慢的建设中,所以这里我就简单记录下,我是如何做的,目前有哪些坑需要规避。在后面合适的时间点下,我会更新一篇新的 ESXi 系统封装教程,让它同样可以开箱即用。
参考《快速构建和安装干净的 ESXi 8 镜像指南》文中的方法,和最新的 HPE 定制镜像,我们可以快速的得到 Gen10 使用的 ESXi 镜像。
如果我们使用官方提供的安装镜像(iso),可能会遇到镜像的完整性有问题。当前不确定是 CDN 问题还是因为收购导致发布的镜像动作没有经过严格的测试。即使 Hash 一致,在封装、刻录安装引导的过程中,也还是会遇到 “CRC 错误”,导致无法安装。我尝试了直接下载、网盘下载都失败了。
如果我们是从离线 Bundle(zip)中构建,需要完整的更新 VMware PowerCLI,否则将不能完成镜像的构建。并且,要构建安装镜像的 Bundle 文件名后缀一定需要是保持为 zip
而非其他的后缀,否则解析驱动和配置会出现问题。至于定制镜像的 Profile 名称过长,无法通过 CLI 获取,影响我们创建新的安装镜像的 Profile 的问题,我们可以手动从 Bundle 中的 XML 文件中获取,晚些时间,我考虑写一个小工具来辅助做这些事情,还是更新在这个开源仓库中 soulteary/easy-ESXi-builder。
其他
需要注意的是,HPE Gen10 Plus 的螺丝和 HP EliteDesk 不太一样,是六角螺丝,需要使用对应的螺丝刀来拆卸。
这台设备因为是“企业级”设备,所以包含了严格的自检过程,并且,我们将 ESXi 安装在了一个比较慢的介质中进行系统引导,所以设备的一般“施法时间”会显得比较漫长:
设备自检和启动大概需要花费 1 分钟,ESXi 系统的启动大概需要 3 分 22 秒,如果我们想重启这台设备,大概需要 24 秒。考虑到是一台 7x24 运行的设备,这种一次性的成本,或许也还好。
最后
需要展开聊的内容还有很多,这篇文章,我们先聊到这里吧。
–EOF