halogen-flash-server 2.5GbE固件批量烧写性能调优实战

1. 项目概述：halogen-flash-server 到底在解决什么问题

最近把 halogen-flash-server 从之前那台老旧的 i7 机器迁到了 Beelink 的 Strix Halo 迷你主机上，顺手做了一轮完整压测。结论先说：单客户端烧写稳定在 297.8MB/s，几乎顶到官方宣称的 300MB/s；开启校验之后也有 259.6MB/s，达成率 99.8%。这篇文章把部署过程、调优思路、实测数据和踩过的坑一次性写清楚。

halogen-flash-server 是一个开源的固件批量烧写服务。它把镜像文件、设备 Profile、烧写任务、进度日志全部集中到一个 Web 服务里。目标设备只需要在启动阶段进入一个轻量 agent，通过网络从服务器拉取镜像，再写到本地存储设备。这样做的好处是，你不再需要一块块插 SD 卡、连线进 recovery 模式，也不需要在 CI 构建完镜像之后手动跑到机柜前处理一堆盒子。

这套东西最典型的场景，是维护一批嵌入式边缘盒子、开发板集群、或者无人零售终端这类需要频繁换固件的设备。我在实际项目里管理着一批 x86 架构的边缘网关，数量不算夸张，大概几十台，但固件发布频率高，基本每周至少一次版本迭代。以前用 U 盘和串口线折腾，三四十台机器没有半天收不了工。换成 halogen-flash-server 之后，构建机把镜像推过来，我打开 Web 界面勾选设备，任务并行跑，整个过程可以同时处理上一批设备的问题，效率完全不是一个量级。

1.1 一次真实的需求场景

如果你没接触过这类工具，可以先这样理解：halogen-flash-server 相当于一个“固件前置仓”。传统做法是每台设备配一个烧录员，排队领镜像、领 U 盘、插上烧、插卡、验证，效率完全取决于人工。halogen-flash-server 则把所有镜像放在服务器上，设备通过网络启动后自己来“取货”。服务器只在后台做鉴权、流量控制、校验和审计，真正写盘的动作发生在目标设备本地。

我在评估它的时候主要关注三点：

• 并发能力：设备同时请求时会不会互相拖垮，服务器会不会变成新的瓶颈。
• 校验能力：烧完必须做完整性校验，否则版本发错或者镜像损坏，到现场测试才发现就晚了。
• 网络吞吐：官方文档提到的“单流 300MB/s”到底是不是纸上谈兵。

最终选在 Beelink Strix Halo 上跑，最核心的原因不是这台机器性能有多夸张，而是它的 CPU 强、内存带宽高、硬盘读写线性能力足够，能把可能的服务器端瓶颈全部去掉，让我专心看网络和协议层面的上限。

1.2 官方“宣称速度”到底指什么

很多人在看这类项目时会犯一个错，就是把官方文档里的“宣称速度”理解成“每个客户端都能跑到的速度”。halogen-flash-server 官方文档里的口径是：在服务端镜像已热缓存、目标设备网口为 2.5GbE、目标本地写入设备不低于 400MB/s 的理想条件下，单条烧写流能稳定跑出 300MB/s；如果开启校验功能，则预估为 260MB/s 左右。

这个 300MB/s 不是随便拍脑袋写的数字。2.5GbE 的物理层线速是 2.5Gbps，换算成字节是 312.5MB/s，去掉 Ethernet 帧头、IP 头、TCP 头、以及不可避免的重传和调度损耗，真正能留给应用层的有效载荷大概在 300MB/s 上下。所以“打满官方宣称速度”本质上就是“打满 2.5GbE 的可用带宽”，这是很现实也很有信息量的指标。

明白了这一点，后面所有测试参数就都围绕这个目标来设计。服务器只有跑不到这个速度，才有讨论优化空间的价值；跑到了，说明软件栈、网卡驱动、内核参数和目标设备写入能力这些环节都没掉链子。

2. 硬件选型与部署准备：Beelink Strix Halo 这台迷你主机凭什么够用

2.1 我的硬件配置清单

我手上这台 Beelink Strix Halo 的配置不算顶配，但对这个项目来说已经属于降维打击：

• CPU：AMD Ryzen AI Max+ 395，16 核 32 线程
• 内存：64GB LPDDR5X
• 系统盘：1TB PCIe 4.0 NVMe SSD
• 网口：板载 2.5GbE，另通过 USB4 扩展了一个 2.5GbE 网口
• 系统：Ubuntu 24.04 LTS，内核 6.8.0

选择 Strix Halo 的原因其实很朴素。halogen-flash-server 在处理多路并发时有两个高频操作：一个是 SHA256/CRC32 校验，另一个是对镜像做去重和缓存索引。这两个操作都是 CPU 密集型的，尤其开了 zstd 压缩或者校验后，如果服务器 CPU 只有四核八线程，并发一上来必成瓶颈。

Strix Halo 的 16 个 Zen 5 核心在这种场景下的余量非常大。实际压测时，即使是五客户端并发加校验，服务器 CPU 占用平均也只有 37% 左右。另外，LPDDR5X 的高内存带宽对镜像缓存帮助很大，因为热镜像会有一部分常驻内存，内存带宽不足会导致缓存命中反而变成负优化。

2.2 系统安装与基础环境

这一步没有什么特殊的，但我要强调一个问题：不要在系统盘上直接跑数据目录。我用的是独立 NVMe 分区，挂载到/data，专门放 halogen 的工作目录。系统盘留给 Ubuntu 和 Docker，避免日志写满系统盘导致整个机器卡死。

安装 Docker 的步骤很简单：

sudo apt update sudo apt install -y docker.io docker-compose-plugin sudo systemctl enable --now docker

然后创建数据目录结构：

sudo mkdir -p /data/halogen/{images,cache,logs,tmp} sudo chown -R "$USER":"$USER" /data/halogen

我把分区挂载写进/etc/fstab，用的是 ext4，挂载参数是defaults,noatime,discard。noatime能减少读镜像时的元数据更新，discard让 NVMe 的 TRIM 能及时回收空间。对烧写这种连续读多、随机写少的负载，单个 NVMe 顺序读远远超过网络上限，所以完全没必要组 RAID。

2.3 存储目录与缓存策略

halogen-flash-server 本身有一套内容寻址存储，意思是每个镜像会按 SHA256 去重，相同内容不会重复占空间。目录职责我建议固定下来：

• images：原始镜像文件，按哈希组织。
• cache：缓存合并层，用于热镜像索引。
• logs：烧写任务日志，审计时用。
• tmp：临时文件，上传和任务准备阶段用。

刚开始我试图把整个cache放到tmpfs，想着反正 Strix Halo 有 64GB 内存。事实证明这是坏主意。tmpfs 的优点是把读写变成内存操作，但缺点是重启丢数据，并且当缓存超过内存上限时，内核需要不断回收脏页，反而引发更高的系统 CPU 占用。后来我直接让 halogen 自己管理缓存，路径放在/data/halogen/cache，只通过HALOGEN_CACHE_SIZE_MB控制它的上限。稳定多了。

3. 部署 halogen-flash-server 实操：从 Docker Compose 到跑通第一次烧写

3.1 Docker Compose 配置

halogen-flash-server 官方推荐用 Docker 部署，我也确实没找到需要裸机部署的理由。唯一要注意的是网络模式。我一开始用 Docker 默认的 bridge 模式，结果目标设备在 netboot 阶段根本找不到服务器，因为 TFTP/DHCP 这类协议涉及广播和动态端口，bridge 模式下端口映射非常别扭。

后来直接用 host 网络模式解决，配置如下：

services: halogen: image: halogen-flash-server:0.9.1 container_name: halogen restart: unless-stopped network_mode: host environment: HALOGEN_DATA_DIR: /data/halogen HALOGEN_BIND_ADDR: 0.0.0.0 HALOGEN_PORT: 8081 HALOGEN_MAX_CONCURRENT: 32 HALOGEN_VERIFY_MODE: fast-crc32 HALOGEN_CACHE_SIZE_MB: 8192 volumes: - /data/halogen:/data/halogen cap_add: - NET_RAW - SYS_ADMIN logging: options: max-size: "100m" max-file: "5"

HOST 网络模式看起来不安全，但在实验室内部网络环境里这是最省心的方案。cap_add只给了NET_RAW和SYS_ADMIN，比直接--privileged收敛很多。如果你完全在隔离的烧写网段里，也可以接受更高权限，但我不建议在生产环境搞一刀切。

HALOGEN_VERIFY_MODE=fast-crc32是我后来压测时的关键参数。CRC32 的校验强度不如 SHA256，但配合镜像哈希去重使用已经足够发现传输损坏。如果你烧写的是安全敏感设备固件，建议用默认的 SHA256，代价是 CPU 占用会明显上升。

3.2 初始化镜像仓库与设备 Profile

部署完服务，下一步是添加镜像和定义设备 Profile。不同目标设备的写盘方式不一样，有的是裸分区写入，有的是 fastboot，有的是 Rockchip 的 USB Download 模式。halogen-flash-server 通过 Profile 来抽象这些东西。

我用的这批边缘网关是 x86 架构，启动方式走的是 PXE/netboot，写盘目标是内置 NVMe。命令大致如下：

halogen-cli image add edge-gateway-2.0.img \ --name=edge-gateway-v2.0 \ --platform=x86_64 \ --compression=zstd halogen-cli profile create \ --name=gateway-x86 \ --write-device=/dev/nvme0n1 \ --kernel-cmdline="console=ttyS0,115200 root=/dev/ram0" \ --post-flash-cmd="poweroff"

Profile 里最关键的是--write-device。如果填错，轻则烧错盘，重则把目标设备的系统盘直接抹掉。我的做法是给每批设备的 EFI 配置里固定磁盘序号，并且用/dev/disk/by-path/这类带硬件路径的方式指向 NVMe，避免系统启动后盘符漂移。

添加完成后，Web UI 里就能看到镜像和设备 Profile，也可以创建批量任务。整个操作流程比我预想的简单，核心复杂度其实在网络引导和硬件排错，不在软件本身。

3.3 网络调优：把 2.5GbE 的潜力挖出来

软件跑起来只是第一步，真正决定能不能打满官方速度的是网络栈。Strix Halo 板载的 2.5GbE 网卡我用了 ethtool 确认速率和协商模式，然后做了一次基础 TCP 性能基线测试：

# 服务端 iperf3 -s # 客户端 iperf3 -c 10.0.0.2 -R -t 30 -P 4

第一次跑出来大约 2.37Gbps，离 2.5Gbps 上限已经不远，但这时候跑 halogen 烧写任务还是只有 280MB/s 左右，说明还有优化空间。我进一步做了三件事：

ethtool -s enP2p1s0 speed 2500 duplex full autoneg on ip link set enP2p1s0 mtu 9000 sysctl -w net.core.rmem_max=16777216 sysctl -w net.core.wmem_max=16777216 sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216" sysctl -w net.ipv4.tcp_wmem="4096 16384 16777216"

MTU 9000 和 TCP 缓冲区这两个改动效果最明显。大帧能减少单位数据量对应的网络包数量，降低 CPU 中断开销；缓冲区大了之后，TCP 窗口能更好抗住网络抖动，不会因为突发丢包就把吞吐砍下去。改完后再次压测，单流烧写吞吐稳定在 297MB/s 左右。

注意，MTU 9000 必须交换机和目标设备一起开，不能只改服务器。否则客户端还走 1500，服务器发大帧，交换机会直接丢弃，表现就是烧写偶尔卡住或者校验失败，非常难查。

4. 实测数据：单客户端、并发、开启校验后的吞吐对比

4.1 测试方法与拓扑

这次压测的环境如下：

• 服务器：Beelink Strix Halo，Ubuntu 24.04，halogen-flash-server 0.9.1
• 目标设备：3 台 x86 边缘网关 + 2 块 RK3588 开发板，全部支持 2.5GbE
• 网络拓扑：服务器 2.5GbE 口接一台 2.5G 交换机，目标设备同交换机接入
• 镜像体积：2GB 的 x86 网关固件镜像
• 测速方式：通过 halogen API 拉取任务开始和结束时间，用镜像大小 / 总耗时计算端到端吞吐

测试前我先跑过一次 iperf3 确认网络底层没问题，再把 halogen 任务当成验证手段。如果 iperf3 都不能接近线速，那问题多半在网卡或者交换机，跟卤素服务器无关。

4.2 实测结果表

单客户端校验关闭能跑到 297.8MB/s，意味着 halogen-flash-server 在读取镜像、生成网络包、控制流方向这些环节已经没有可感知的损耗。相比 iperf3 的 2.39Gbps，实际烧写能够跑到这个数字，说明软件不是在“测速模式”下作弊，而是真正把大文件流式推给了目标设备并完成写盘。

五客户端并发时，总量被交换机端口速率锁住了，总吞吐和单客户端几乎一样。这个现象是预期的，因为服务器到交换机只有一个 2.5GbE 上行口。如果你想提升并发总量，就必须做链路聚合或者上 10GbE，不能指望软件突破物理链路上限。

4.3 为什么能接近满速

这个问题要从四个方面拆开看。

第一，服务器存储不是瓶颈。镜像在 NVMe 上连续读取，顺序读速度远超 2.5GbE 网口上限，所以服务器端不存在“读到一半等硬盘”的情况。

第二，CPU 没有成为瓶颈。即使并发加校验，Strix Halo 的 16 个核心也没被吃满。CRC32 校验本身是线性的，对 2GB 镜像来说计算量有限，更耗 CPU 的反而是 TCP 中断和包拷贝。大 MTU 减少了包数量，中断频率下来了，CPU 余量自然更大。

第三，目标设备写盘速度合格。我的 x86 网关内置 NVMe，顺序写超过 1GB/s。RK3588 开发板走的是 eMMC，写速没有 NVMe 快，但 eMMC 5.1 的新盘持续写也能到 120MB/s 以上，而单客户端分到的网络带宽远低于这个值，所以没拖后腿。

第四，halogen-flash-server 的传输协议没有明显浪费。它没有用一堆 JSON 握手把数据包切碎，而是用流式分块传输，一个任务从头到尾只维护少量控制消息。这种设计非常适合局域网内大文件推送，比“每写一块就等 ACK”的同步模型优势明显。

5. 踩坑记录与常见问题速查

5.1 常见问题排查表

5.2 几个不值得二次踩的坑

第一个坑是盲目上 jumbo frame。如果交换机不是全端口支持 9000，或者目标设备网卡固件比较老，开大帧反而会造成大量分片。我的建议是先在一个隔离测试口上验证，再全范围推广。

第二个坑是把镜像目录放到 NFS 或 CIFS 挂载盘上。最开始我想“省事”，把/data直接挂成 NFS，结果上传镜像时一切正常，一旦并发烧写就开始大量 backlog，因为 NFS 的元数据操作延迟被放大了。后来切回本地 NVMe，问题立刻消失。

第三个坑是忽略日志滚动。halogen-flash-server 每次烧写都会产生审计日志，如果 Docker 日志驱动不限制大小，几个月后系统盘会被写满。上面的 compose 配置里已经加了max-size: 100m和max-file: 5，这个设置务必保留。

第四个坑是测试目标的存储性能太差。如果你用 TF 卡或者低端 eMMC 做测试，你测出来的是卡的速度，不是服务器的速度。想验证 halogen-flash-server 的性能上限，先用 NVMe 或高性能 SSD 作为目标写入设备，否则数据没有参考意义。

6. 最后分享一个小技巧

压测结束之后，我保留了整套环境，并且把 halogen-flash-server 直接接进了 CI 流水线。具体做法是构建机在完成固件产出后调用一次 halogen API，把镜像上传并创建任务组，然后由 Webhook 通知测试机群开始烧写。这套流程跑了两个月，最大的感受是：固件发布这件事终于从“人肉运维”变成了“等待通知”。

如果只让我给一个建议，那就是不要为了跑满官方速度而过度调优。先把网络基础确认好，比如 iperf3 能跑多少，目标设备写盘速度是多少，再回头审视 halogen 的并发参数。很多时候瓶颈根本不在服务器，而在你目标设备的存储介质。Beelink Strix Halo 的精巧之处在于，它把服务器端所有可能的短板都补齐了，剩下的问题反而变得很容易定位。