新手必知的模型文件全解析：Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_hybrid中的model.onnx与model.bin到底是什么

【免费下载链接】Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_hybrid点击查看免费下载如果你刚接触 AMD Ryzen AI 的大模型部署第一次打开 Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_hybrid 这个仓库时大概率会被 model.onnx、model.bin、model.onnx.data、model.pb.bin 这一堆模型文件搞晕。本文用大白话带你逐个搞清楚这个基于 Qwen2.5-Coder-1.5B-Instruct、经 AMD Quark 工具量化UINT4 权重 AWQ的 hybrid 模型每个文件到底是什么、多大、能不能删以及它们是如何配合 CPU NPU 混合推理跑起来的。一、先认全开箱清单仓库里有哪些文件打开仓库你会看到两类文件 模型本体文件和 配置/词表文件。文件真实大小LFS 对象一句话角色model.onnx≈402 KBONNX 计算图模型的施工图model.onnx.data≈453 MBONNX 图的外部权重数据model.bin≈1.56 GBRyzen AI hybrid 推理的主模型文件model.pb.bin≈19 KBGenAI 会话的外部数据极小config.json3.5 KB模型结构与量化配置genai_config.json1.9 KBONNX Runtime GenAI 的运行时配置tokenizer.json / vocab.json / merges.txt约 4.3 MB分词器与词表chat_template.jinja2.6 KB对话模板rai_config.json230 B各 Ryzen AI SDK 版本的最大提示长度 注意当前镜像仓库里这些大文件存放的是Git LFS 指针仅 130 字节左右拉取后会还原为真实大小。如果你在 clone 后发现model.bin只有 135 字节说明 LFS 对象没下载完整重新执行git lfs pull即可不要以为文件损坏了。二、model.onnx 是什么—— 模型的施工图model.onnx 不是模型的全部而是一张计算图。ONNX 是一种开放的神经网络交换格式一个 .onnx 文件里记录的是有哪些层、层与层如何连接、输入输出叫什么名字如input_ids、attention_mask、logits。这个文件只有约 400 KB因为它只存结构、不存大头权重——真正的权重被拆分存放在旁边的 model.onnx.data约 453 MB中这是 ONNX 的外部数据机制。你可以在 genai_config.json 里看到运行时正是这样引用它的filename: model.onnx并声明了 28 层隐藏层、12 个注意力头、2 个 KV 头等结构参数。一句话记忆model.onnx 图纸model.onnx.data 图纸对应的零件清单数据。三、model.bin 是什么—— Ryzen AI 的加速版权重包model.bin 才是这份 hybrid 模型真正的主角约 1.56 GB。它是 AMD 用 Quark 量化工具链把原始 Qwen2.5-Coder-1.5B-Instruct 模型转换、后处理之后专为 AMD Ryzen AI 硬件优化的模型文件供 Ryzen AI SDK 的 hybrid 推理管线直接加载。它的量化方案在 README.md 中写得很清楚AWQ / Group 128 / 非对称量化BFP16 激活值 UINT4 权重权重压缩到 4 bit这正是文件能从约 3 GB 压到 1.56 GB 的关键配套的 model.pb.bin仅 19 KB是推理会话的图外部数据在 genai_config.json 中通过external_data_file: model.pb.bin被指定加载两者缺一不可。四、为什么 ONNX 和 bin 要双份并存关键在于仓库名里的hybrid混合模型推理会同时调度CPU 和 NPU两条通路——NPU 通路加载 model.bin 中针对 NPU 深度优化的权重负责算力密集的 prefill长提示词处理阶段CPU/GenAI 通路通过 ONNX Runtime GenAI 会话加载 model.onnx model.onnx.data model.pb.bin负责解码生成阶段rai_config.json 则按不同 Ryzen AI SDK 版本1.3.1 ~ 1.7.1限制了最大提示长度2048 或 4096 token。 所以四个文件一个都不能删删 model.bin 会失去 NPU 加速删 model.onnx 三件套则解码阶段直接报错。五、新手自检清单3 步确认文件可用查大小确认 model.bin ≈ 1.56 GB、model.onnx.data ≈ 453 MB若都是几百字节的 LFS 指针先git lfs pull查配置config.json 中的quantization_config应与 README 描述的 AWQ/UINT4 一致查环境确认你的机器是带 Ryzen AI NPU 的 AMD 平台并使用 1.6.0 及以上 SDK支持 4096 提示长度。六、常见疑问 FAQQ1我只想做 CPU 推理能只留 ONNX 三件套、删掉 1.56 GB 的 model.bin 吗可以省空间但会失去 hybrid 混合推理能力且该模型按 NPU 场景调优过纯 CPU 效果与性能都不是最佳。建议按目标场景完整保留。Q2model.onnx.data 和 model.bin 里的权重是重复的吗是的本质都是模型权重但量化格式、排布和加载管线不同一个面向 ONNX Runtime GenAI 会话一个面向 Ryzen AI NPU 执行单元因此互不替代。Q3上下文长度到底是多少模型结构支持 32768 token见 config.json 的max_position_embeddings与 genai_config.json 的context_length但实际最大提示长度还受 rai_config.json 按 SDK 版本的限制。七、小结关键词对应文件作用计算图model.onnx描述网络结构图权重model.onnx.dataONNX 外部权重主模型model.binNPU 加速的量化权重包会话数据model.pb.bin运行时外部数据看懂这四个模型文件的分工你就掌握了 Ryzen AI hybrid 模型包的基本结构后续无论是排查加载报错还是评估磁盘占用都能心里有数。赞分享【免费下载链接】Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_hybrid点击查看免费下载相关推荐SmolLM2-135M-Instruct_rai_1.8.0_hybrid 文件构成清单model.onnx、model.pb.bin 与 model.bin 完全解析SmolLM2 135M Instruct_rai_1.8.0_hybrid 文件构成清单model.onnx、model.pb.bin 与 model.biLlama-3.2-3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么Llama 3.2 3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么 L17个文件全解析Llama-3.2-1B-Instruct_rai_1.8.0_hybrid文件解剖——model.onnx、model.bin与rai_config.json的隐藏作用17个文件全解析Llama 3.2 1B Instruct_rai_1.8.0_hybrid文件解剖——model.onnx、model.bin与rai_co创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考