开发者指南：如何用ONNX Runtime GenAI + Ryzen AI EP通过Python调用Llama-3.2-3B_rai_1.8.0_hybrid

【免费下载链接】Llama-3.2-3B_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_hybrid点击查看免费下载本文介绍如何用 ONNX Runtime GenAI 配合 Ryzen AI EP通过 Python 调用 Llama-3.2-3B_rai_1.8.0_hybrid——AMD 官方针对 Ryzen AI 处理器NPU优化的 Llama 3.2 3B 语言模型AWQ 4bit 量化。跟着本文操作几行代码即可在你的笔记本上本地跑通文本生成。 认识模型Llama-3.2-3B_rai_1.8.0_hybrid 是什么一句话概括这是 AMD 基于 Meta Llama-3.2-3B 制作的、专为 Ryzen AI 硬件部署优化的 ONNX 量化模型核心特点有三个量化方案AWQ / Group 128 / 非对称量化 / BFP16 激活 / UINT4 权重模型体积大幅缩小详见 README.mdhybrid 混合推理NPU 与 CPU 协同执行兼顾速度、功耗与算子覆盖架构参数28 层 Transformer隐藏层 307224 个注意力头、8 个 KV 头词表 128256通过 RoPE 缩放factor 32支持最长 131072 上下文详见 config.json仓库文件清单看懂每个文件的作用文件作用model.onnx / model.onnx.dataCPU 端 ONNX 计算图与外部权重model.pb.binNPU 端执行图RyzenAI EP 的外部数据文件model.bin推理运行时二进制数据genai_config.jsonONNX Runtime GenAI 的模型结构与生成参数配置rai_config.json不同 SDK 版本允许的最大提示词长度config.json模型架构与量化配置tokenizer.json / tokenizer.model分词器GenAI 库直接读取LICENSE.txt / USE_POLICY.md许可协议与 Meta 可接受使用政策✅ 环境检查清单运行前的最低要求项目要求硬件搭载 NPU 的 AMD Ryzen AI 处理器如 Ryzen AI 300 系列 / Ryzen AI Max 系列系统Windows 11 或 AMD 官方支持的 Linux 发行版NPU SDKAMD Ryzen AI 1.8.0对应模型名中的 rai_1.8.0 后缀Python3.10 / 3.1164 位内存建议 16GB4bit 量化模型 KV Cache 开销驱动AMD 显卡 / NPU 驱动保持最新版本关键点必须安装带 RyzenAI EP 的 onnxruntime-genai 构建普通 CPU 版无法调用 NPUpip install onnxruntime-genai-ryzenai1.8.0安装完成后用两行代码验证 EP 是否可用import onnxruntime as ort print(ort.get_available_providers()) # 列表中应出现 RyzenAI 下载模型3 步获取完整文件git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_hybrid.git cd Llama-3.2-3B_rai_1.8.0_hybrid克隆仓库模型文件通过 Git LFS 分发建议先安装并执行git lfs install确保拿到真实模型文件而非指针核对文件确认model.onnx、model.onnx.data、model.pb.bin、model.bin、genai_config.json与分词器文件齐全记住目录路径下一步的 Python 代码会直接使用它 快速开始用几行 Python 代码跑通首次生成import onnxruntime_genai as og model og.Model(Llama-3.2-3B_rai_1.8.0_hybrid) # 指向模型目录 tokenizer og.Tokenizer(Llama-3.2-3B_rai_1.8.0_hybrid) params og.GenerateParams(max_tokens128, temperature0.6, top_p0.9) input_ids tokenizer.encode(你好请用一句话介绍你自己。) generator og.Generator(model, input_ids, params) while not generator.is_done(): generator.compute_logits() generator.generate_next_token() print(tokenizer.decode(generator.get_sequence()))几点说明og.Model(...)会自动读取目录中的 genai_config.json其中已配置好 RyzenAI EP 参数hybrid_opt_max_seq_length: 4096、external_data_file: model.pb.bin无需手动指定 provider首次加载会完成 NPU 图的编译耗时稍长属正常现象之后的推理会明显加快模型不在当前目录时把上面两个路径替换成实际路径即可⚙️ 生成参数详解temperature、top_p 与长度限制genai_config.json 的search段内置了默认采样参数可按需在GenerateParams中覆盖参数默认值作用temperature0.6温度越低输出越稳定越高越发散top_p0.9核采样概率阈值top_k50每步仅保留概率最高的 k 个候选do_sampletrue是否启用随机采样max_length131072模型理论最大上下文长度两个容易踩坑的长度限制需要特别注意提示词长度由 rai_config.json 控制。SDK 1.31.5 为 2048 token1.6 及以上含 1.8.0为 4096 token超长的输入会被截断hybrid 优化上限hybrid_opt_max_seq_length为 4096序列长度超过该值后运行时的 CPU 参与度会上升长文生成速度有所下降 进阶理解hybrid 混合推理机制与调优建议hybrid 是 Ryzen AI 平台上 ONNX Runtime GenAI 的核心能力把模型拆分成 NPU 与 CPU 各自擅长的部分NPU 承担主要推理负载CPU 处理其余算子从而在有限算力的 NPU 上流畅运行 3B 级模型。对应到本仓库的两个执行体NPU 执行图model.pb.bin由配置项external_data_file指定CPU 兜底图model.onnxmodel.onnx.data实用调优建议控制单次max_tokens避免 KV Cache 内存持续膨胀多轮对话时复用同一个og.Generator序列不要每轮都重建模型追求稳定输出可把temperature降到 0.3 左右追求创意可适当提高❓ 常见问题排查FAQQ1报错提示找不到 RyzenAI provider确认安装的是onnxruntime-genai-ryzenai而不是 CPU 版确认 AMD Ryzen AI 1.8.0 SDK 与 NPU 驱动已安装重启系统后再跑上面的验证代码。Q2生成很慢感觉只用了 CPU检查 AMD 驱动是否为最新版本确认没有其他程序独占 NPU超长上下文超过 4096会自然增加 CPU 参与度属预期行为。Q3输出重复或乱码调低temperature如 0.3并配合top_k确认 tokenizer 文件与模型文件位于同一目录。Q4提示内存不足4bit 量化后模型权重约 2GB 量级加上 KV Cache 与运行时开销8GB 内存比较紧张建议使用 16GB 及以上的机器。⚖️ 许可与合规使用前必读模型修改部分版权属 AMDLICENSE.txt 采用 MIT 条款适用于 AMD 修改的文件原始 Llama 3.2 模型遵循 Meta 的可接受使用政策详见 USE_POLICY.md禁止用于违法活动、欺诈、恶意代码生成等场景第三方依赖的许可信息见 README.md 中的 Ryzen AI Models TPN 说明商用或对外提供服务前请完整阅读上述文件确保使用场景合规。赞分享【免费下载链接】Llama-3.2-3B_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_hybrid点击查看免费下载相关推荐鸣潮自动化实测ok-ww 如何用图像识别完成自动战斗与声骸管理鸣潮自动化实测ok ww 如何用图像识别完成自动战斗与声骸管理 如果你每天要刷几遍副本、整理几十件声骸、再跑一圈日常ok ww 这类《鸣潮》自动化工具值得关用 ONNX Runtime GenAI 自定义集成 Llama-3.2-3B_rai_1.8.0_npu_16K完整 API 参考与开发者指南用 ONNX Runtime GenAI 自定义集成 Llama 3.2 3B_rai_1.8.0_npu_16K完整 API 参考与开发者指南 想在 AMD解决Llama-3.2-3B-Instruct_rai_1.8.0_hybrid的7个常见问题ONNX Runtime GenAI调试排错指南解决Llama 3.2 3B Instruct_rai_1.8.0_hybrid的7个常见问题ONNX Runtime GenAI调试排错指南 Llama 3上一篇深度解析RD-Agent日志系统优化从架构瓶颈到高性能实战指南下一篇Timeliner数据存储与导入导出完整数据管理方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考