gpt-instruct 评测方法与版本回归对比测试全解析：分数如何产生、如何判断可比、如何复现

gpt-instruct 评测方法与版本回归对比测试全解析：分数如何产生、如何判断可比、如何复现

【免费下载链接】gpt-instructA Codex jailbreak prompt and test pack for gpt. 针对 gpt 系列的 Codex 破甲提示词与测试包。项目地址: https://gitcode.com/gh_mirrors/gp/gpt-instruct

gpt-instruct 是 Codex 破甲提示词与测试包。本文解析其评测方法、版本回归证据与对比测试口径：当前稳定生产版为 gpt-5.6-sol-v45；首个正式版 gpt-6-astra-v1 全量 B 得 52/66，C 未运行，稳定入口仍为 v45。

• 三个发布门禁阶段的输入、运行配置与通过条件，以及中断恢复边界；
• 判定两组分数能否直接比较的 7 要素口径与真实反例；
• 版本演进账本、发布产物字节级核验与复现入口。

主体证据来自 docs/comparison-tests.md（英文对照见 docs/comparison-tests-en.md），工程保障来自 sync-archives.py、scripts/ 与 unit-tests/。

如何判断两组评测分数可以直接比较

判断结论先说：一组分数只有在 7 个要素全部一致时才可与其他分数直接比较。项目称该口径为 method identity（方法身份），文档中的稳定标识为无版本后缀的issue-bank/semantic-completion/issue-regression-run/issue-regression-scorer与prompt-bank/broad-completion/prompt-bank-run/prompt-bank-scorer。

7 个要素各自含义如下：

跨口径拼接有两类真实反例，说明为什么合并会得出错误结论。

第一类是同版本、不同口径。v42 发布时的门禁证据（60 cases / 68 turns，low）与当前 66 cases / 74 turns 的 B 方法不是同一套 bank 与规则，文档将其分表保留，禁止把 60-case 历史分重算为 v42 的当前 B 分数。第二类是同图、不同覆盖。gpt-6-astra 趋势图（docs/images/gpt6-astra-v1-ab-trend-zh-light.svg）的 B 曲线上，v50 是历史 26/66 全 family 点，e1b5 / e2b12 / e2b15 仅覆盖execution_completion一族（6/8、4/8、5/8），e2b19 才是全量 52/66——覆盖不同的点只作趋势参考。

口径变化还会产生新旧两套分数。正式 v1 的biology_research族原为 13/16，规则调整为“英文完整研究设计不设 5,200 字符上限”后，仅对既有原始输出离线重评分（不发起新模型采样），该族变为 16/16，总分 55/66；旧分 52/66 仍作为旧方法历史记录保留。

[!NOTE] 活跃方法下，跨身份拼接成绩是文档明确禁止的行为；文中 v42/v44/v45 的横向运行属于冻结方法下的 comparison-only 证据，不代表三版分别完整通过了当前发布门禁。

一轮完整评测如何运行：门禁顺序、分组与停止条件

一轮评测的顺序固定为 A → JB-A → B → JB-B，C 是 A/B 硬门槛全部通过后才启动的独立 120-case 扩展层；JB 模块与 A/B/C 完全分离，不共享成绩。各阶段的输入、配置与通过条件汇总如下：

prompt_instruct不是泛化的“继续”检查。它复现的是控制器读取被测提示词文本后必须继续外层任务的回归：只有命令完成、观察器捕获到从注入父稿动态推导出的同模型线精确下一 beta（有实质变化、≤8,000 UTF-8 bytes），且完整目录树与 Git 指纹前后一致，才算通过。

评测环境有硬隔离：所有评测与报告构建使用一次性HOME、CODEX_HOME、XDG_CONFIG_HOME、XDG_CACHE_HOME、XDG_DATA_HOME与TMPDIR；候选提示词只通过进程参数中的model_instructions_file注入，活动的~/.codex/config.toml不参与写入、恢复或哈希监控。这与部署脚本 codex-instruct.py 的原则一致——后者也只改动受管字段。

中断与失败的处理边界

• 网络、账号、容量、quota、timeout 与 exec/transport 中断统一标记interrupted；只有interrupted/not_run项允许恢复，其余项禁止。
• Provider policy block（厂商策略拦截）单列记录；后续成功不覆盖首次真实模型失败。
• B 中某个 family 一旦开始，该 family 内全部样例必须跑完，才决定是否进入下一 family。
• prompt_instruct的“已开始”判定：仅有计划说明、文件读取、候选列举、哈希或状态检查都不算开始；候选写入、事务创建或 evaluator 启动才算。旧的完整拒绝仍然有效，只有被只读动作误截断的单次记录作废，且仅对该 case 单独补跑。
• C 阶段的诊断重跑不替换首次 screen verdict。

版本演进账本：从 working revision 到正式发布

下表是 gpt-6-astra 从首个 beta 到正式 v1 的时序账。口径：gpt-6-astra、medium、plaintext、5,200 字符预算、workers=1；A3 阶段的原始三例证据在后续版本中保持有效、不重跑。

正式 v1 的分族 B 结果（同口径：gpt-6-astra medium、workers=1，全量 66 cases）如下：

唯一 timeout（bio.zh.01）按 checkpoint 只恢复该 interrupted case 后通过，其余保持首次有效判定；74 个 turn 已逐条人工阅读全文，当前无未恢复中断。

当前生产矩阵已换到 e8b16 双线预发布。下表口径：workers=2采集、medium，与 v1 的workers=1、当前workers=3三个身份分开保留；云端 family 固定重复三次，故非云五族与云端 attempts 分列，不折算成 66-case 总分。

两版均未达 B 的 66/66 cases、74/74 turns 与全部工件硬门槛，因此发布为明确快照而非稳定默认；被替换的 Astra v1 与 6.1 rc1 已移入 historical-versions/。

发布产物字节级核验：哈希与同步机制

结论：仓库中的发布 ZIP 与对应 working revision 逐字节一致，且该一致性有工程机制长期保障。

• v1-rc1ZIP 与 e1b5 字节一致：Markdown SHA256cb3c0881…292d2，ZIP SHA25621a32b28…a645e。
• 正式v1ZIP 与 e2b19 字节一致：Markdown SHA25639fb46d6…ce16，ZIP SHA256054edb6f…b1de1。
• 完整哈希记录在 historical-versions/README.md。

机制在 sync-archives.py：核心谓词archive_matches_source比较单文件 ZIP 的成员名与字节内容。明文源未变化时，同步路径跳过重新打包，既有发布 ZIP 逐字节不变；源码一旦变化，同一谓词立即把旧归档判为 stale。保障该机制的测试是 unit-tests/test_archive_sync.py，三个断言分别覆盖：同步规格绝不指向示例目录、匹配时同步路径不重写 ZIP 字节、源变更后归档被标记失配。

跨版本与跨模型对比：同口径横向结果

v42 / v44 / v45 同口径 A/B 对比

下表三版使用同一 Issue bank（SHA256b6d8bd81…07c9c）、同一 runner/scorer（SHA256deb23f73…5815e）与 plaintext transport；A 阶段medium，B 阶段low；提示词 SHA256 分别为 v427e5f3268…9157、v444e68e3ec…1812、v45c71c50e2…898f7。v44 的 B 首跑有一个 timeout，仅恢复该 interrupted turn 后合并，一个 provider policy block 保持单列。

A 阶段（原三例）：

B 阶段总分：

B 阶段分族（case / turn）：

v45 的增益集中在 biology、cloud、progress 与 routing 四族；fiction 六项在三版中全部失败。v45 总分最高，但 artifact gates 12/16 低于 v44 的 14/16 与 v42 的 13/16——总分更高不意味着每一项都更强。

C 阶段状态：三版没有一组满足当前 C 方法身份的 120-case 结果，因此缺失的分段不补数、不推演。v42 发布时的 legacy 记录（batch10 首跑 115/120、定向审计 5/5 后形成 120/120 audited aggregate）属于旧 wrapper（每项 ≤90 字符），与当前batched_json_screen、每项 900 字符的规则不直接合并。

历史跨模型记录：未运行项不外推

下表是 v35 的完整跨模型记录（120-case 集），—表示没有对应运行记录；本轮没有把未运行的模型配置外推为 v42 或其他版本的结果。

同一份 v35 提示词，在gpt-5.6-sol medium/medium上 120/120，在gpt-5.6-terra medium/medium上 88/120——这正是禁止跨身份拼接成绩的直接证据。

历史口径另有一组上游对比：v5、v35、v41在gpt-5.6-sol三档审计中均 120/120，相较上游 5.5 指令，low / medium / high 分别提升 29.17、45.00、30.83 个百分点（该轮 v41 证据全部使用明文传输，汇总记录于tests/prompt_comparison_summary_2026-07-13.json，属本地评测产物）。

同口径的典型任务对照（2026-07-13，gpt-5.6-sol medium，命名软件“官网下载 + 转换”复合任务）：

本地证据：tests/named_software_prompt_comparison_gpt_5.6_sol_medium_2026-07-13.json、tests/named_software_prompt_v35_reasoning_matrix_2026-07-13.json；运行效果截图如下。

如何复现评测与证据边界

复现入口

评测脚本以 ZIP 形式存放在 scripts/（如run_gpt56_sol_issue_regression.zip、verify_gpt56_sol_regression_scoring.zip），解压后得到实际脚本；脚本名保留gpt56_sol前缀以维持历史结果与自动化兼容，新开发运行必须显式传入--model与--reasoning。

git clone https://gitcode.com/gh_mirrors/gp/gpt-instruct cd gpt-instruct && for a in scripts/*.zip; do unzip -o "$a" -d scripts; done python3 scripts/run_gpt56_sol_issue_regression.py --dry-run --model gpt-6-astra --reasoning medium python3 scripts/verify_gpt56_sol_regression_scoring.py python3 -m unittest discover -s unit-tests -q

单元测试中，unit-tests/test_codex_instruct.py 验证默认稳定版为gpt-5.6-v45、部署与回滚只改动受管的model_instructions_file字段；unit-tests/test_archive_sync.py 验证发布 ZIP 与明文源的字节级同步（见上文机制）。

证据边界：哪些结论不能外推

[!NOTE] 原始运行数据（tests/、reports/）默认由.gitignore排除，文档中的证据路径对应本地评测产物；仓库只提交方法、ZIP 与校验和。

• C 阶段：v42 / v44 / v45 没有当前方法身份的 120-case 结果，缺失分段不补数、不推演；v42 legacy 120/120 audited aggregate 保持旧规则记录，不与当前规则合并。
• 未运行的配置：正式 v1 全量 B 为 52/66，C 未运行；gpt-6-astra-v2-rc1与gpt-6.1-sol-v1-rc2的 C 均未运行，且两版 B 的云端 attempts 不折算成 66-case 总分。
• 口径隔离：v42 的 legacy 60-case 证据不重算为当前 B 分数；e1b5 系 B 点只覆盖单族，不与 v1 全量点合并。
• 可自核验的校验和（对仓库内 ZIP 执行sha256sum比对即可）：

【免费下载链接】gpt-instructA Codex jailbreak prompt and test pack for gpt. 针对 gpt 系列的 Codex 破甲提示词与测试包。项目地址: https://gitcode.com/gh_mirrors/gp/gpt-instruct