不用大模型也能抽 JSON？这个 287M 的小模型跑在 CPU 上，成绩只差 GPT-4o 不到 1 分

不用大模型也能抽 JSON？这个 287M 的小模型跑在 CPU 上，成绩只差 GPT-4o 不到 1 分

【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1

先问你一个很现实的问题。

公司要你把几百份合同里的甲方、金额、签约日期扒出来，整理成表格。你会怎么做？十有八九是打开 ChatGPT 或 DeepSeek，把合同贴进去，附一句“请输出 JSON”。

一开始很爽，干到第 200 份就开始肉疼：按 token 计费，账单在跳；一份合同等两三秒，几百份就是几十分钟；更要命的是，合同里全是客户名、身份证号、报价，你居然把它们全传到了别人的服务器上。

于是最近技术圈吵起来一个话题：抽取结构化数据这件事，到底还非得用大模型吗？

一个叫 GLiNER2.5 的开源项目，就是冲着这个问题来的。它的多语言版本只有2.87 亿参数，模型文件约595MB，官方明确写着：普通 CPU 就能跑，不需要显卡，不需要联网。

听起来像天方夜谭，但它给出的成绩单，确实有点东西。

一、它到底是个啥？一句话：不是“会聊天的 AI”，是“会填表的 AI”

我们先把概念捋顺。

大模型像个什么都会一点的实习生：你跟他说人话，他能听懂，还能举一反三。但代价是——他每干一件事都要“想一遍”，慢，而且贵。

GLiNER2.5 更像公司里那种专门负责录入的老会计：不会跟你闲聊，不会写诗，但你给他一张表头，他眼睛一扫，唰唰唰就把该填的格子填满了。

它的工作方式很朴素：你提前告诉它“我要找哪些字段”，比如“公司、人名、产品、地点”，它就拿着这份清单去原文里对号入座。这份清单，行话叫 schema，你可以理解成一张提前画好的表格模板。

关键区别就在这儿：大模型是“你描述任务，它自己想办法”；GLiNER2.5 是“你把表格给它，它只负责填空”。

任务边界被框死了，所以它小、它快、它还特别老实——每个抽出来的词，都会附带它在原文里的第几个字到第几个字，你随时能翻回去核对，不像大模型，偶尔给你编一个原文里根本没有的“签约日期”。

二、它到底有多能打？三个地方最扎眼

1. 零样本抽实体，和 GPT-4o 只差不到 1 分

这是最能说明问题的一组数据。

在学术界公认的 CrossNER 跨领域测试里（AI、文学、音乐、政治、科学五个专业领域，模型事先完全没见过），GLiNER2.5 的平均得分是0.590，GPT-4o 是0.599。

差距 0.009。换算一下，就是一百分里差不到一分。

而对手的参数量，是它的几百倍，还得靠机房里的显卡集群撑着。这就好比一个骑电动车的和一个开飞机的比赛送快递，最后只慢了半分钟。

顺便说一句，在“AI”和“文学”这两个细分领域，这个小模型甚至反超了 GPT-4o。

2. 一次调用，把五件事全干了

很多轻量模型只能干一件事：要么认人名，要么做分类，你得装好几个模型拼起来。GLiNER2.5 是“一鱼五吃”：

• 找实体：人名、公司、药品、剂量、症状，你想抽什么类型就写什么类型，还能给每个类型配一句大白话解释，比如“剂量：像 400mg、2 片、5ml 这样的数量”，准确率会明显上升；
• 做分类：判断这段话是正面还是负面、属于科技还是财经；
• 抽关系：谁在哪家公司上班、哪家公司收购了哪家公司；
• 抽结构化记录：直接吐出“买家：张三，商品：苹果”这样成对的数据，不会把一堆人和一堆东西混成一锅粥；
• 给实体打标签：比如只给“人”打上情绪标签，看谁在夸、谁在骂。

最妙的是最后这个。举个官方例子：一句话里“Alice 对这个晋升很开心，但 Bob 对延迟很不满”，它能准确地把“开心”挂到 Alice 头上，“不满”挂到 Bob 头上。这种细活儿，很多大模型反而容易糊成一团。

3. 速度这块，是碾压式的

官方在 CPU 上测了一组延迟数据：分类 20 个标签时，GLiNER2.5 用时163 毫秒，GPT-4o 通过 API 是425 毫秒，而传统方案 DeBERTa 是6758 毫秒——整整 6.7 秒，因为它要给每个标签单独跑一遍。

换算成人话：同样一批活儿，它比调 API 快 2.6 倍左右，比老方案快 40 倍。

而且注意，这是在没有显卡的普通 CPU上跑出来的。你手上那台办公笔记本，就够用。

三、支持派：省下的不只是钱

站在“真香”这一边的人，理由其实很硬：

第一，成本从“按次付费”变成“一次买断”。模型开源、Apache 2.0 协议，商用也行。跑在自己机器上，处理一万份还是一百万份，成本都是电费。对于那些每天要清洗海量工单、简历、财报的团队，这笔账一算就明白。

第二，延迟从“看网络脸色”变成“稳定几十毫秒”。做过线上产品的都懂，用户点一下按钮等三秒和等 0.1 秒，是两种产品。

第三，数据不出门。医疗病历、法律卷宗、金融流水、用户隐私，这些玩意儿根本不该上传到任何人家的服务器。本地跑，天然合规。

第四，结果可追溯。抽出来的每个字段都带原文位置，出错能定位、能复盘。大模型给你一段 JSON，它错在哪、为什么错，你基本靠猜。

四、质疑派：它的短板，同样很硬

但要说它能取代大模型，那纯属吹过头。质疑派的刀，砍得也很准。

短板一：理解力有天花板。

看那张分类成绩单就露馅了：七个数据集平均下来，GLiNER2.5 是0.72，GPT-4o 是0.84，差了 12 个点。特别是“亚马逊意图识别”这种需要读懂言外之意的任务，它只有 0.53，明显吃力。

道理很简单：它是在“找词”，不是在“想事”。你说“这手机真行，用了三天就想换新的”，它能抓到“换新的”这个短语，但未必能品出这是反讽。大模型能。

短板二：它只会按你给的表格填，不会自己设计表格。

你让它从一段杂乱聊天里“总结出所有值得记录的信息”，它会直接懵——因为你没告诉它要记录什么。凡是需要自己判断该抽什么的任务，它都不行。

短板三：多跳推理、复杂指令是死穴。

“找出所有在 2023 年之后被收购、且 CEO 有法律背景的公司”——这种需要绕两三个弯的问题，请老老实实交给大模型。

短板四：关系抽取有坑。

官方文档写得很诚实：独立的关系抽取不保证类型对得上。也就是说，你定义了“在某公司工作”这条关系，它可能把“某公司”当成员工、把“张三”当成老板，方向反了也不一定报错。想严谨，得换它另一套带约束的模式，还得自己检查结果是否“可行”。

短板五：长文档会被“切断”。

文件太长要分段扫描，而一条关系如果头在第二段、尾巴在第三段，那这条关系就直接丢了。这是分段策略的通病，不是它独有的毛病，但你得知道。

短板六：中文用户有个隐形门槛。

它默认按空格切词，而中文没有空格。项目文档明确提示：处理中文这类语言，得手动把切词方式改成按字切。不改的话，效果会打折扣。这种细节，没人提醒你，你可能用半天都不知道问题出在哪。

五、边界结论：哪些活儿真的可以不用大模型？

聊到这儿，答案其实已经浮出来了。“不用 LLM 抽 JSON”不是噱头，但它只对一半的场景成立。

可以放心交给小模型的：

• 字段清单提前就定死的批量抽取（合同要素、发票信息、简历字段、病历结构化）；
• 每天要跑几万几十万条、对成本极度敏感的数据清洗；
• 涉密、涉隐私、必须本地部署的场景；
• 对响应速度有硬要求、要嵌进 App 里的实时功能；
• 需要精确原文定位、方便人工复核的场景。

还是乖乖用大模型的：

• 需求天天变、字段说不清、要它自己判断“什么重要”；
• 需要读懂反讽、暗示、行业黑话的语义理解；
• 要多步推理、跨段落串联线索的分析；
• 一份文档只处理一次、量很小，那点钱不值得折腾。

一个特别实用的思路是：让小模型干 90% 的体力活，把剩下 10% 拿不准的交给大模型复核。成本降下来，准确率还兜住了，这才是真正懂行的用法。

六、普通人想试试，门槛高不高？

说实话，比想象中低。

它是标准的开源软件包，装好之后一行代码就能在本地把模型拉起来。官方还提供了网页版的可视化演示界面，不用写任何东西，点几下就能试着抽取。

硬件方面，595MB 的模型，一台普通办公笔记本就能带得动，甚至能给笔记本省下显卡。如果嫌大，还有更小的 7400 万参数版本，专为“边缘设备”准备，理论上手机、树莓派这类小机器都能试着跑。

不会部署也没关系，官方提供了云端托管接口，可以直接调 API，也能用自己的数据做微调，等于“租着用”。

适合谁？做数据标注和清洗的运营、要处理大量文档的行政和法务、做知识库和搜索的产品经理、想给自家软件加个“自动提取”功能的小团队，以及单纯想在自己电脑上玩一玩本地 AI 的发烧友。

不适合谁？想找个能陪你聊天、能写方案、能改代码的通用助手——那还是去用大模型，别为难它。

写在最后

这两年我们习惯了一个思维定式：AI 越强越好，参数越多越好。

但真实世界里，绝大多数活儿根本不需要“博士生”来干，需要的是一个不出错、不喊累、不涨价、还守口如瓶的熟练工。

GLiNER2.5 这类小模型的走红，本质上不是技术炫技，而是行业开始算账了：当一个 287M 的小家伙能在专业领域和千亿参数的巨头打成平手时，“够用就好”这四个字， suddenly 变得非常值钱。

当然，它也有明显的天花板——不会思考，不会变通，你给什么表它填什么表。

所以问题留给你：如果你手上有一堆天天要处理的表格和文档，你愿意把哪一部分交给这种“不会聊天的 AI”？评论区聊聊，说不定你的场景，正是它最擅长的。

【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1