8G显存就能跑登顶模型:TeleOCR把MinerU、PaddleOCR-VL的私有化成本账算明白了

发布时间:2026/10/25 15:38:49
8G显存就能跑登顶模型:TeleOCR把MinerU、PaddleOCR-VL的私有化成本账算明白了

8G显存就能跑登顶模型:TeleOCR把MinerU、PaddleOCR-VL的私有化成本账算明白了

【免费下载链接】TeleOCR项目地址: https://ai.gitcode.com/XingChen-AGI/TeleOCR

前阵子有个做财务外包的朋友跟我吐槽:公司想把几百箱纸质合同、发票、检验报告做成能搜索的电子档,找了几家厂商问私有化部署报价,对方一开口就是“至少一张A100”,光硬件就够买一辆代步车。

结果这两天,中国电信悄悄开源的一个模型,把这张报价单撕了。

它叫TeleOCR,参数量只有 1.2B,却在一个叫 OmniDocBench 的文档解析“高考”里拿了 96.87 分,把 MinerU、PaddleOCR-VL、甚至 235B 的通用大模型都压在了下面。

更关键的是:一张 8G 显存的普通游戏卡就能跑,量化之后连 2G 显存都不到。

这意味着什么?意味着一台四千块的办公主机,就能把“扫描件变结构化文档”这件事,彻底搬回自己公司机房。

一、先搞懂:它到底是个啥?

你可以把 TeleOCR 理解成一个能看懂“整张纸”的翻译官。

以前的 OCR,本质上是“认字”。它能把图片里的字一个个抠出来,但抠完就散了——标题和正文分不清,表格变成一堆乱码,公式变成外星文,你还得自己一点点拼。

TeleOCR 不一样,它看的是版面。它会告诉你:这块是标题、这块是正文、这是一个三行四列的表格、这是一个数学公式,然后直接把整页内容输出成 Markdown、HTML 或者 LaTeX。

打个比方:以前的 OCR 是雇了一群只会抄字的临时工,TeleOCR 是请了一位排版编辑。临时工抄完你还得自己排版,编辑交稿就是能直接用的成稿。

更绝的是“手机拍照”这件事。

我们拍合同、拍书页,总会拍歪、拍弯、拍出透视变形。传统做法要先用一个“文档矫正”模型把图掰正,再送进识别流程——多一个模型,就多一份显存、多一层出错可能。

TeleOCR 把矫正这件事直接学进了模型脑子里。歪的、卷的、斜着拍的,它都能直接读。用网友的话说:“拍照再歪,也能一次解析到位。”

二、算第一笔账:显存到底要多少?

这是这篇文章最想聊的部分,因为私有化部署真正的门槛,从来不是算法,是那张卡。

先看 TeleOCR 的体量:模型权重文件大约2.8GB(bf16 精度)。这意味着什么?一张 8G 显存的卡,装下模型之后还剩 5G 多,足够处理常规的 A4 文档图片。

如果想更省,社区已经跑通了 INT4 量化,显存占用压到 2GB 以内;还有人做了 GGUF 版本,模型瘦身到1.5GB 左右,用 llama.cpp 在纯 CPU 上就能推理,连独立显卡都不需要。

再对比一下另一条路:MinerU 是老牌选手,效果确实稳,但它是流水线式的——版面检测一个模型、文字识别一个模型、表格结构一个模型、公式识别又一个模型,几个模型排队上阵,显存是一层一层往上加的。PaddleOCR-VL 也是类似思路,需要版面模型 + 识别模型串起来跑。

所以差距不在“单模型谁更小”,而在整条链路谁更短:

  • 多模型流水线:显存要按“峰值叠加”算,部署时要调四五个模型的版本兼容,升级一个牵动全身;
  • 单模型端到端:一张卡、一个进程、一次调用,出问题只查一个地方。

这就是中小团队最真实的成本:不是买卡的钱,是后面无数次“环境又崩了”的加班。

三、算第二笔账:效果到底配不配这个价?

便宜没用,得看它能不能干活。

先看最常见的表格。这是文档解析里最容易翻车的地方——合并单元格、跨行跨列、表头套表头,传统方案经常把一张表识别成一锅粥。

像这种“出厂检验和型式检验项目”的国标表格,有合并单元格、有勾选符号、有多级条目。TeleOCR 输出的是带行列结构的标准表格,能直接粘进 Excel 或网页,不用人肉重排。它在表格结构指标上拿到97.05 分,是目前公开榜单里的第一梯队。

再看公式。这是学术党和工程师的刚需。

一整段多行推导,从组合数到阶乘展开,TeleOCR 能还成 LaTeX 公式,而不是给你一串“alpha 减一 括号”这样的天书。

还有一类很实用的场景:从图表里把数据挖出来。

一张柱状图,人眼一看就知道哪年是多少,但机器以前只能干瞪眼。TeleOCR 能把图里的数值关系还原成表格,做行业报告、做竞品分析的人会懂这有多省事。

纯文字识别当然也不在话下:

而在最能体现“真实世界有多脏”的 Wild_OmniDocBench 上(大量手机实拍、弯曲、反光、阴影的文档),TeleOCR 拿到88.53 分,同样排在第一,压过 PaddleOCR-VL-1.6 的 87.36 和 MinerU2.5-Pro 的 87.33。

顺带说个反差感很强的数据:同一个榜单上,235B 参数的 Qwen3-VL 是 89.78 分,GPT-5.2 是 86.52 分。一个 1.2B 的小模型,在“看懂文档”这件专门的活上,把千亿级通用大模型比下去了。

这也印证了一句话:专才不一定输给通才,尤其是在需要抠细节的活儿上。

四、算第三笔账:谁能用得起、用得上?

我把适用人群分成三档,你对号入座。

第一档:有 8G 显卡的小团队、工作室。二手 8G 显卡现在千元级就能拿下,配一台普通主机,总投入控制在五千以内。财务票据归档、合同要素提取、质检报告电子化,这类“量大、重复、格式固定”的活,最适合它。跑在本地,数据不出门,这对法务、医疗、政务类客户几乎是硬指标。

第二档:只有笔记本、没有独显的个人。走 GGUF + CPU 推理这条路,模型 1.5GB,普通轻薄本也能跑,只是速度慢一些。适合自媒体人整理采访录音稿、学生把纸质笔记和论文拍照转文字、程序员把代码截图还原成可复制的源码。

第三档:国产算力环境。社区已经有玩家把它跑在昇腾 910B 上了。对有信创要求的单位来说,这点比跑分更值钱——能落地,比能拿第一更重要。

当然,也别把它当万能药。手写潦草的字迹、超大尺寸的工程图纸、本身带文字层的“假扫描 PDF”,这些仍然是它的边界。真要做生产系统,还得配上分辨率控制、长文档分块、结果校验这些“脏活”。

五、写在最后

我觉得 TeleOCR 真正的意义,不是又多了个榜单第一。

而是它把一件原本属于“大厂预算”的事,拉到了小公司甚至个人也能负担的区间:过去要一张专业卡、一套流水线、一个算法工程师维护;现在一张游戏卡、一个模型、一次调用。

技术普惠这件事,从来不是把模型做得更大,而是把门槛做得更矮。

所以想问问大家:如果本地就能跑一个“拍照即转文档”的模型,你最想先解决手头的哪件麻烦事?是堆了半年的报销单,还是那本舍不得撕开扫描的旧书?评论区聊聊。

【免费下载链接】TeleOCR项目地址: https://ai.gitcode.com/XingChen-AGI/TeleOCR

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考