arXiv每日论文分析：从千篇预印本到Top10的自动化筛选流水线

2026-09-29 的这份 arXiv 每日论文分析报告，我其实从 9 月 28 号晚上 19 点就开始了。原因很简单：arXiv 的公告摘要总是在美东时间晚上七点左右放出，这大概相当于北京时间的次日早上七点。我趁热把当天新增的预印本拉下来，做过滤、打分、聚类，到第二天上午就能把一份干净的报告发出去。今天想跟你聊的，不是某一个具体结果，而是这套日更流程背后真正值得复用的东西——你到底应该怎么从几千篇新论文里，选出值得读的 Top 10。如果你也在做科研追踪、技术选型，或者只是被“每天刷十次 arXiv 还是一无所获”折磨过，那这篇文章就是给你准备的。

1. 每天上千篇论文：这份分析报告到底在解决什么

1.1 论文早市里的采购清单

先说一个数字。arXiv 现在每天新增的公告，少的时候一两千篇，多的时候能到四五千篇。这个量级还不算 arXiv 之外的期刊预印本和会议版本。你不可能全部读完，甚至不可能全部扫一遍标题。所以每日论文分析报告的本质，不是做一个目录，而是做一张采购清单——就像你走进一个几千个摊位的早市，没有人会把每个摊位都逛一遍，你需要的是按目标提前圈定几个摊位，然后直奔过去。

我自己的报告基线覆盖了 cs、stat、math、eess 和 q-bio 这几个主要板块。每个板块的侧重点不一样：cs 里我会多留意系统和模型结构的变化，stat 里看推断方法和不确定性量化，q-bio 里更关心方法能不能迁移到生物数据。2026-09-29 这天的报告数据，对应的是 9 月 28 日提交公告的那批论文。因为 arXiv 的公告列表并不是以自然日为准，而是按美东时间“前一天晚上 19:00 到当天晚上 19:00”算一个批次。对初次接触的人来说，这个边界是第一个容易绕晕的地方。

这样一份报告承担三个职责：帮你节约时间、帮你发现盲区、帮你保持对领域风向的判断。节约时间很好理解，一天一次集中处理；发现盲区则要靠聚类和冷门观察，把那些引用数还没起来但方法有意思的工作捞出来；保持风向判断则需要连续记录，而不是只看单日。所以我的报告不是一次性消费的内容，它的真正价值体现在连续积累之后的趋势里。

1.2 谁需要每日论文分析报告

我总结下来，真正需要这份报告的是三类人。第一类是博士生和刚起步的研究者，他们通常没有特别窄的方向，需要自己大量读文献找 gap，但又怕漏掉重要工作。第二类是已经定方向的成熟研究者，他们不需要每天把所有论文浏览一遍，只需要有人帮他们盯住“跟我这条线相关的今天出现了什么”。第三类是工业界关注前沿的技术团队，他们不太关心论文指标本身，看的是方法能不能用在产品里、哪些新思路过两天就会变成开源代码或者工具。

我会在报告头部保留一个“一句话导读”：今天有哪些值得看的名字、有几个方向在互相碰撞、有没有看不懂但感觉重要的工作。后面才是 Top 10 榜单和冷门观察。这种结构对不同基础的人都友好：新手可以顺着导读去读原文，老手可以只看榜单里的推荐理由。

注意，报告不是给所有人同一份。因为是个人项目，我把它做成可配置的：每个订阅者都可以维护自己的关键词字典、关注领域和评分权重。同样是 2026-09-29 的报告，一个做联邦学习的同事看到的榜单，和一个做量子计算的同事看到的榜单，排序可以完全不同。分析报告的个性化，才是它区别于普通 RSS 摘要的核心竞争力。

2. 从抓取到产出：我的每日 arXiv 流水线设计

2.1 为什么报告从前一晚 19 点就开始了

很多人以为每日报告是早上爬起来现做的。真这样干，一个上午基本就没了。我的做法是：前一天晚上 19:05 触发的定时任务，等 arXiv 的公告列表稳定后开始抓取，然后把中间结果存到本地；第二天上午只需要读生成好的报告草稿，花半小时做人工校准。

这里有个关键的时间逻辑。arXiv 的公告批次用的是美东时间：每天晚上 19:00 左右发布“次日公告”的摘要。也就是说，2026-09-29 的报告，实际处理的是从美东 9 月 28 日 19:00 到 9 月 29 日 19:00 之前进入公告队列的论文。换句话说，报告文件名里的日期是发布日期，不是提交日期。如果你直接用提交日期去对账，会发现自己怎么都对不上，这是最早坑到我的问题之一。

调度脚本放在一台小型 Linux 服务器上，用 cron 固定触发，关键片段如下。这里 23:05 是 UTC 时间，对应美东夏令时 19:05；冬令时则要改成次日 00:05。所有时间统一存 UTC，展示时再转美东，能避免夏令时切换造成混乱。

# 每天 19:05 ET 拉取公告列表 5 23 * * * cd /opt/arxiv-daily && python fetch_announcements.py --date 2026-09-29

为什么要等五分钟？官方公告列表发布时偶尔会有延迟，等 5 到 10 分钟可以让系统缓冲稳定，减少抓取半截、数据缺块的问题。之后还有个重试机制：如果请求失败，每隔 30 分钟重试一次，最多三次；三次还失败就标记异常，宁可今天不生成榜单，也不要生成一个缺了关键板块的假完整榜单。

2.2 用官方 API 拉公告，而不是自己爬页面

曾经我也写过爬虫去抓 arXiv 的 listing 页面，后来果断放弃了。原因很实在：页面结构一改脚本就废，而且请求太频繁会给公共平台增加不必要的负担。官方 API 已经够用，还稳定。拉公告列表的标准姿势是用 export API 加 submittedDate 范围，或者直接读当日公告的 Atom feed。

我日常用的是 export API 的 search_query，大致长这样：

curl -s "http://export.arxiv.org/api/query?search_query=submittedDate:[20260928220000+TO+20260929220000]&start=0&max_results=2000&sortBy=submittedDate&sortOrder=ascending"

注意，示例里的 submittedDate 范围是 UTC 时间。因为论文在系统里的时间戳是 UTC，批次边界不能直接用美东时间去截。先把 19:00 ET 转成 UTC，再拼进查询条件，就能准确拿到“这个公告批次”的论文元数据。每次 max_results 不要一口吃太大，我通常分页拉，每页 200 条左右。

拿到的是 XML 格式，每条记录包含标题、作者列表、摘要、分类、DOI 信息、报告注释等等。我会把解析好的结果转成 JSON 落盘，方便后面做过滤和打分。这一阶段不建议做任何模型推理，就把原始字段清洗、整理好，等下一环节再处理。把抓取、清洗、分析解耦，任何一个环节坏了都可以单独重跑。

2.3 第一步筛选：规则路由先砍掉八成噪声

我关注的范围比较宽，如果直接把 cs、stat、math 的全部论文都送进评分模型，投入产出比太低。所以流水线第一关是一套规则路由：用关键词词典和正则规则把候选集砍到真正跟报告主题相关的部分。这步在工程上叫粗排，目的是把明显不相关的内容去掉，而不是做精细排序。

关键词不能写得太粗，否则等于没写。比如做图神经网络的，只搜“GNN”会把很多引申工作都丢掉；关注大模型对齐的，如果只搜“alignment”，又会带进来一大堆图形学里的对齐。我的做法是把词典分层：一组是必须出现的种子词，一组是可选加权词，一组是硬排除词。硬排除词用来处理被种子词误报的领域，比如“transformer”在电力领域也常见，但配合“attention + self-supervised”通常就能避开。

示意规则如下：

seed_words = {"图神经网络", "GNN", "graph neural", "message passing"} weighted_words = {"节点分类", "链路预测", "分子图", "谱方法"} exclude_words = {"transformer architecture for power system"} def route(entry): text = entry["title"] + " " + entry["abstract"] if not any(w.lower() in text.lower() for w in seed_words): return False if any(w.lower() in text.lower() for w in exclude_words): return False return True

这一步砍掉八成左右噪声是常态。不要试图让规则一招吃遍天：规则的目的只是快速把明显无关的滤掉，真正的排序留给后面的评分模型。规则太严会漏报，太松会增加下一阶段成本。因为每天都会出现新术语，我这边词典是每周更新一次，周末花二十分钟把上周新见到的关键词加进去。

3. 筛选、打分、聚类：核心环节怎么做

3.1 五维评分模型：把“感觉不错”变成可量化

粗排之后，剩下几百篇候选。接下来要做的是精排。我给每篇论文打第一轮分，维度是五个：新颖性、相关性、方法可信度、影响潜力、复现性。每个维度都是 0 到 10 分，最后加权求和。

权重不是拍脑袋定的。我把“发现新方向”放在最前面，因为日报的价值是雷达而不是教科书。相关性作为第二位，是因为再新颖的工作，如果读者不关心，就不该占今日榜单的位置。方法可信度和影响潜力放在后面对冲前两个维度的主观性：一个听起来很吓人的标题，如果实验只有一组、没有对比，分数就会被拉下来。

公式也很简单：score = 0.3nov + 0.25rel + 0.2method + 0.15impact + 0.1*repro。为了提高模型对“当天热点”的感知，我还会在最终分上加一个奖励项：如果一篇论文被同批次三篇以上新论文在参考文献里引用，说明它可能是正在爆发的节点，奖励 1 到 2 分。

打分可以用大模型辅助，但我强烈不建议完全交给模型。我自己的流程是：模型输出每个维度的分数和一行理由，理由里必须带原文摘要里出现的实体；然后我逐条扫理由，凡是理由跟摘要对不上的，人工修正。这个过程每天 30 分钟，比从零看几百篇快太多，又避免了幻觉分数。

3.2 影响力信号：除了引用数还能看什么

新预印本还没有引用数，怎么判断影响潜力？我会收集四类信号。第一类是 Semantic Scholar API 返回的引用图谱；第二类是 GitHub 上同名项目在当天的 star 变化；第三类是社交网络上的转发，这个噪声很大，我只把它当作提醒，不当分数；第四类是检测“引用爆发”，即当天被多篇新论文同时引用的那些旧论文。

信号采集也要小心。作者自引属于正常现象，但如果自引占比超过一半，这篇论文的热度可信度就要打折。社交平台上的讨论声量大不等同于学术价值高，之前就见过传播性很强的预印本在两天内被反复转发，最后代码和实验都站不住脚。所以我把每个信号都打上一个可信度标记：高、中、低，报告里只展示高可信度的信号作为推荐理由，其余放候选列表。

可能你会问，既然这些信号都不能全信，为什么还要收集？答案很简单：它们覆盖了不同时间尺度。引用爆发看的是当下，GitHub 看的是工程落地动作，讨论热度看的是传播。三个信号互相印证的时候，比单独一个信号可靠得多。

3.3 聚类找热点：看出今天真正的新方向

几百篇候选里，真正算得上“今天的新方向”的，往往只有三五个小簇。为了把它找出来，我同时用两种聚类方法。第一种是语义向量聚类：把标题和摘要拼接后用 embedding 模型转成向量，再做聚类。第二种是关键词共现：统计候选论文摘要里高频词的共现关系，连成一张读者也能看得懂的微领域地图。

embedding 部分我用的句子级模型，比如 sentence-transformers 里的轻量模型，对标题摘要来说够用。聚类算法选 HDBSCAN，好处是不需要预先指定簇数，能把没形成簇的散点单独扔出来。示例代码如下：

from sentence_transformers import SentenceTransformer import hdbscan model = SentenceTransformer("all-MiniLM-L6-v2") texts = [p["title"] + ". " + p["abstract"] for p in candidates] vecs = model.encode(texts, show_progress_bar=False) clusters = hdbscan.HDBSCAN(min_cluster_size=3).fit(vecs) for idx, label in enumerate(clusters.labels_): candidates[idx]["cluster"] = int(label)

聚类结果怎么用？一簇内部先按评分排序，簇与簇之间按“簇内最高分 + 簇规模”排榜单。报告里的 Top 10 不是直接取全局前 10，而是先保证簇覆盖，避免一整个方向垄断榜单，让读者听到更多声音。

除了 Top 10，我还会给每天留两个“冷门观察”的位置：选出评分不高但聚类里独苗的特殊工作。这种工作往往来自小团队、非热门方向，过几周再回看，经常能发现“原来那天就有人埋了种子”。2026-09-29 的报告我也按这个逻辑做，先保证热门簇被覆盖，再留空间给冷门信号。

4. 踩坑记录：日期错位、重复预印本与摘要幻觉

4.1 日期错位：报告里混进了前天的论文

第一个坑就是日期错位。最初我用自然日去拉数据，结果报告里混进大量前一天的论文。其实 arXiv 的时间戳全部是 UTC，公告批次的边界又是美东时间十九点，两者之间差着 4 到 5 个小时。后来我把 batch_start 和 batch_end 做成配置文件，显式写清楚 UTC 换算，并且每次生成报告时先打印一行：batch_start=2026-09-28T23:00:00Z，batch_end=2026-09-29T23:00:00Z，既方便自己核对，也让订阅者知道这份报告覆盖的是哪段时间。

还有一个很容易忽略的问题：夏令时切换。美国在三月和十一月切换夏令时，ET 与 UTC 的时差从 4 小时变成 5 小时。如果配置只用一次写死的时间，每年会有两个礼拜的报告日期对不上。我的做法是所有时间都存成 UTC，只在展示和查询时转成美东；cron 触发时间用系统时区统一配置，并在切换前后各做一次测试。

4.2 重复预印本：改名再投的同一篇怎么去重

第二个坑是重复预印本。同一批提交里经常出现同一个工作被拆成两份投出去：预印本标题几乎一样、作者顺序微调，或者工作扩展了 20% 内容就换了新标题。如果不去重，榜单里同一簇会被同一组人占三个位置，看上去像今天有三项突破，其实只有一个。

去重我用两层。第一层是标题加作者归一化：把全角符号转半角、所有字母小写、去掉标点和空格，作者列表按字母排序后拼接。第二层是摘要相似度：对剩余候选两两计算 Jaccard 或余弦相似度，超过阈值就归为同一簇，只保留评分最高的一篇。

def normalize_title(s): return re.sub(r"[\W_]+", "", s.lower()) def jaccard_tokens(a, b): A, B = set(a.split()), set(b.split()) return len(A & B) / max(1, len(A | B))

阈值我一般设在 0.35 到 0.45，太高会漏掉改名版本，太低会把真正相近但不重复的工作误杀。每组误杀都让人肉疼，所以我保留一个“相似对”列表，在报告里作为提醒展示，而不是直接删除。

顺带一提，如果重复的是同一个工作的不同版本（v1、v2），算不算重复？我认为只要新版有实质实验扩展，就算新条目；如果只是修错别字和补引用，就只在报告注释里指向 v1。

4.3 摘要幻觉：大模型总结把方向写反了

第三个坑是大模型摘要幻觉。刚开始我用生成式模型给每篇候选写一句推荐理由，很快发现它会在摘要里脑补出根本不存在的对比实验。比如摘要明明说“在三个任务上取得提升”，模型居然写出“在五个数据集上全面领先”。这是做分析报告最不能被容忍的错误——读者是根据你的理由去决定读不读的，理由一旦失真，整个报告的可信度就崩了。

我现在的做法分两段。第一段用抽取式摘要兜底：从摘要里挑最像结论的三句话，原样搬运，不做改写。第二段才让生成式模型做润色，但必须通过实体校验：模型输出里的每个实体，比如数据集名、模型名、指标名，都要在原文摘要出现过，出现过才通过；不通过就退回抽取式摘要。最后，报告里的 Top 5 论文我坚持人工读一次原文摘要，这是主任务，不能省。

我想强调的是，不要迷信模型的能力。大模型可以做辅助，但是每日分析报告的信任感来自“可追溯”和“可复核”。每一条推荐理由后面，我都带一个原文链接；每一条打分理由都注明依据来自哪一段。这样即使错了，也能追溯到源头。

5. 报告的影响范围：从个人效率到团队雷达

5.1 把“刷 arXiv”变成“读报告”

这套流程跑下来，对我影响最大的不是每天省出了多少分钟，而是注意力结构变了。以前我的习惯是每隔几小时刷一次 arXiv listing，看到标题觉得有意思就点开，经常一上午陷进去，下午才发现什么正事都没干。现在改成每天早上读一份 1500 字左右的报告，需要跟进的工作点开链接细看，其余的直接归档到月度回顾里。一天一次的频率听起来好像更慢了，但对注意力的保护是结构性的。

另一个变化是记录成了资产。每天报告落盘，一周之后可以回溯：上周大家都在讨论什么、哪几个方向在升温、哪些论文在几天内被大量引用。单日报告是雷达屏上的一个点，连续记录后，你才看得到轨迹。这句话是我自己最真实的体会。

5.2 团队共享与领域地图

个体用和团队用价值很不一样。我把报告接进了实验室的小群，每周挑一天输出一份周汇总。团队里有人做理论、有人做系统、有人做应用，各人订阅的关键词不同，周汇总时把各自的 Top 10 合到一起，能明显看出组内知识雷达里共同关注的兴奋点在哪。这不只是文献分享，更是一种低成本的知识对齐：我不用把某人看过的每一篇论文都读一遍，也能从聚合信号里知道他在关注什么。

如果时间拉得足够长，还能量化出领域地图的变化趋势。比如某个关键词在第一季度还很冷，第二季度突然进入多个簇的高频共现，那基本可以判断它正在成为热点。这种观察对选题和立项都有帮助，是从个人效率溢出到团队决策的价值。

5.3 报告还能扩展成什么

最后分享几个我认为值得扩展的方向。第一是个性化预警，不仅按关键词过滤，还按“你最近三周的阅读行为”做相似论文推荐。第二是自动标注时间线，对同一论文的 v1/v2/v3 做变化摘要，省去重复读版本的时间。第三是做年度长报告，用聚类结果画出全年研究热点的迁移，我在年底会跑一版，反馈通常比单日报告更有趣。

这些扩展我会在下半年慢慢做进去。核心方法论不变：抓取、过滤、评分、聚类、人工校准。只要这个链路保持透明可追溯，报告就不会被模型带偏，也不会被信号噪声带偏。我自己的体会是，每日论文分析报告最终服务的不是“今天有什么新论文”，而是“今天哪些变化值得我放进判断里”。沿着这个原则往下走，很多吃力不讨好的细节都能自己找到答案。