SLR-AI工具横向对比：系统综述中AI筛选与信息抽取的实测与避坑指南

1. 为什么我想聊聊SLR-AI这件事

去年帮一个师弟改系统综述的稿子，他洋洋洒洒写了四十多页，参考文献两百多条，结果我翻到方法学部分一看，文献筛选流程写得含糊其辞，纳入排除标准前后矛盾，检索策略只写了一句"在多个数据库中检索相关文献"。我问他怎么筛的，他说用ChatGPT帮忙读摘要、判断相关性，效率高了不少。我当时没直接批评他，而是让他把AI判断的结果和人工复核的结果做个对比，结果发现AI漏掉了将近三成的关键文献，还把几篇明显不相关的文章标成了"高度相关"。

这件事让我意识到一个很现实的问题：SLR-AI工具正在快速渗透进学术研究的文献综述环节，但大多数使用者并不清楚这些工具的能力边界在哪里。SLR是Systematic Literature Review（系统文献综述）的缩写，它和普通的"文献回顾"最大的区别在于方法学的可复现性和透明度——你必须让任何一个读者按照你写的方法，能够独立复现出同样的结果。而AI工具的介入，恰恰在这个"可复现性"上埋了不少雷。

这篇内容我想做的事情很明确：把目前市面上主流的几类SLR-AI工具拉出来做个横向比较，拆解它们各自的技术路线、适用场景和实际表现，然后结合我自己和身边同行的使用经验，给出一些真正能落地的使用建议。不管你是正在写第一篇系统综述的研究生，还是带学生做课题的高校教师，或者是需要做循证报告的企业研究员，这篇内容应该都能帮你少走一些弯路。

需要提前说明的是，我讨论的范围限定在学术文献综述辅助这个场景，不涉及其他用途。所有工具的评价都基于公开可获取的信息和实际使用体验，不构成任何商业推荐。

2. SLR-AI工具到底分几类，各自在干什么

2.1 从"文献筛选"到"全文生成"的四层能力模型

很多人一提"AI写综述"，脑子里浮现的就是把题目丢给ChatGPT，然后等它吐出一篇完整的文章。这种理解太粗糙了。实际上，SLR-AI工具按照介入深度，可以分成四个层次，每个层次解决的问题完全不同。

第一层是检索辅助层。这一层的工具帮你做的是：根据研究问题生成检索式、推荐关键词同义词、在不同数据库之间转换检索语法。比如你研究的是"远程办公对员工心理健康的影响"，工具会帮你把"远程办公"扩展成"telework""remote work""work from home""distributed work"等一组同义词，再组合成适配Web of Science或Scopus语法的检索式。这一层相对成熟，出错率也低，因为本质上是词汇映射和布尔逻辑组合。

第二层是筛选辅助层。这是目前争议最大、也最需要谨慎使用的一层。工具需要根据你设定的纳入排除标准，判断一篇文献的标题和摘要是否相关。技术路线主要有两种：一种是基于预训练语言模型做文本分类，另一种是基于大语言模型做零样本或少样本判断。前者需要你提供一批已标注的样本做微调，后者可以直接用提示词驱动。我后面会详细对比这两种路线的实际表现差异。

第三层是信息抽取层。文献纳入之后，你需要从每篇全文里提取结构化信息：研究设计、样本量、干预措施、主要结局指标、效应量等等。这一层的工具试图把非结构化的PDF文本转成结构化的数据表。听起来很美好，但实际操作中，不同期刊的排版格式千差万别，表格、图注、补充材料里的信息往往被漏掉，抽取准确率远没有宣传的那么高。

第四层是综合写作层。也就是用AI来撰写综述的正文部分，包括研究背景、方法描述、结果综合、讨论等。这一层是风险最高的，因为大语言模型存在幻觉问题——它会生成看起来很像真的但实际不存在的参考文献，会把不同研究的结果张冠李戴，会在没有足够证据的情况下给出确定性结论。我个人的立场很明确：这一层可以用，但只能用来做语言润色和结构建议，核心内容和所有事实性陈述必须由研究者自己把控。

2.2 为什么"全自动写综述"是个伪命题

市面上有些工具宣称能"一键生成完整综述"，我实测过几款，结论是：在学术发表的标准下，全自动生成的综述不可用。原因不在于AI写得不够流畅，而在于系统综述的核心价值恰恰在于方法学的严谨性，而方法学的每一个决策——为什么选这几个数据库、为什么设定这样的时间范围、为什么排除某类研究设计——都需要研究者的专业判断，这些判断背后是对研究领域的深刻理解，不是模式匹配能替代的。

打个比方，系统综述就像做一道需要精确配方的化学实验。AI可以帮你称量试剂、搅拌溶液，但实验设计、异常判断、结果解释这些环节，必须由懂化学的人来做。如果你让一个不懂化学的人拿着AI给的配方去做实验，出来的结果大概率是不可靠的。

所以我在后面的讨论中，会把重点放在"AI能帮你做什么"和"AI不能帮你做什么"的清晰划分上，而不是笼统地推荐或不推荐某个工具。

3. 主流SLR-AI工具横向对比：我的实测记录

3.1 对比维度的设定

为了做这个对比，我设定了六个维度：检索式生成质量、摘要筛选准确率、全文信息抽取完整度、参考文献真实性、方法学透明度、价格与可及性。测试用的研究问题是"正念干预对大学生焦虑水平的影响"，检索范围限定在2018到2024年的英文同行评议期刊论文。

我选取了四类代表性工具：通用大模型（ChatGPT、DeepSeek）、专用SLR平台（如Rayyan、Covidence的AI功能）、学术搜索引擎的AI辅助（如Consensus、Elicit）、以及开源方案（基于本地部署的模型）。需要说明的是，工具版本迭代很快，我的测试结果反映的是特定时间点的表现，不代表永久结论。

3.2 检索式生成：通用大模型反而更灵活

在检索式生成这个环节，通用大模型的表现出乎意料地好。我给ChatGPT的提示词是："请为系统综述生成检索式，研究问题为'正念干预对大学生焦虑水平的影响'，需要覆盖Web of Science和Scopus两个数据库，包含同义词和近义词，使用布尔逻辑。"

它给出的检索式结构完整，同义词覆盖也比较全面，比如把"正念"扩展成了"mindfulness""mindfulness-based intervention""MBSR""MBCT"等，"大学生"扩展成了"college student""university student""undergraduate""higher education student"等。我拿这个检索式去实际跑了一遍，召回率大约在85%左右，漏掉的主要是一些使用非标准术语的研究。

DeepSeek在这个任务上的表现和ChatGPT接近，但在同义词的广度上略逊一筹，比如它没有主动把"MBCT"（正念认知疗法）纳入，需要我在追问中补充。专用SLR平台的检索式生成功能反而比较死板，通常是基于预设的词汇表做映射，灵活性不如通用大模型。

实操心得：用通用大模型生成检索式时，一定要追问一句"还有哪些我可能遗漏的同义词或相关术语"，这一问往往能补上不少关键遗漏。另外，生成的检索式必须拿到数据库里实际跑一遍，根据结果调整，不能直接照搬。

3.3 摘要筛选：准确率远没有宣传的那么高

这是我最关注的环节，也是问题最多的环节。我的人工筛选结果是纳入42篇、排除158篇（共200篇摘要）。然后我用不同工具做了同样的筛选任务，结果如下：

这个表格里的数据很说明问题。零样本条件下，通用大模型的漏纳率普遍在30%左右，意味着每10篇应该纳入的文献，它会漏掉3篇。对于系统综述来说，漏掉关键文献是致命伤，因为你的结论可能因此产生偏差。

专用SLR平台的表现好一些，但前提是你需要先人工标注一批样本（通常50到100篇）来微调模型。这个前期投入是值得的，因为微调后的模型更贴合你的具体研究问题和纳入标准。

漏纳的主要原因有几个：一是摘要中使用了不常见的术语或缩写，模型没有识别出来；二是研究设计描述比较隐晦，比如用"mixed-methods"而不是明确的"randomized controlled trial"；三是摘要本身信息量不足，关键信息在全文里，但模型只看了摘要。

注意事项：无论用哪个工具做摘要筛选，人工复核都是必须的。我的做法是让AI先筛一遍，把所有被AI判定为"排除"的文献再人工过一遍，重点看那些标题里包含关键词但摘要写得比较模糊的。这一步能挽回大部分漏纳。

3.4 信息抽取：结构化字段的准确率分化明显

信息抽取环节，我测试了从20篇纳入文献中提取以下字段：研究设计、样本量、干预时长、主要结局指标、效应量。结果发现，不同字段的抽取准确率差异很大。

样本量和干预时长这类数值型字段，抽取准确率相对较高，大约在80%到90%之间，因为这类信息通常在摘要或方法部分的固定位置出现，格式比较规范。研究设计字段的准确率中等，大约70%，主要问题在于有些研究使用了混合设计或准实验设计，模型容易归类错误。效应量字段的准确率最低，只有50%左右，因为效应量的报告方式五花八门，有的报告Cohen's d，有的报告Hedges' g，有的只报告均值和标准差，模型经常搞混。

专用SLR平台在信息抽取上做了更多工程优化，比如支持自定义抽取模板、支持从表格中提取数据，准确率比通用大模型高出一截。但即便如此，抽取结果仍然需要逐条人工核对，尤其是数值型数据，一个数字错了，后面的元分析就全错了。

3.5 参考文献真实性：这是最大的雷区

我专门测试了让大模型生成一段综述正文，然后检查它引用的参考文献是否真实存在。结果触目惊心：ChatGPT生成的15条参考文献中，有4条是完全虚构的，作者名、期刊名、年份、卷期号一应俱全，看起来非常逼真，但去数据库里一查，根本不存在。DeepSeek的情况稍好，15条中有2条虚构，但仍然不可接受。

这些虚构的参考文献有个特点：它们往往出现在论述比较宏观、需要引用经典理论或权威研究的地方。模型会"编造"一篇看起来应该存在的文献来支撑它的论述。如果你不逐条核实，这些假文献就会进入你的正式稿件，后果不堪设想。

重要提醒：任何AI生成的参考文献，都必须逐条在数据库中核实。我自己的流程是：AI生成的内容只作为草稿参考，所有引用必须从我自己读过的文献中选取，绝不直接使用AI给出的引用信息。

3.6 价格与可及性：免费的不一定差，贵的不一定好

价格方面，通用大模型有免费额度，对于偶尔使用的用户来说基本够用。专用SLR平台通常按项目或按月收费，价格从几十到几百美元不等，对于需要做多个综述的团队来说是一笔不小的开支。开源方案虽然免费，但需要自己部署和维护，技术门槛较高。

我的建议是：如果你只是偶尔做一次系统综述，用通用大模型的免费额度加上人工复核就够了。如果你是研究团队，经常需要做系统综述，可以考虑专用SLR平台，但一定要先试用，确认它的功能真的能提升你的效率，而不是增加你的学习成本。

4. 把AI用对地方：我的实操流程拆解

4.1 整体流程设计：AI介入的边界在哪里

经过多次实践，我形成了一套相对稳定的SLR-AI协作流程。核心原则是：AI负责"广度"和"速度"，人负责"深度"和"判断"。具体来说，AI在检索式生成、初筛、信息抽取的初步整理这三个环节可以发挥较大作用，但在研究问题界定、纳入排除标准的制定、关键文献的深度阅读、结果解释和结论推导这些环节，必须由研究者主导。

这个边界不是拍脑袋定的，而是基于一个基本判断：系统综述的质量取决于方法学的严谨性和研究者对领域的理解深度，而这两点恰恰是当前AI的短板。AI擅长的是模式识别和文本处理，它可以在大量文本中快速找到符合某种模式的片段，但它不理解这些片段的学术意义，也无法判断某个研究的方法学质量是否可靠。

4.2 检索式生成与优化的具体操作

我通常分三步来做检索式。第一步，把我的研究问题拆解成PICO框架：Population（大学生）、Intervention（正念干预）、Comparison（常规护理或无干预）、Outcome（焦虑水平）。第二步，把PICO的每个元素交给AI，让它生成同义词和相关术语列表。第三步，我自己根据领域知识补充AI遗漏的术语，然后组合成检索式。

这里有个细节值得展开：AI生成的同义词列表往往偏向"标准术语"，而遗漏"边缘术语"。比如在正念研究领域，"mindfulness"是标准术语，但有些研究用的是"present-moment awareness"或"acceptance-based intervention"，这些边缘术语AI不一定能想到。我的做法是，先读几篇该领域的经典综述，把里面出现的关键术语记下来，再和AI生成的列表做对比，取并集。

检索式生成后，我会先在一个数据库里跑一遍，看看结果数量是否合理。如果结果太少（比如只有几十条），说明检索式太窄，需要放宽条件；如果结果太多（比如上万条），说明检索式太宽，需要增加限制条件。这个"试跑-调整"的过程通常需要两到三轮。

4.3 摘要筛选的人机协作模式

摘要筛选我采用的是"AI初筛+人工复核"的两阶段模式。第一阶段，我把所有摘要导入AI工具，让它根据我设定的纳入排除标准做判断，输出"纳入""排除""不确定"三类结果。第二阶段，我人工复核所有被标记为"排除"和"不确定"的摘要，以及随机抽取20%被标记为"纳入"的摘要做质量检查。

这个流程的关键在于纳入排除标准要写得足够具体。我见过很多人的标准写的是"排除质量低的研究"，这种标准AI没法执行，因为"质量低"是个主观判断。好的标准应该是可操作的，比如"排除样本量小于30的研究""排除没有使用随机分组的研究""排除仅报告质性结果的研究"。

人工复核被AI排除的摘要时，我会特别关注两类：一类是标题里包含核心关键词但摘要写得比较简略的，另一类是使用了非标准术语描述研究设计的。这两类是AI漏纳的高发区。

4.4 信息抽取的模板设计与校验

信息抽取的模板设计直接决定了抽取质量。我的模板通常包含以下字段：研究ID、作者年份、国家、研究设计、样本量、干预类型、干预时长、对照条件、主要结局指标、测量工具、效应量、主要结论。每个字段我都给出了明确的填写说明和允许的取值。

比如"研究设计"字段，我限定了几个选项：RCT（随机对照试验）、quasi-experimental（准实验）、cohort（队列研究）、cross-sectional（横断面研究）、qualitative（质性研究）。这样AI在抽取时就不会自由发挥，而是从预设选项中选择。

抽取完成后，我会做两轮校验。第一轮是逻辑校验：检查数值型字段是否在合理范围内，比如样本量不可能是负数，干预时长不可能超过研究周期。第二轮是抽样校验：随机抽取20%的文献，逐条核对AI抽取的结果和原文是否一致。如果抽样校验的准确率低于90%，我会扩大校验比例，直到确认整体质量可控。

4.5 写作环节：AI只做"语言助手"

在写作环节，我对AI的使用非常克制。具体来说，我只在以下场景使用AI：把中文草稿翻译成英文、检查语法和拼写错误、建议段落结构的调整、生成图表标题的备选方案。所有的事实性内容、引用、数据、结论，全部由我自己撰写和核实。

我试过让AI写一段"研究背景"，它写得确实很流畅，但仔细一看，里面引用的文献有三篇是虚构的，还有两篇虽然真实存在，但研究内容和它描述的不一致。这种错误如果没被发现，就是学术不端的隐患。

所以我的建议是：把AI当成一个语言能力很强但学术判断力为零的助手。它可以帮你把话说得更漂亮，但不能帮你决定说什么。

5. 踩过的坑和总结出的避坑指南

5.1 常见问题速查表

5.2 三个我踩过的坑

第一个坑：过度信任AI的筛选结果。刚开始用AI做摘要筛选时，我觉得它筛得挺准的，就直接用了它的结果。后来做敏感性分析时发现，如果把AI漏掉的那几篇文献加回去，合并效应量会发生方向性的变化。从那以后，我再也不敢跳过人工复核这一步。

第二个坑：用AI生成检索式后没有实际试跑。有一次我直接用AI生成的检索式去检索，结果发现它把"焦虑"的检索词写成了"anxiety disorder"，而我的研究问题其实包括"anxiety symptoms"和"test anxiety"，导致漏掉了一大批文献。检索式必须实际跑一遍，根据结果调整，这个步骤不能省。

第三个坑：让AI帮忙写讨论部分。我试过让AI根据我提供的结果数据写一段讨论，它写得很有条理，但里面有几处因果推断明显超出了我的数据能支持的范围。比如我的研究只是相关性分析，它却写成了"正念干预导致焦虑水平下降"。这种过度推断在学术写作中是大忌。

5.3 我的个人建议

如果你正准备用AI辅助系统综述，我的建议是：先从小规模测试开始。选一个你熟悉的主题，用AI跑一遍完整流程，然后人工核对每个环节的结果，看看AI在哪些环节帮到了你，在哪些环节拖了后腿。这个测试的成本不高，但能帮你建立起对AI能力的真实认知。

另外，完整记录你的AI使用过程。包括用了什么工具、什么版本、什么提示词、AI输出了什么、你做了哪些修改。这些记录不仅是方法学透明度的要求，也是你日后复现和排查问题的依据。

最后，不要把AI当成捷径。系统综述的价值在于它的严谨性，而严谨性来自于研究者的专业判断和辛勤工作。AI可以帮你省去一些重复性的劳动，但它不能替代你的思考。如果你用AI来逃避思考，那你的综述质量一定不会好。