Rag工作机制
RAG即Retrieval-Augmented Generation,检索增强生成
Rag使用场景
有一份资料,希望AI基于这份资料回答
Rag基本流程
准备(提问前)
分片
将一篇文档分成多份(字数/段落/章节/页码…)
索引
1、通过Embedding将片段文本转换为向量
2、将片段文本和片段向量存入向量数据库中
回答(提问后)
召回
搜索与用户问题相关的片段(使用向量相似度计算方法)
重排
重新排序(使用cross-encoder方式,比召回步骤直接排序准确率高)
生成
将重排得到的相似率最高的几个切片推给大模型,由大模型生成答案