RAG 文档切片

RAG 文档切片之后的格式RAG 文档切片成 chunk 之后包含三个部分1.embedding 2.原文内容 3.meta-data。embedding 就是原文内容经过 embedding 模型之后得到的向量。meta-data 就是有关原文内容的信息比如说这段内容属于哪一章页码目录等信息。文档切割策略文档切割时需要注意不要将一个语义整体切到两个不同的 chunk 中。这样两个 chunk 合在一起能得到合适的检索结果但是分开检索两个中的任意一个都无法检索到。固定大小切片固定大小是最简单的切片方式一般取 500 到 1000 个 token。固定大小切片时 chunk 和 chunk 之间要有重叠这样是为了避免一个完整的语义被切到不同的 chunk 中比如像下面这样。语义边界切割语义边界切割是按照语义的自然边界比如说一个句子或者是一个段落。在实际操作中一般是维护一个分隔符列表先尝试按照段落切如果按照段落切太大那么按照句子切如果还是太大按照标点来切割。特殊内容特殊内容指的是针对代码和表格等特殊文件来进行切片。针对代码应该按照代码实体的顺序比如类或者对象。表格数据则针对每一行都要将表头保留这样才知道每一行说的是什么。父子切割父子切割策略其实是有两个切片一个粒度大一个粒度小。在检索时用粒度小的去检索在命中之后将对应的粒度大的内容返回。实际的效果是每次检索都会顺带着精确命中内容的上下几句。