应用介绍
现有一些工作通过检索增强 (RAG) 的思路来进行长文本建模，其基本思路是将文本分段，譬如每 64 个 token 为一个 chunk；每生成一个 chunk 后，模型根据当前上文信息检索历史 chunk 来辅助下一个 chunk 的生成。理想情况下，只要能检索到对下文生成最有帮助的 chunk，再通过 cross-attention 机制从相关 chunk 收集信息即可。但通常检索模块是单独训练的，只能检索到相似内容，无法保证挑选对下文生成最有帮助的 chunk。
现有一些工作通过检索增强 (RAG) 的思路来进行长文本建模，其基本思路是将文本分段，譬如每 64 个 token 为一个 chunk；每生成一个 chunk 后，模型根据当前上文信息检索历史 chunk 来辅助下一个 chunk 的生成。理想情况下，只要能检索到对下文生成最有帮助的 chunk，再通过 cross-attention 机制从相关 chunk 收集信息即可。但通常检索模块是单独训练的，只能检索到相似内容，无法保证挑选对下文生成最有帮助的 chunk。
