标准 RAG 方法的局限性；

ayesha983

在这篇博文中，我们将了解如何在问答系统中直接利用Web 内容。更准确地说，我们将讨论：  

基于 Web 的 RAG 管道的主要设计选择；
对于这种用例需要考虑的实际方面；
在最近与德国科技公司 Heraeus 合作的项目中吸取的教训。
盲人猎户座寻找朝阳（局部视图），尼古拉斯·普桑（1658 年）
盲人猎户座寻找朝阳（局部视图），尼古拉斯·普桑（1658 年）
什么时候标准 RAG 不够用？
对于给定的用户问题，RAG包括选择 丹麦电报数据 与问题相关的知识库摘录，包括提示中的这些摘录和问题，并让 LLM 根据此提示生成答案。在这种情况下，通常通过对知识库的文档应用以下预处理步骤来实现相关摘录的检索：      

从文档中提取原始文本；
将文本分成小块（通常为一个或几个段落的大小）；
计算每个块的嵌入；
对块及其嵌入进行索引以实现快速相似性搜索。
标准 RAG 方法