V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
whats
V2EX  ›  问与答

RAG 怎么做才能有好的效果

  •  1
     
  •   whats · 106 天前 · 1457 次点击
    这是一个创建于 106 天前的主题,其中的信息可能已经有所发展或是发生改变。
    近期做大模型 RAG 相关的研究,尝试了语义切片、RaptorRAG 、微软的 GraphRAG ,效果都不是特别好,一方面文档的索引速度特别慢,Raptor 索引一篇 20w 字的文档要差不多两个小时,GraphRAG 对 token 消耗量惊人。另一方面,花大力气索引出来的知识库,只有特定场景比较好用,比如 GraphRAG 对实体关系类的问题回答较好,但是涉及多步推理或者一些法律条文类的文档基本答非所问。因此比较好奇大家做 RAG 时都是使用的什么策略去索引文档和检索索引后的知识。
    5 条回复    2024-07-26 12:06:07 +08:00
    cexll
        1
    cexll  
       106 天前
    现目前无解,花大价钱用 llm 推理所有 rag 的内容 微调进大模型 ,不过效果也没有那么好,毕竟 llm 的能力摆在那里
    mercurylanded
        2
    mercurylanded  
       106 天前
    大部分 rag 优化的知识检索这块,prompt 还是需要你自己按照场景去调试吧
    Garphy
        3
    Garphy  
       106 天前
    我猜主要还是大模型提纯不够,以及外挂向量与大模型内部 token 向量并没有融合的很好
    NoobNoob030
        4
    NoobNoob030  
       106 天前
    索引策略:传统 milvus 向量索引取 n 条,用 es 关键字索引取 n 条,然后具体 n 数量和 chuck size 以及权重看场景,最后拼起来做 prompt

    prompt 的姿势就比较多,思路大致就是:效果不好 -> (拆 prompt 步骤 / 加校验步骤 / 换 prompt 方式) 三选一 -> 测试效果。重复这个循环能满足大部分需求

    类似劳动法顾问助手这种需求。与其在市面上找成熟产品方案不如自己写写 python ,写起来很快而且可以灵活应对需求变动
    lookStupiToForce
        5
    lookStupiToForce  
       106 天前
    偏个题
    不知道有没有尝试过 mem0 ,说是要给 llm 加额外记忆层,不同于 RAG 技术
    https://github.com/mem0ai/mem0
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2593 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 00:17 · PVG 08:17 · LAX 16:17 · JFK 19:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.