V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
milestance
V2EX  ›  分享发现

讨论下自建内网 RAG 知识库和 AGENT 平台

  •  
  •   milestance · 14 小时 43 分钟前 · 327 次点击
    公司现在还没有引入飞书等平台,想在小组内试搭一套 RAG 平台,内网有 QWEN 的大模型接口,于是有了下述方案,大家看看是否合适,运行硬件配置不高,无单独 GPU:


    1.传统知识库用基于 MARKDOWN 格式的 OUTLINE ,支持团队协作,单点登录,缺点是没有离线功能。
    2.RAG 知识库平台和 AGENT 平台选用 FASTGPT ,没有用 DIFY ,感觉 DIFY 要重一点,也没用只聚焦于 RAG 的 MAXKB 。
    1 ) LLM 用内网已经有的 QWEN 大模型
    2 ) embedding 用本地的 m3e
    3 ) rerank 模型也用本地的 bge rerank 模型
    3.胶水准备用 N8N ,从 OUTLINE 把知识定期推送到 FASTGPT 。
    4.最后是文档的问答模式准备用 NGINX 做拦截嵌入,在 OUTLINE 文档页面做个弹窗把上下文传到后端 FASTPGT 。
    isSamle
        1
    isSamle  
       8 小时 26 分钟前
    自建内网 RAG 知识库和 AGENT 平台的话,你就得考虑后期二开的可行性,基于技术栈考虑,我选的是 → [MAXKB](/t/1177791)
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1231 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 17:21 · PVG 01:21 · LAX 09:21 · JFK 12:21
    ♥ Do have faith in what you're doing.