V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
oColtono
V2EX  ›  职场话题

🙏🏻🙏🏻🙏🏻我是个小公司桌面运维,老板让我给他开发个 AI 大模型……

  •  
  •   oColtono · 80 天前 · 12618 次点击
    这是一个创建于 80 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题
    我在一家非 IT 行业的公司干桌面运维,说是运维其实啥都干,简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲,在他眼里,技术相关的问题我全知道。

    他想要有一个 AI ,把一位哲学家(比较小众)的文集通读一遍(大概 40 万字)。然后扮演这位哲学家,充当聊天机器人。这个聊天机器人的用户量估计不会太高(小众圈子里面流传一下),最多也就 1000 人左右(并发可能就 30 人以内)。

    我说我干不来,他表示让我至少给个方案,适当招两个人,或者找人外包都行。

    从头搞个 AI 模型我猜是不可能的,我大概想法是租个云服务器,给 Llama 3 或类似的开源模型喂点数据,然后套个前端。

    希望懂行的朋友告诉我一下我的想法是否可行?以及这个事情工作量大不大。如果可行的话,我就去着手研究一下怎样微调 Llama 3 ,然后给老板一个方案。
    119 条回复    2024-08-23 17:03:07 +08:00
    1  2  
    luoyuan2018
        101
    luoyuan2018  
       79 天前
    阿里云的百炼就可以满足需求了。
    jesse10
        102
    jesse10  
       79 天前
    最简单的,建一个 gpts ,把文集上传上去,写好 prompt 就行了。
    karnaugh
        103
    karnaugh  
       79 天前
    coze dify gpts 类似的功能随便搞一个就行咯
    flmn
        104
    flmn  
       79 天前
    这是简单啊,你去找个懂行的外包出去,还能吃回扣。
    TArysiyehua
        105
    TArysiyehua  
       79 天前
    外包给我呗,我接,私聊我
    proxyai
        106
    proxyai  
       79 天前
    楼主留给联系方式, 和你沟通方案
    oColtono
        107
    oColtono  
    OP
       79 天前
    @iloveayu #60 hhh ,老板原话确实是让我找两个人跟我一起开发。我自己翻译了一下他的话,他的需求应该是一个套壳就能满足了
    cexll
        108
    cexll  
       79 天前
    @nyw17 #34 数据量太大了 RAG 响应会很慢
    cexll
        109
    cexll  
       79 天前   ❤️ 1
    给楼主几个可行方案
    闭源大模型 or 开源大模型
    1.如果你选择闭源大模型, 基本上只能使用 RAG 相关的技术,就是提前将数据给量化放在量化数据库,使用一些 python 库 例如(langchain or llama_index), 在 API 请求之后将用户内容放量化数据库去 search 然后再给到 LLM(大模型) 去推理,中间的延迟如果能过接受的话, 这个方案是最简单的。
    2.选择开源大模型,你会有两个方案 本地部署 or 使用 API ,本地部署你要考虑的东西就非常多,其实不是特别推荐,可以选择一些能过使用自己提交 LLM 的平台进行部署在平台上,这样就可以微调大模型,将你的数据 write 进入大模型中,这样就不会有 RAG 方案那么高的延迟,但是这个方案就需要你去了解大模型微调,相对技术难度更高。
    上面很多人推荐的我都看过了 GraphRAG 太费钱了 现目前根本无法商用的
    买两块 4090 的也不太科学 首先是性能并不好 其次是价格 另外买不买得到的问题,我推荐直接用各种平台的显卡,用多久 扣多少钱
    iyaozhen
        110
    iyaozhen  
       79 天前
    你用 coze 搭一个吧
    oColtono
        111
    oColtono  
    OP
       79 天前
    @cexll #109 谢谢,我看了上面各位老哥的建议,原本已经开始研究 RAG 了。谢谢你的建议,考虑到 RAG 的延迟和价格,我会再琢磨一下 LLM 微调,看自己是否能搞定
    xidianwubo12138
        112
    xidianwubo12138  
       79 天前
    直接调用微软的 api 好了,或者买其他国内的 api ,套一个壳就行,便宜还省事
    Meteora626
        113
    Meteora626  
       79 天前   ❤️ 1
    说只用 RAG 的绝对没做过大模型。。。只根据 40w 字书籍来回答问题用 RAG 确实没问题,但是说话逻辑完全不一样。建议楼主用 gpt4-turbo 构建一些哲学家语气的语料,微调一下模型再做 rag ,40w 数据现在向量库轻松应付,百万块也是毫秒级响应,不用纠结速率。
    Rollie
        114
    Rollie  
       79 天前
    请教 这个工作去哪找
    jgh004
        115
    jgh004  
       79 天前
    弄好方案分享一下啊,我也去忽悠我老板。
    janrone
        116
    janrone  
       79 天前 via iPhone
    dd 提供现成服务,支持接入微信机器人 wx:YmVnaW4zNQ==
    Emiya1208
        117
    Emiya1208  
       78 天前
    能拉我进你们公司嘛?你老板感觉是个人啊(这是褒义,现在不当人的太多了
    Jay628
        118
    Jay628  
       77 天前
    别把问题复杂化,ollama+docker 搭一套大模型
    janrone
        119
    janrone  
       77 天前 via iPhone
    @janrone 也可以提供私有部署,还可以先给你训练一个机器人看看效果。

    其他小伙伴有需求也可以联系我
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1635 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:55 · PVG 00:55 · LAX 08:55 · JFK 11:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.