101
luoyuan2018 79 天前
阿里云的百炼就可以满足需求了。
|
102
jesse10 79 天前
最简单的,建一个 gpts ,把文集上传上去,写好 prompt 就行了。
|
103
karnaugh 79 天前
coze dify gpts 类似的功能随便搞一个就行咯
|
104
flmn 79 天前
这是简单啊,你去找个懂行的外包出去,还能吃回扣。
|
105
TArysiyehua 79 天前
外包给我呗,我接,私聊我
|
106
proxyai 79 天前
楼主留给联系方式, 和你沟通方案
|
109
cexll 79 天前 1
给楼主几个可行方案
闭源大模型 or 开源大模型 1.如果你选择闭源大模型, 基本上只能使用 RAG 相关的技术,就是提前将数据给量化放在量化数据库,使用一些 python 库 例如(langchain or llama_index), 在 API 请求之后将用户内容放量化数据库去 search 然后再给到 LLM(大模型) 去推理,中间的延迟如果能过接受的话, 这个方案是最简单的。 2.选择开源大模型,你会有两个方案 本地部署 or 使用 API ,本地部署你要考虑的东西就非常多,其实不是特别推荐,可以选择一些能过使用自己提交 LLM 的平台进行部署在平台上,这样就可以微调大模型,将你的数据 write 进入大模型中,这样就不会有 RAG 方案那么高的延迟,但是这个方案就需要你去了解大模型微调,相对技术难度更高。 上面很多人推荐的我都看过了 GraphRAG 太费钱了 现目前根本无法商用的 买两块 4090 的也不太科学 首先是性能并不好 其次是价格 另外买不买得到的问题,我推荐直接用各种平台的显卡,用多久 扣多少钱 |
110
iyaozhen 79 天前
你用 coze 搭一个吧
|
111
oColtono OP @cexll #109 谢谢,我看了上面各位老哥的建议,原本已经开始研究 RAG 了。谢谢你的建议,考虑到 RAG 的延迟和价格,我会再琢磨一下 LLM 微调,看自己是否能搞定
|
112
xidianwubo12138 79 天前
直接调用微软的 api 好了,或者买其他国内的 api ,套一个壳就行,便宜还省事
|
113
Meteora626 79 天前 1
说只用 RAG 的绝对没做过大模型。。。只根据 40w 字书籍来回答问题用 RAG 确实没问题,但是说话逻辑完全不一样。建议楼主用 gpt4-turbo 构建一些哲学家语气的语料,微调一下模型再做 rag ,40w 数据现在向量库轻松应付,百万块也是毫秒级响应,不用纠结速率。
|
114
Rollie 79 天前
请教 这个工作去哪找
|
115
jgh004 79 天前
弄好方案分享一下啊,我也去忽悠我老板。
|
116
janrone 79 天前 via iPhone
dd 提供现成服务,支持接入微信机器人 wx:YmVnaW4zNQ==
|
117
Emiya1208 78 天前
能拉我进你们公司嘛?你老板感觉是个人啊(这是褒义,现在不当人的太多了
|
118
Jay628 77 天前
别把问题复杂化,ollama+docker 搭一套大模型
|