这是一个创建于 95 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。
他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。
我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。
从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。
希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。
他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。
我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。
从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。
希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。
119 条回复 • 2024-08-23 17:03:07 +08:00
 |
101
luoyuan2018 95 天前
阿里云的百炼就可以满足需求了。
|
 |
102
jesse10 95 天前
最简单的，建一个 gpts ，把文集上传上去，写好 prompt 就行了。
|
 |
103
karnaugh 94 天前
coze dify gpts 类似的功能随便搞一个就行咯
|
 |
104
flmn 94 天前
这是简单啊，你去找个懂行的外包出去，还能吃回扣。
|
 |
105
TArysiyehua 94 天前
外包给我呗，我接，私聊我
|
 |
106
proxyai 94 天前
楼主留给联系方式, 和你沟通方案
|
 |
109
cexll 94 天前  1
给楼主几个可行方案
闭源大模型 or 开源大模型 1.如果你选择闭源大模型， 基本上只能使用 RAG 相关的技术，就是提前将数据给量化放在量化数据库，使用一些 python 库 例如(langchain or llama_index)， 在 API 请求之后将用户内容放量化数据库去 search 然后再给到 LLM(大模型) 去推理，中间的延迟如果能过接受的话， 这个方案是最简单的。 2.选择开源大模型，你会有两个方案 本地部署 or 使用 API ，本地部署你要考虑的东西就非常多，其实不是特别推荐，可以选择一些能过使用自己提交 LLM 的平台进行部署在平台上，这样就可以微调大模型，将你的数据 write 进入大模型中，这样就不会有 RAG 方案那么高的延迟，但是这个方案就需要你去了解大模型微调，相对技术难度更高。 上面很多人推荐的我都看过了 GraphRAG 太费钱了 现目前根本无法商用的 买两块 4090 的也不太科学 首先是性能并不好 其次是价格 另外买不买得到的问题，我推荐直接用各种平台的显卡，用多久 扣多少钱 |
 |
110
iyaozhen 94 天前
你用 coze 搭一个吧
|
 |
111
oColtono OP @cexll #109 谢谢，我看了上面各位老哥的建议，原本已经开始研究 RAG 了。谢谢你的建议，考虑到 RAG 的延迟和价格，我会再琢磨一下 LLM 微调，看自己是否能搞定
|
 |
112
xidianwubo12138 94 天前
直接调用微软的 api 好了，或者买其他国内的 api ，套一个壳就行，便宜还省事
|
 |
113
Meteora626 94 天前 1
说只用 RAG 的绝对没做过大模型。。。只根据 40w 字书籍来回答问题用 RAG 确实没问题，但是说话逻辑完全不一样。建议楼主用 gpt4-turbo 构建一些哲学家语气的语料，微调一下模型再做 rag ，40w 数据现在向量库轻松应付，百万块也是毫秒级响应，不用纠结速率。
|
 |
114
Rollie 94 天前
请教 这个工作去哪找
|
 |
115
jgh004 94 天前
弄好方案分享一下啊，我也去忽悠我老板。
|
 |
116
janrone 94 天前 via iPhone
dd 提供现成服务，支持接入微信机器人 wx：YmVnaW4zNQ==
|
 |
117
Emiya1208 93 天前
能拉我进你们公司嘛？你老板感觉是个人啊（这是褒义，现在不当人的太多了
|
 |
118
Jay628 92 天前
别把问题复杂化，ollama+docker 搭一套大模型
|
Select Language