🙏🏻🙏🏻🙏🏻我是个小公司桌面运维，老板让我给他开发个 AI 大模型……

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 80 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。

他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。

我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。

从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。

希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。

119 条回复 • 2024-08-23 17:03:07 +08:00

1 2

❮

❯

BadFox

80 天前

好炸裂的需求，更炸裂的是你居然真的想去干。

abersheeran

80 天前

从技术上可以，从工作上来说我建议不要这么给老板说。把工作量说多一些，多要几个 HC 。

newaccount

80 天前

先把硬件配上，4090 两块，一块放公司跑模型，一块放家里玩黑神话啊不是，一块在家里做技术研究

gaobh

80 天前 via iPhone

fastgpt 把文章传上去，然后写个 prompt ，然后给老板 gpt 的链接就行了

Huangzi7

80 天前

@newaccount 今天请假，原因：🐒流感

zfyStars

80 天前

是不是只需要写个 prompt ？

RiverMud

80 天前

预算。

预算到位什么想法都可行。

whp1473

80 天前

把书喂给 kimi ，然后让它扮演哲学家就可以了，不需要祖云服务器

HuberyPang

80 天前

https://www.v2ex.com/t/1022439#reply81 感觉参考这个思路，就是把文集构建向量数据库，然后搞个开源大模型，或者购买个大模型 AI 接口查询问题时，先查向量数据库，然后把结果给大模型，然后让大模型在回答。

idealhs

80 天前

GPT 预设个角色就 OK 了,数据的话 OpenAI 已经学过了

frencis107

80 天前

《这个聊天机器人的用户量估计不会太高》

在国内做，有合规问题吧，别进去了

ETiV

80 天前 via iPhone

我觉得上面配两块 4090 的建议靠谱些

fengshils

80 天前

我也觉得上面配两块 4090 的建议靠谱些

oColtono

80 天前

@frencis107 #11 谢谢提醒，这个我也跟老板说过了。老板头铁得很，好在这个圈子实在影响力有限，他之前搞的一些别的骚操作都没兴起什么风浪
最后要做的时候我会跟法务确认一下。如果确实有问题老板还要坚持做的话，我就让他自己去找外包了。

oColtono

80 天前

@newaccount #3 hhh ，这事我也不是没想过

oColtono

80 天前

@HuberyPang #9 谢谢！！这个看起来很接近我想要的东西了

oColtono

80 天前

@whp1473 #8 考虑过，如果这样的话，工作量就几乎都在前端上了。还有一个担忧是，kimi 这类线上 AI 是否能够微调的程度有限，我怕多问几句，它就露馅了，比如自报家门说我是 kimi ，只是一个人工智能之类的？

weiaichongfeng

80 天前

可以的这个实现思路没问题

老板不懂所以会说出让你开发个大模型，完成核心诉求就好，只是同时要拿到你自己想要的钱就更好

对于懂行的人来说，不算大，用户界面部份开源的部署一下就好，Llama 3 部署一下，一天之内就能搞定，喂数据麻烦点，但网上也有教程搜搜就行了

不懂行的挺麻烦的工作量很大
https://ollama.com/
https://github.com/lobehub/lobe-chat

particlec

80 天前

github 有现成的 ai 聊天前端界面，给 token 就行

aw2350

80 天前

老板挺有追求的

Lamlam147

80 天前

我赞同楼上配两块 4090 的建议，属实靠谱

Jinnrry

80 天前 via iPhone

好炸裂的需求
更炸裂的是你居然真打算去干
更更炸裂的居然是有人给楼主出主意去自己干

我的建议，打电话联系百度文心一言的商务，然后把报价给老板

a1oyss0925

80 天前

kimi 套壳就完事了，不要想一些不切实际的

teasick

80 天前

好奇是哪位哲学家

xmumiffy

80 天前

国内的模型+rag 就行了,预算够 rag 都不用,直接上

osilinka

80 天前

李沐创业就是这个方向啊！

wccc

80 天前

买设备,合规备案. 要么上游 api 套壳

shitshit666

80 天前 via Android

中文用通义千问

aoling

80 天前

最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的

fcten

80 天前

40 万字不需要微调
30 个并发两块 4090 是不够的

2ruowqe9r

80 天前

这个不是很简单吗？各种开源的方案就能解决，搞个知识库，使用 RAG ，写好提示词。

greycell

80 天前

全是开源方案可太多了，你标题起错了，不然下面已经全是推广自己方案的人了。

z1829909

80 天前

内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的

nyw17

80 天前

这不就 RAG 做的事情么，本地部署一下

Puteulanus

80 天前

我看成用户 30 以内了，还想说这么点人直接跳过 AI 招俩人扮演哲学家算了（狗头

ishengge

80 天前

先跟老板说硬件。4 张 H100 显卡

hongchang

80 天前

其实这个事情，真的不难。
先让你老板买显卡，然后花钱找人整理内容，喂给大模型微调一下就行了。
网上都有教程的。我跑过用 llama3 微调了一个甄嬛。

真的不难！！！！

nicholasxuu

80 天前

直说你不会呗，或者让用 kimi 之类的付费产品去。
不然咋样？让大家写个新手都能快速上手的私有部署大语言模型知识库教程？

winglight2016

80 天前

很简单，做个最基础的 RAG 就够了，可以外包给我，一周内搞定吧

keethebest

80 天前

最简单的方案就是直接套个皮，对接国内的 ai 。豆包，kimi 都可以。

supuwoerc

80 天前

买显卡，部署开源模型，docker 启动 dify ，喂知识库，完成。

austfisher

80 天前

coze 平台直接部署

YVAN7123

80 天前

预计下个任务是造个火箭！

sampeng

80 天前

老板都说了。可以适当招 2 个人，外包。就是愿意花钱啊。先写个 PPT 。预算 100 万。

meeop

80 天前

1 大概率只需要写个 prompt,然后用 gpts 包装下
“你扮演哲学家 xxx,以他的角色和口吻回答用户问题,如下是用户的问题:”

2 复杂点就对接个支持上传文档的模型,上传文集,然后还是上面这个 prompt

3 再复杂就部署 Llama+少量定制,比较麻烦,但也能搞,不需要编程知识

GensKinsey

80 天前

https://github.com/QuivrHQ/quivr

ibazhx

80 天前

https://github.com/datawhalechina/self-llm/blob/master/models/Qwen2/05-Qwen2-7B-Instruct%20Lora.ipynb
这个应该能满足你的需求，或者更简单一点在智谱 open.bigmodel.cn 上微调

Vegetable

80 天前

外包给我

darkengine

80 天前

找老板要 100W 的经费，花 20W 外包出去 /doge

nuomi196500

80 天前

你没理解的老板的需求，他想表达的意思是做出一个带有某位作家风格的聊天机器人，这个真的很好实现，ChatGPT 里很多类似的机器人，国产的 AI 也可以自己配置。但是你别傻乎乎告诉他实现方式，要说的很难，很大，上价值，上高度，多扩充自己团队

jwenwang

80 天前

很简单啊，直接用字节家的扣子开发一个 bot 就完了，

把哲学家的文集作为知识库传上去，然后提示词写一下你是一名哲学家，用户会和你对话，你分析理解知识库内容，然后和用户进行对话，

不就完了？

0703wzq

80 天前

这点数据量还不至于自己训练... 知识库方案。

tinyzilan123

80 天前

居然没有人回答 openai

https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset
直接使用 openai 的 fine-tuning 模型，自己喂数据，在这基础之上就有了自己调优过后的专门 gpt

dabingbing

80 天前

最多也就 1000 人左右（并发可能就 30 人以内），额... 并发可能也就是 1

aapon

80 天前

蹲一个后续，希望介绍详细点？

cuicuiv5

80 天前

关键词 Graph RAG

angry41

80 天前

百度文心有深度定制的大模型吧，可以了解一下

yangfan1999

80 天前

RAG 方案 +1 ，再用 Prompt 调优试下。
COZE 提供了一份 RAG 的最佳实践，可以参考： https://www.coze.cn/docs/guides/product_knowledge_bot

Dogergo

80 天前

阿里的百炼平台可以，导入知识库，基于非结构话数据就可以，也就是说你上传点 txt,pdf,word 啥的也行，就是千问问答时候要收费

iloveayu

80 天前

楼主文科生吧，这标题可以直接去 uc 震惊部报道了，哪有让桌面自研 AI 大模型的，我 40 米长刀都拔出一半要帮你砍老板了，结果他要的只是个套皮。
同意 3 楼，先把显卡买了。

cslive

80 天前

写好 prompt ，openai 已经给你训练好了

uiosun

80 天前

@Jinnrry 这事听起来不难，当时 GPT3 出圈的时候，就有个法国小哥用 8 刀微调了一个法文本地化的 GPT （包含语言和一些本地知识），对着油管就能做到

但就像大家说的，这玩意还是找商业定制吧，不然出了问题又得自己去修复，莫名其妙的工作量就来了

myderr

80 天前

直接找国内大厂商啊

hutng

80 天前

只要预算足，登月也给他安排上。

Hef

80 天前 via Android

GTPs 自定义一个就可以吧，一会就搞定了

enihcam

80 天前

“去把唐僧干掉。” “啊？我？”.jpg

microchang

80 天前

你是否在寻找： https://github.com/chatchat-space/Langchain-Chatchat

djv

80 天前

服务商挺多的，文档看看呗；
或者开源模型自己喂自己搭，2B 的拉跨，8B 、9B 的将就用还是可以的。

hefish

80 天前

你们公司不错，我也想加入。加入了就能起飞了。

shiyuu

80 天前

先让他采购一台 8 卡的算力服务器

yikyo

80 天前

@oColtono 过滤一下，他说 kimi ，你就把他替换掉

yufeng0681

80 天前

你调研完毕，说这个东西耗 GPU ，算法也很吃技术。自己搭建不划算，可以用 openai ，智谱清言等公司的虚拟人物来做。

智谱清言
1 、可以单独弄个虚拟人物，上传文件（投喂材料）。也看到别人发布的智能体
2 、可以调用 api ，也就是可以把虚拟人物变成你的后台
https://github.com/MetaGLM/glm-cookbook/blob/main/README.md

zx9481

80 天前

了解一下 rag 即可

mwuxlcanrh

80 天前

RAG 即可，可以套用 coze 等平台的接口，很方便。

nuonuojump

80 天前

楼上说的对，多搞几个 HC ，然后再搞几个 4090 申请点经费，等人来了，把需求推下去，去耍黑悟空，大不了搞个 UI 界面，就欺负他不懂。大家一起快乐一下，还能提升下就业率，出去了还能吹牛逼，构建 AI 团队实现巴拉巴拉吧。。

fat4fox

80 天前 via Android

这么能干！！！我给你 100 万，帮忙把在东北

fat4fox

80 天前 via Android

这么能干！！！我给你 100 万，帮忙把外东北收复回来，就算做不到，给我出个一百万内可行的方案。

wupher

80 天前

这个走 RAG 的话，不用编程也是能干的。

但编程可能细节控制更好。

不用你开发大模型，也不用折腾 Llama3 微调啥的。

seven123

80 天前

这个到不难，RAG 即可，dify 或者 fastgpt 都能做

zenithar

80 天前

和楼上各位不同，我第一反应是好奇 OP 工资多少，工作职能不是一般的多啊。

konakona

80 天前

自己训练模型去吞 40w 数据不现实，我更推荐你联系国内 AI 云商提供商业报价，它们来就是干这个的。
关于硬件资源这一点，你老板就很难 hold 。

以下内容摘自 GPT：
要训练 40 万条数据，所需的硬件资源取决于几个关键因素，如模型的大小、数据的复杂性、训练时长以及所需的精度目标。以下是一个大致的硬件配置建议：

### 1. **GPU**
- **高端 GPU**：建议使用 NVIDIA A100 、V100 或 RTX 3090 等高性能 GPU 。这些 GPU 在深度学习任务中表现出色，并且可以加速训练过程。
- **多 GPU 集群**：如果数据量很大，使用多个 GPU 来并行训练会更加高效，特别是当你需要缩短训练时间时。

### 2. **CPU**
- **多核 CPU**：如 Intel Xeon 或 AMD EPYC 系列，配备多核可以加快数据预处理和加载的速度，虽然深度学习的主要计算任务还是依赖 GPU 。
- **充足的缓存**：更大的缓存能有效提升数据预处理的效率。

### 3. **内存 (RAM)**
- **大容量内存**：建议至少 64GB ，甚至 128GB 或更多。大容量内存有助于处理大批量数据，尤其是在训练前的数据预处理阶段。

### 4. **存储 (Storage)**
- **SSD**：使用 NVMe SSD 来存储数据和中间结果，以确保数据加载和存储的快速响应。
- **足够的存储空间**：确保至少有几 TB 的空间用于存放原始数据、模型权重、检查点等。

### 5. **网络**
- **高速网络连接**：如果使用分布式训练，确保集群之间的网络连接速度足够快，以免在数据传输时成为瓶颈。

### 6. **散热和电力**
- **有效的散热系统**：高性能的 GPU 和 CPU 在满负载下会产生大量热量，需要有良好的散热系统来维持硬件的稳定性。
- **充足的电力供应**：确保电源能够支持所有硬件满负荷运行，避免因电力不足导致的意外中断。

### 7. **软件环境**
- **深度学习框架**：如 TensorFlow 或 PyTorch ，这些框架都有优化的 GPU 加速支持。
- **驱动和库**：确保安装最新版本的 CUDA 、cuDNN 等驱动和相关库，以充分利用 GPU 性能。

### 8. **云计算资源**
- 如果本地硬件资源不足，可以考虑使用云计算服务如 AWS 、Google Cloud 或 Azure 来租用高性能 GPU 和其他资源。这些服务通常可以按需扩展，并且有较好的计算资源管理工具。

### 训练时间
训练时间可能从几小时到几天不等，具体取决于数据的复杂性和模型的大小。使用上述配置，可以有效地处理和训练 40 万条数据集。

准备好这些硬件资源后，你就可以开始模型的训练过程，并确保在训练中不断监控资源使用情况，以优化性能和效率。