各位好
nas 能用 gpu 吗?
如果不能用,大家在 nas 上安装的 ai 项目可能就会比较慢,对吧
这个怎么解决呢?谢谢
我查了一下,似乎只有少数高端 nas 有 gpu ,难道 nas 就只能用于下载或者运行一些普通项目?
1
yolee599 20 天前 via Android
可以加算力卡
|
2
cpstar 20 天前 要不再温习一下 NAS 三个字母的意义呢。。。原本就是个存储。
NAS 可以扩展 PCIE 的话,加一块卡就完活了。如果不能扩展,API 调用模型接口呗。核心不是本地算力,核心是算力用于干啥。 |
3
renmu 20 天前 via Android
再买一个 ai 服务器,如果不行,那就用别人的服务吧
|
4
evan9527 20 天前
调用 api 呗。
|
5
guiyumin OP |
6
dilidilid 20 天前
你的这些需求,都是用现成的 API 会比较好,折腾本地 AI 的意义除了研究目的,就是生成一些云服务不能满足的色情、灰色内容,或者部分公司有极高的保密需求,你如果不是其中之一完全没有必要。
|
7
SingeeKing PRO 标准的 NAS 确实完全没有必要配备 GPU ,因为通常根本没考虑需要连接显示器之类的,而想跑 AI 的 GPU 价格高到不可能作为标配
如楼上所说,有空余 PCIe 的话完全可以自己插一块 GPU 上去 不过我的建议是,去买一套英伟达 Jetson AGX Thor 单独用,毕竟加装会影响 NAS 的美观。。 |
9
guiyumin OP |
10
lymanbernadette6 20 天前
NAS (Network Attached Storage)
|
11
ntedshen 20 天前
bro 你这看起来还处在概念都搞不清楚的阶段。。。
建议买个电脑。。。 |
13
ntedshen 20 天前
@guiyumin 你的需求:
> 我想把 vget 加上语音转文字,文字转语音,以及 ocr 功能 你的需求里需要包含的功能: 下载电影 tts/stt ocr 你的附加条件: > 算力卡不咋给力,都是 npu 这种,还是要用英伟达显卡 所以其实。。。 你买一台正经 pc 加几个硬盘就可以解决上述全部需求,倒也不是非要搞个那种自称是 nas 的 nas 。。。 反正现在这一摞 nas 系统都是 debian 底,自己装好了。。。 |
14
Mrag 19 天前
所以我没有用 nas ,我直接安装了一台常规配置的服务器+一个小机箱,能够插一张单风扇的显卡。不过我也没有用显卡的场景罢了= = ai 能力直接用 glm
|
15
dimlau 19 天前
把 Mac mini 当做 NAS 来用就是了。
|
18
zzutmebwd 19 天前 via Android
nas 干 nas 的活,另搞一台 ai 服务器,我的配置是 13700k+64g d5+4080s 32g
|
20
byuan04 18 天前
我是 homelab
14100 + 64G 内存 + 4T 固态 + tesla t10 16Gx2 待机功耗 CPU 12w / tesla t10 每张 10w 满载 150w 1100rmb 一张 |
21
keller 18 天前
完全没必要在本地跑大模型,因为大多时间一定是闲置的,但是可以在本地搭建自己的知识库、agent 等。
|
23
rockyastor 18 天前
我是 NAS 去调用有显卡的台式机的 Ollama Server 来实现的
|
26
guiyumin OP @rockyastor 这个可以
|
27
gegewu0927 18 天前
https://lazycat.cloud/ 有个组合拳
|
28
312ybj 18 天前
哈哈, 我研究过这个,想要 all in 1 挺难的。 但是如果做简单的还是可以的,比如相册归类,人脸聚类,这个下载开源的 clip 模型都能做,跑 cpu 就是了,模型量化下,内存加大点就能跑了,后台慢慢跑,性能消耗还行;要是 ASR 也行,本地 ASR 模型 + ffmpeg 转码 也能后台跑, 要是知识库,也行, 上一些大的向量模型也行。 基本上来说就是速度问题, 如果你能接受 n150 之类的 cpu 模型推理速度, 那就能上, 如果你自己加 GPU , 那当然是最好的,不然 nas 的低功耗 cpu 速度是真的慢
|
29
SakuraYuki 18 天前
买块独显插上去呗,又不是没有 pcie 插槽
|
30
DongFengPro 18 天前
一看就知道楼主想买成品 nas ,自己组装不好吗,虽然现在硬件价格飙升就是了。装个 truenas 、unraid 之类的就行了,想复杂点就装个 pve 上去再装 nas 系统
|
31
nexius 18 天前
请教一个问题:
|
32
nexius 18 天前
请教一个问题:
能否 nas 安装 Dify ,nas 充当一个知识库的角色, 输入: 文档-》分段与清洗-》 nas 问答: ai 问答-》知识检索-》 LLM 服务器-》回答 |
33
guiyumin OP @DongFengPro 我在做一个项目 https://vget.io
有 cli 和 docker ,cli 里集成了 whisper 和 sherpa-onnx ,可以做语音转文字 但 docker 就复杂了,因为 docker 要面对的是 windows ,linux ,和 macos macos 的 docker 是明确不能用 metal 的 linux 和 windows 可以用宿主机的 gpu ,但需要一些配置 然后我就了解到,大多数 nas 机器其实没有 gpu ,性能太差 所以我就来问问 现在大家的回复是,最靠谱就是用,如果真想用 gpu ,就不要用 nas ,而是单独配置一个机器带 gpu 我觉得这是可行的 |