国内某双非二本人工智能大三学生，目前是备战考研，所以不太着急需要，可以先买云服务器跑着，需要的时候。希望性价比高一点，一些基础的 ai 都可以跑一下，最近 50 系发布，求助下老哥们，语文不太好，发的比较乱，老哥们见谅。
 |
1
TimePPT 3 天前 via Android  1
国外好些平台，H100 的租用价格都跌到差不多 1 ～ 2 美元/小时了。如果没有特别的数据隐私要求，或者自己不缺电脑，直接租云服务吧。
|
 |
2
nocae OP 确实，主要手头没有 n 卡的电脑，上大学本来是机械专业，就买了个轻薄本在用着，但没个 n 卡的电脑属实不方便
|
|
3
nocae OP 目前我用过的两家小厂的服务器一个是智星云 ai 一个是 autodl 算力云，有更好用的老哥，可以给我推荐一下。
|
 |
4
rxg9527 3 天前
50 系暂时没有符合你预算的发售
|
 |
5
tool2dx 3 天前
AI 入门也需要 4060ti 16G 吧，再加钱显卡性价比就很低了。不如直接用云 GPU 服务器租算力。
|
 |
6
Quik 3 天前
不介意二手卡可以淘宝看看 2080ti 22G ，甚至可以双卡 NVlink ，单卡价格应该在三千块以下
|
|
8
Quik 3 天前
@nocae #7
可以看一下 nv 的文档。20 系列是图灵架构，到现在最新的 cuda toolkit 似乎还在支持： https://docs.nvidia.com/datacenter/tesla/drivers/index.html#software-matrix 另外 cudnn 也可以参考： https://docs.nvidia.com/deeplearning/cudnn/latest/reference/support-matrix.html 不过图省事的话，还是云服务比较好，自己买卡需要折腾装机什么的，放在宿舍里跑程序也很吵，不如考研结束再观望。2080ti 22G 只能说算是穷鬼最后的选择  |
 |
9
mingtdlb 3 天前
7k ？ 4070 都 5k 左右了，还是去租吧
|
 |
12
riceball 3 天前 via Android
如果个人实验，现在的纯 cpu(最好 amd ） 可以跑 70b 4int 量化用 llamacpp ，不过很慢，但能忍。30b 以下很快。
这时限制在内存，内存尽可能要大，内存至少要 32G, 最好 64G ， 然后支持 Oculink 接口，外接显卡。这样的 miniPC 机器 我配了一台 天呗 gem12pro 2400 + 4t ssd + 64g DDR5 大概 5k 左右 |
 |
13
uprit 3 天前
@nocae 我在用双卡 2080ti 22G ，32B 模型大概每秒 20+token 吧，再大就没试了。日常用的最多还是 14B 模型。其他至少还没遇到不支持的东西。我还在用 6 代平台，是旧电脑升级上来的，升级了内存、电源、主板、显卡、机箱。总共花了不到 6k 吧。你要上新平台双卡 2080ti ，7K 应该也能搞定。
|
 |
14
bigtear 3 天前
你自己这个预算买啥主机都捉襟见肘，用 autodl 租算力吧，autodl 支持网盘，几块钱搞个 VIP 传数据也不会很慢。
至于上研究生了老板会给你配工作站，都是几十几百万的机器，用不着你这点算力。 |
|
15
uprit 3 天前
补充：关键还是考虑下你需要多大显存。
16G 显存，可以选 4060ti ，贵一点的 4070tis 也可以，或者你等 50 系也行。再便宜，就是可选 v100 24G 显存，3090 其实也不错，带宽够高。 搞 CPU 推理，内存带宽上不来，都是邪路，别折腾了，就选 N 卡。 |
 |
17
Cu635 3 天前
|
 |
21
AlexHsu 2 天前
你就推理的话 macmini 也够用了 5070ti 有 16g 显存性价比也不错 就是预算太低了
|
 |
22
dropdatabase 2 天前
1x GH200 (96 GB)
ARM64 + H100 64 CPU cores, 463.9 GB RAM, 4.4 TB SSD 上面这配置 1.5/h 性价比拉满，按小时付费。 |
 |
23
chapiom 2 天前 via iPhone
可以买 16g 的 3060ti ，大概 3400-3600 的样子。
7k 预算还是够的。 |
|
24
chapiom 2 天前
打错了是，4060ti
|
|
25
nocae OP @dropdatabase
老哥这个是哪里的云服务器平台啊，这么便宜 |
 |
31
JoonSumisu 1 天前
现阶段性价比最高的是 2080 22g 吧
之后就是 3090 ，但是比较重要的一点是要看 PCB 的型号，不然会遇到 nvlink （如果要上的话）接不上的问题 https://linustechtips.com/topic/1247285-rtx-3090-pcb-board-types-reference-vs-founders-vs-non-reference/ 矿倒没啥所谓，只要大店给个两年保就行了 主板方面，如果有时间其实可以研究下 x299 平台， 曾经的尾缀带 x 的，例如 Intel Core i7-6950X 能提供 40 个 pcie 线路，等于 16+16+8 ，每张卡能完全跑满（虽然 pcie 4X8 3090 游戏能跑满，但是推理训练方面我还没找到资料） 另外你有笔记本的情况下，建议这个机器直接跑 linux 系，或者 pve 来打游戏。 我这段时间用下来 wsl 还是太玩具了，还有载入其他盘模型速度爆降的恶心 feature ，这个问题已经很多年了，微软是感觉不打算修了。 |
|
32
nocae OP @JoonSumisu 确实，我研究，感觉确实搞个类似 linux 服务然后笔记本直接远程方便一点
|
Select Language