这是一个创建于 371 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有很多 32 核的 cpu 机器，想要跨这些机器使用所有的 cpu 算力进行推理。
这个该怎么做啊？
是不是部署 k8s 集群就可以，还是有更简单的办法？
还是说用分布式的 spark 等计算框架？但是具体该怎么搞呢。没头绪
这个该怎么做啊？
是不是部署 k8s 集群就可以，还是有更简单的办法？
还是说用分布式的 spark 等计算框架？但是具体该怎么搞呢。没头绪
第 1 条附言 · 2023-11-16 19:36:03 +08:00
场景是跑开源大语言模型
 |
1
murmur 2023-11-16 18:28:09 +08:00
你做科学计算么，有的科学计算是 cpu 运算+大内存，不过也不是用框架，直接买现成的软件，比如电磁学的 feko
|
 |
4
israinbow 2023-11-17 03:19:13 +08:00
TorchServe 或者黄核弹的 TensorRT? 我们做边缘计算的还有用 ONNX 的, 挑一个吧🫡
|
 |
5
max1911 2023-11-17 10:24:32 +08:00
op 可以试试 ggml 库重新，基于 ggml 上的项目 llama.cpp ，可以实现用 C++运行语言模型
|
|
6
max1911 2023-11-17 10:30:50 +08:00
|
|
7
max1911 2023-11-17 10:34:41 +08:00  1
|
 |
8
t133 2023-11-20 13:20:29 +08:00 via iPhone
大矩阵的乘法除非你有 infiniband 并行效率惨不忍睹
|
Select Language