V2EX › mili100 的所有回复 › 第 1 页 / 共 1 页

@gzlock 意指站在巨人的肩膀上，或者是羊驼的背上（？

@musi Ollama 从 [v0.1.33]( https://github.com/ollama/ollama/releases/tag/v0.1.33) 开始就已经支持并发和同时加载多个模型了，已经足以能够胜任一些中小规模的生产环境了

276 天前

回复了 jhytxy 创建的主题 › Local LLM › q4 量化的大模型能比原版全精度的差多少？

https://github.com/ggerganov/llama.cpp/blob/master/examples/quantize/README.md#quantization

295 天前

回复了 mrleft 创建的主题 › Local LLM › ollama 如何手动下载模型？

或许变通一下
https://www.v2ex.com/t/1104266

327 天前

回复了 abc634 创建的主题 › Local LLM › 请教，关于显卡内存

也许可以尝试下 Ollama/llama.cpp ，没有显卡但是有高性能 CPU 纯 CPU 推理只要有足够的许多模型都能够运行的，特别是对于激活参数较小的 MoE 模型（比如 Deepseek ）。
在我的环境下（ R9 7945HX + 96G RAM ） Deepseek-v2.5-1210 IQ2_XS 能有几到十几的 TPS ，奈何没有更大的内存，我觉得只要有 256G RAM Q4_0/Q4_K_M 也许也是没有问题的。
在 X 上也有人纯 CPU 成功运行起来了 Deepseek-v3 而且似乎还不错： https://x.com/nisten/status/1877276141905387565

2023-07-03 17:08:38 +08:00

回复了 TGhhpanda 创建的主题 › DNS › 突然想学习关于 DNS 劫持的玩意，有没有大神愿意指点一二

@TGhhpanda https://www.ettercap-project.org/

2020-11-15 00:20:07 +08:00

回复了 CloudRaft 创建的主题 › 推广 › 云筏科技 CloudRaft 长期免费赠送服务器 4 核 16G 内存 500G 硬盘

ID：1101499
搭建一个公共 DNS over HTTPS 服务器

2020-01-20 22:16:01 +08:00

回复了 Yien 创建的主题 › 推广 › 新晉 NAT VPS 推廣 5 位贈送： KVM 1C1G 一年使用權另有 V2EX 專屬首月 6 折優惠碼限量 50 位

分母+1