orzsome 最近的时间轴更新 orzsome 最近的时间轴更新 |
orzsomeV2EX 第 434341 号会员，加入于 2019-08-07 09:22:18 +08:00今日活跃度排名 3119 |
orzsome 最近回复了
30 天前 回复了 Sh1xin 创建的主题 › Local LLM › 私有化部署 LLM 及 LVM 选型方案意见收集 |
借个楼问一下，如果就一张 A100 ，想要部署嵌入跟重排序，加上 LLM/LVM ，可以部署多大参数量的？如果都是 qwen3 ，是不是最多嵌入跟重排序是 0.6B ，LLM/LVM 最多是 30B int8 就是极限了，其他的显存留给并发的上下文什么的？我没有这方面的经验，请各位大佬能给一点建议
111 天前 回复了 sdrpsps 创建的主题 › 生活 › 1781 天后，我们还是分手了 |
喜不喜欢，合不合适，在不在一起是三件事。
小伙，你还年轻，有一份可以以后回忆的恋爱经历就很好了。好聚好散。那么多初恋到婚纱再到离婚的呢。不要被困在里边。专心搞钱，你总有一天会变成另一个大众男的。会抢走另一个像你现在这样人的女朋友的。
小伙，你还年轻，有一份可以以后回忆的恋爱经历就很好了。好聚好散。那么多初恋到婚纱再到离婚的呢。不要被困在里边。专心搞钱，你总有一天会变成另一个大众男的。会抢走另一个像你现在这样人的女朋友的。
Select Language