首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
coldfannn
›
全部回复第 1 页 / 共 1 页
回复总数
4
5 天前
回复了
cnhongwei
创建的主题
›
Local LLM
›
各位 AI 大佬,请教一下私有化部署 AI 模型的问题?
先别急着花钱,现在私有部署模型几乎是傻瓜式的,可以搜一下 ollama 部署,模型的話视图就先选择 qwen3-vl ,6b-8b 规格正常你的电脑主机有块像样的独显基本就可以看效果了
根据识别速度和精度,对比你当前的硬件配置,决定你要买什么设备,想要单任务快就买高算力,想要提升并行就买高显存、高带宽,精度不够就加参数数量
从你的需求来看,我觉得 qwenvl-32b 这个基本完全足够了,有些识图效果更好的还得花钱没什么太大必要。用的人不多但单文件 200 页,个人感觉你买的这些 ai 工作站其实能力都超标不少了。一台搭载 4060-4070 能力的个人主机基本都能完成这个工作,当然了,公司不差钱的话当我没说。
总之先别急着花钱,自己部署了观察再做决定
2024-10-28 17:26:39 +08:00
回复了
CNN
创建的主题
›
程序员
›
程序员 2024 双十一有推荐 工学椅 的吗?
刚入手西昊 c500 ,建议刷过视频之后,一定去实体店试,比如仰角,座椅高度,所有功能的可调节范围,网面磨不磨,底盘感受,这种视频做的再细也是看不出来的,另:实体店提比电商平台便宜;营销拉满的做工必然差,例如 b 站铺满营销的那家
关于
·
帮助文档
·
自助推广系统
·
博客
·
API
·
FAQ
·
Solana
·
3261 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms ·
UTC 11:14
·
PVG 19:14
·
LAX 03:14
·
JFK 06:14
♥ Do have faith in what you're doing.
❯