V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Noby
V2EX  ›  Local LLM

目前哪个大模型适合本地部署用来纯翻译?

  •  
  •   Noby · 2025 年 7 月 3 日 · 4788 次点击
    这是一个创建于 198 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前用的 qwen2.5:3b 设置本地浏览器的沉浸式翻译插件搭配 ollma 翻译,但是我的 m2 性能可能有些不太行,翻译还是要等一会。现在国内的大模型应该也有比较适合翻译,并且比较轻量的模型了,大家有什么比较好的推荐吗?或者更好的方案实现网页翻译。

    25 条回复    2025-09-05 17:42:16 +08:00
    Noby
        1
    Noby  
    OP
       2025 年 7 月 3 日
    中英翻译,有时候需要中俄翻译
    DefoliationM
        2
    DefoliationM  
       2025 年 7 月 3 日 via Android
    有点难,轻量的效果很差,还不如谷歌翻译。workers ai 有免费的翻译模型,你可以先试试,真不如谷歌翻译。
    newyangnc
        3
    newyangnc  
       2025 年 7 月 3 日
    qwen 已经够用了
    Rennen
        4
    Rennen  
       2025 年 7 月 3 日
    沉浸式翻译自带的智谱 GLM 也不错吧
    neteroster
        5
    neteroster  
       2025 年 7 月 4 日 via Android
    随便搞个豆包 seed 1.6 用就完了,他这个是阶梯定价,输入短便宜的不行,翻译只要是 llm 而且不太小的模型都差不到哪去
    djv
        6
    djv  
       2025 年 7 月 4 日
    用 API 就好了, 不想花钱就用智谱
    glm-4-flash
    glm-4-flash-250414
    glm-4v-flash
    glm-z1-flash
    这几个是免费
    glm-4.1v-thinking-flash
    glm-4.1v-thinking-flashx
    可领免费额度的
    或者新用户也有普适的免费额度
    killadm
        7
    killadm  
       2025 年 7 月 4 日 via Android
    试换成 qwen3 试试有提升不
    我只用过本地部署的 17b 和 30b ,/nothink 条件下中英效果比 google 好多了。
    yjd
        9
    yjd  
       2025 年 7 月 4 日
    使用体验,在线 Qwen2.5-7B-Instruct 确实国产 AI 可能语料原因。翻译要比国外的 ai 翻译要好。
    fredweili
        10
    fredweili  
       2025 年 7 月 4 日
    openrouter 上有免费的 30BA3B 用,还有是 ollama
    hoythan
        11
    hoythan  
       2025 年 7 月 4 日
    要是 API 都能接受直接用谷歌翻译接口不就行了。人家底层也有 Ai 参与
    yidinghe
        12
    yidinghe  
       2025 年 7 月 4 日 via Android
    如果 3b 的翻译质量能满足你的要求,那完全可以换成免费 API 来用。
    yisheyuanzhang
        13
    yisheyuanzhang  
       2025 年 7 月 4 日
    我们生产使用的小米开源的 GemmaX2-28-9B ,翻译效果和速度不错。 优势是小语种对比同规模的通用模型效果好很多

    本地受限于性能的化可以看看 2B 或者 2B 量化模型
    https://huggingface.co/ModelSpace/GemmaX2-28-2B-v0.1
    hwdq0012
        14
    hwdq0012  
       2025 年 7 月 4 日
    reddit 的翻译不知道是什么模型可以关注一下, 分不清是贴吧里的网友不审歪果仁了都
    anghunk
        15
    anghunk  
       2025 年 7 月 4 日
    目前谷歌翻译好像改进了一些算法,质量比之前好太多,而且速度比 api 快多了
    kero991
        16
    kero991  
       2025 年 7 月 4 日
    隔壁有人作了一个翻译模型,可以去看看

    最新版 WiNGPT-Babel-2 终于发布了
    https://linux.do/t/topic/711029


    模型地址 https://huggingface.co/winninghealth/WiNGPT-Babel-2
    还有专门为手机部署准备的 AWQ 量化版 https://huggingface.co/winninghealth/WiNGPT-Babel-2-AWQ
    似乎是用 gemma-2-2b 作为基础模型来训练的,确实很多翻译模型的基础都是这个。
    2b 模型,肯定是不用考虑硬件问题的
    openmynet
        17
    openmynet  
       2025 年 7 月 4 日
    glm-4 是真心拉,免费量大管饱的也就 mistral small 了,限制就是 RPS=1 ,tpm=5m
    leeg810312
        18
    leeg810312  
       2025 年 7 月 4 日
    还是觉得在线模型翻译更方便,不占用本地资源。轻量和质量只能取舍,现在觉得本地折腾太麻烦了,翻译不好还得自己校对。
    07H56wMvTJUc4rcf
        19
    07H56wMvTJUc4rcf  
       2025 年 7 月 4 日 via iPhone
    部署在自己脑子里算本地部署吗
    yyzh
        20
    yyzh  
       2025 年 7 月 4 日 via Android
    @hwdq0012 reddit 那个的确感觉超级强.
    wwhc
        21
    wwhc  
       2025 年 7 月 4 日
    Qwen3 30B-A3B ,可以直接部署到任何有足够内存的电脑,包括笔记本电脑,使用/no_think 参数生成 token 的速度应该能满足大部分需求
    orzorzorzorz
        22
    orzorzorzorz  
       2025 年 7 月 4 日
    直接下 ollama 上的 qwen3:14b-q4_K_M 或者 gemma3:12b-it-q4_K_M 。两者在 4060Ti 16G 下 no think 的表现挺好,至少体感下,速度快,也没那么多机翻感。
    具体讨论可以看看这个 https://github.com/SakuraLLM/SakuraLLM/issues/136 ,能对比一下翻译效果。
    5had0w
        23
    5had0w  
       2025 年 7 月 4 日
    或许你可以试试 LibreTranslate ,这个不是 AI 模型,是纯翻译模型
    SSang
        24
    SSang  
       2025 年 9 月 5 日
    qwen2.5:3b 都跑不动的话,其他模型应该也不太行了,不然试试 qwen2.5:0.5b ?不然还是调用 API 吧,API 调用的话 qwen2.5-7B 基本上能做到秒级的翻译了。我视频字幕实时翻译和网页翻译现在用的就是 qwen2.5-7B (调用 siliconflow 的 API )
    SSang
        25
    SSang  
       2025 年 9 月 5 日
    如果一定要本地的话,可以看看 ggml 的 0.5B 模型,我感觉这个是真有点东西,我本地补全用的 qwen2.5-coder:0.5B ,i3-14100 的 CPU ,占用 30% 左右,也能做到 1s 左右的响应时间。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2555 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 15:33 · PVG 23:33 · LAX 07:33 · JFK 10:33
    ♥ Do have faith in what you're doing.