V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
WinkeyLin
V2EX  ›  OpenAI

高频低延迟的小模型选型求教

  •  
  •   WinkeyLin · 1 天前 · 359 次点击

    我正在开发一个消息转发服务,每天大概在 500 条消息左右,每条消息在 500 字符内。我想调用一个小模型来实现文本翻译和简单的内容审核过滤功能,并用 JSON 格式输出处理结果,System Prompt 大概在 1100 Tokens ,请问各位 V 友目前的最佳选择是什么? 国内外模型均可,目前尝试了 Qwen2.5 的 7B 和 14B 模型,感觉差强人意。

    xjzshttps
        1
    xjzshttps  
       1 天前
    github 有反向免费版网页版本的 api ,
    这个量可以试试。
    zizon
        2
    zizon  
       1 天前
    学习 deepseek 最新思路,拆小.
    不要想着一个调用/prompt 解决一切.
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2450 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 10:53 · PVG 18:53 · LAX 02:53 · JFK 05:53
    ♥ Do have faith in what you're doing.