V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PoohBear
V2EX  ›  OpenAI

如何优化提升 3.5 模型 API 的响应速度?

  •  
  •   PoohBear · 354 天前 · 914 次点击
    这是一个创建于 354 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们在做一个面向海外用户的产品,现在在用 gpt-3.5-turbo ,服务器在新加坡,经常要 10 秒才响应,想问下可以怎么优化?

    11 条回复    2023-11-21 00:38:39 +08:00
    chuck1in
        1
    chuck1in  
       354 天前
    务器在放在日本也有这个问题,用的 gpt4 ,还是很慢。还以为是网络问题,原来大家都有这个问题吗?
    tool2d
        2
    tool2d  
       354 天前
    gtp4 无可替代,但是 3.5 改用国内的替代大模型,基本回复都能达到相同水准,并且响应速度飞快。
    PoohBear
        3
    PoohBear  
    OP
       354 天前
    想问下大家 3.5 的响应速度一般是多久
    Tink
        4
    Tink  
       354 天前 via iPhone
    10 秒?不可能吧...我的 1 秒左右(国内服务器挂梯子)
    PoohBear
        5
    PoohBear  
    OP
       354 天前
    @tool2d 产品面向海外英语用户
    tool2d
        6
    tool2d  
       354 天前
    @PoohBear 国内大模型精通英语的。
    wujiang007
        7
    wujiang007  
       354 天前
    你说的是非 stream 模式吧? GPT4 只会更慢,用 stream 边出字边显示,看起来会快一点。
    brader
        8
    brader  
       354 天前
    @chuck1in 请问下你的日本服务器会不会有 504 time out 问题,我的日本节点偶尔会有这个问题,延迟倒是还好,都是 1s 以内响应
    brader
        9
    brader  
       354 天前
    大家知道哪个地方的服务器,访问情况会最好吗
    PoohBear
        10
    PoohBear  
    OP
       354 天前
    @tool2d #6 有些聊天内容尺度比较大= =
    yinmin
        11
    yinmin  
       354 天前 via iPhone
    以前注册的后付费账户的 api 速度快,最近注册的预付费的 api 速度慢很多。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   983 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 22:11 · PVG 06:11 · LAX 14:11 · JFK 17:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.