我们在做一个面向海外用户的产品,现在在用 gpt-3.5-turbo ,服务器在新加坡,经常要 10 秒才响应,想问下可以怎么优化?
1
chuck1in 354 天前
务器在放在日本也有这个问题,用的 gpt4 ,还是很慢。还以为是网络问题,原来大家都有这个问题吗?
|
2
tool2d 354 天前
gtp4 无可替代,但是 3.5 改用国内的替代大模型,基本回复都能达到相同水准,并且响应速度飞快。
|
3
PoohBear OP 想问下大家 3.5 的响应速度一般是多久
|
4
Tink 354 天前 via iPhone
10 秒?不可能吧...我的 1 秒左右(国内服务器挂梯子)
|
7
wujiang007 354 天前
你说的是非 stream 模式吧? GPT4 只会更慢,用 stream 边出字边显示,看起来会快一点。
|
9
brader 354 天前
大家知道哪个地方的服务器,访问情况会最好吗
|
11
yinmin 354 天前 via iPhone
以前注册的后付费账户的 api 速度快,最近注册的预付费的 api 速度慢很多。
|