这是一个创建于 55 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近有个场景，需要使用 gpt-4o-2024-08-06 的 100% json 格式输出。我用了一些卖 openai 代理的，发现暂时还没适配这种模式。
想咨询一下大家，如何能安全的使用 openai 的 api 服务，因为之前我已经被封掉一个付费账户了
- 看有帖子讨论说，cloudflare workers 反代，也是会被封掉
或者大家有别的方法，能保证模型输出 100% 是 json 也可以，注意：是 100% json 输出。
openai 结构化输出官方文档: https://platform.openai.com/docs/guides/structured-outputs/structured-outputs
29 条回复 • 2024-10-08 15:53:42 +08:00
 |
1
Kite6 55 天前 via Android
之前的版本也支持指定 json 输出，只是可能达不到 100%，但这个也有解决办法，用 json 解析一下返回结果，如果不满足重新请求生成一次就行
|
 |
2
tap91624 55 天前
解析重试
|
 |
3
necomancer 55 天前
买个 vps 自己做转发,或者本地代理，买靠谱的机场
|
 |
4
x86 55 天前
美国 VPS+new api 去中转
|
 |
5
facebook47 55 天前 via Android
野卡
|
 |
6
bobryjosin 55 天前
用 azure 的就可以，没有限制即用即付，还是很稳的
|
 |
7
llcxx 55 天前
必须使用 gpt-4o-2024-08-06 的模型吗？
我这里有一个方法，必然可以生成 json ，但是需要忍受慢一些的速度。 使用 deepseek 的接口，规定 output 一定是 json 格式即可。 我的远程工作职位网站 w3offer.com 就是用的 deepseek + json output 格式方便处理。 JSON Output 在很多场景下，用户需要让模型严格按照 JSON 格式来输出，以实现输出的结构化，便于后续逻辑进行解析。 DeepSeek 提供了 JSON Output 功能，来确保模型输出合法的 JSON 字符串。 https://platform.deepseek.com/api-docs/zh-cn/guides/json_mode/ 需要稳定的 openai 服务，也可以联系我 share 。 |
 |
8
Int100 55 天前
用 function call 可以做到 100% json ，业务就这么做的
|
 |
9
HeyCaptainJack OP @Int100 请问，我要翻译一个 text 文案为如下结果，要如何写这块呢，原文: We write your reusable computer vision tools. , 翻译后的结果需要如下:
{ "zh-CN": "我们编写可重用的计算机视觉工具。", "zh-TW": "我們編寫可重複使用的電腦視覺工具。", "en": "We write your reusable computer vision tools. ", "ja": "あなたの再利用可能なコンピュータビジョンツールを作成します。", } |
|
10
HeyCaptainJack OP @Int100 试着写了一下，成功过，不过还是会出现报错：
ERROR [ExceptionsHandler] 400 {"error":{"message":"Failed to call a function. Please adjust your prompt. See 'failed_generation' for more details.","type":"invalid_request_error","code":"tool_use_failed","failed_generation":"{\"translations\": {\"vi\": \"Chúng tôi viết các công cụ tầm nhìn máy tính có thể tái sử dụng của bạn\", \"zh-CN\": \"我们编写你的可复用计算机视觉工具\", \"zh-TW\": \"我們撰寫你的可重複使用電腦視覺工具\"}}"}} |
|
11
HeyCaptainJack OP @Kite6 omg ，这思路，失败了重试多次，直到解析成功对吧
|
 |
12
proxyai 55 天前
@HeyCaptainJack 留下你的邮箱, 给你最可靠的 AI API
|
 |
13
mythabc 55 天前
deepseek 的 json output 。或者在 LLM 结束之后加一个 json_repair ，或者捕获异常进行重试。
|
 |
14
zqqian 55 天前
用云服务的 serverless 反代还是比较稳的，也不用服务器，免费额度也够用
|
 |
15
hanqian 55 天前
用 openrouter 不就完了
|
 |
16
maymay5 55 天前
|
 |
17
zhhmax 55 天前
https://luee.net 我自己对接的 API 中转，可以用官方 demo 请求成功返回 json 。
|
|
18
zhhmax 55 天前
@zhhmax 要百分百返回 json ，说白了就是请求的 body 里面，response_format.type=json_schema ，response_format.json_schema 有完整的 json 结构定义，然后用支持的模型请求即可。至于你说的买了一些 API 代理不支持是因为他们都用的某几个开源程序。我这边的中转是我自己对接的官方 API ，支持这种请求模式，而且都是纯官方 API 转发，没有混杂逆向 API 等其他不明来源，因此能保证 100% json 输出。
|
|
19
HeyCaptainJack OP @zhhmax 是的，找了几个，好多都是基于开源自己部署的，哈哈，确实不符合，兄弟你这个我今天试试，😊
|
|
20
HeyCaptainJack OP @necomancer 靠谱的机场，说实话，我找了好多，也没找到完全安全的🤪，正在准备 vps 转发
|
|
21
HeyCaptainJack OP @llcxx 常规的翻译任务，对模型要求并不是很高，我来试试你推荐的这个 DeepSeek ，谢谢😁
|
|
22
HeyCaptainJack OP @hanqian 之前没听过，看了一下，挺全乎的，我来试试看
|
|
23
HeyCaptainJack OP @maymay5 呃，找了一个其他家的用 new api 的，暂不支持
|
|
24
maymay5 55 天前
@HeyCaptainJack #23 这不是 newapi 的问题，newapi 在刚发布的时候就更新了的，很久就更新了，不支持的是中转混用了模型版本，jsonschema 在请求体里只有两个模型支持，这两个模型经常会被混用，如图所示
 |
 |
25
TimePPT 55 天前 via Android
简单的 json 结构，4o 用 json mode ，sys prompt 给出输出示例，其实准确率还可以了。不用强行 json schema
|
 |
27
jwangbyus 55 天前
用 Azure 的，除了部署新模型比较慢之外还是比较稳定的。
|
 |
28
Quetalocatl 52 天前
請將以下 json 翻譯：
```json { "zh-CN": "", "zh-TW": "", "en": "We write your reusable computer vision tools. ", "ja": "", } ``` DeepSeek V2.5 用這句就能翻譯了，結果差不多。如果有非 json 的輸出其實過濾一下就可以吧？ |
Select Language