@matrix1010 这里其实比较微妙，实际上现在绝大多数的大模型都或多或少接受过“给定一个 json schema ，生成满足这个 schema 的 json” 这种训练（或者由其他类似的训练泛化得到相同能力）——你可以纯纯的使用 prompt 给模型 schema 要求它生成，他不至于完全做不了，顶多是有些地方会有语法/语义错误，然后 guided decode 就可以强制解决语法错误，至于内容和语义上，最终还是看模型的能力。

@musi #8 ，这里的 decode 是指 LLM 生成的最后一个阶段——从概率分布中采样，不是说 decode json string

这个其实不难，就是推理引擎加个约束采样，感觉更多是不重视，火山引擎就可以

https://www.volcengine.com/docs/82379/1568221

也可以用一些第三方平台提供的推理服务，都有这些功能

https://fireworks.ai/docs/structured-responses/structured-response-formatting

https://docs.nebius.com/studio/inference/json

回复一下附言：PoE 本质上来源还是 API ，但是如果每个月用完他给的点数是比直接买 API 划算；缺点就是没有 c 端的一些特色功能了（例如 ChatGPT 的 o3 各种搜索/代码执行能力；又例如 Gemini APP 的 Deep Research ；又例如 Claude 客户端的 MCP 之类的）

2c
-----------
- ChatGPT Plus / 有限推荐（仅环境满足不降智要求），o3 检索汇总能力独一档
- Gemini APP Pro / 弱推荐（仅有 Deep Research 需求），只有 DR 算是亮点，其他阉割上下文+提示词降智不如用 API
- Claude.ai (Web) / 不推荐（环境要求高，容易封号； Claude 除编程能力外都很一般，有需求建议直接在 AI IDE ，各种 cli 下用）
- Grok / 没用过，看反馈做的还可以，可以考虑充

API
-----------
充中转，很多模型都能用，一般就 Gemini 2.5 Pro / o3 / claude 4 sonnet 这几个看需求用吧，御三家来着。

@frankyzf 有的，比如 openrouter 不支持 responses api

https://github.com/NEKOparapa/AiNiee
https://github.com/neavo/LinguaGacha (不支持 PDF)

术语表生成： https://github.com/neavo/KeywordGacha

其实感觉起来先从 PDF 提文本再给工具翻比较好，比如 doc2x 之类（不想用也可以自己写脚本扔给 Gemini API ），竖排日文不确定能不能做。不行的话单独处理，用类似 https://github.com/kha-white/manga-ocr 的东西

支持！

单从提出的问题数量来看，其实早就在走下坡路了，LLM 可能只是最后一根稻草罢了。这里有更多相关讨论：

https://gist.github.com/hopeseekr/f522e380e35745bd5bdc3269a9f0b132

https://www.reddit.com/r/programming/comments/1i5miw0/stackoverflow_has_lost_77_of_new_questions/

感觉可以考虑一下 Firecrawl 这种，它的抓取器内置了很多解析相关的东西，能满足需求就直接用就行

@sillydaddy

1. 当然有... 底层来说，硬件方面就引入的很多不确定性，CUDA 也有一些原语不是确定性的（ https://news.ycombinator.com/item?id=37009167 有一些讨论，像是 pytorch 这些依赖 cuda 的也会因此受影响： https://github.com/pytorch/pytorch/issues/75240 ），这些不确定性在大规模推理（多 GPU 、多节点）的情况下会愈加明显。推理框架本身也会因为调度，batch inference 下的 padding 加入很多不确定性，这里也有很多讨论： https://news.ycombinator.com/item?id=44527256

2. 模型到 lm_head 这里还是纯函数，而 temp=0 等价贪婪采样，按你的说法，对相同的信息给出的 logits 不会变，最后贪婪采样也是完全确定的，整个过程没有任何随机性参与。但是实际上实践上就是因为上面各种原因做不到

@neteroster #4 开源推理框架的一些信息：

> vLLM does not guarantee the reproducibility of the results by default, for the sake of performance. You need to do the following to achieve reproducible results:

> For V1: Turn off multiprocessing to make the scheduling deterministic by setting VLLM_ENABLE_V1_MULTIPROCESSING=0.

> 相同的消息必须有相同的回复，违反了这点就意味着模型有所变化。

错误的。LLM 生成最后有采样步骤会引入随机性。即使贪婪采样，现代 LLM 推理框架在性能上的一些优化措施也会导致几乎丧失稳定的 reproducibility 。

OpenAI 是这么说的：... If specified, our system will make a *best effort* to sample deterministically, such that repeated requests with the same seed and parameters should return the same result. Determinism is *not guaranteed*

Anthroic 是这么说的：...Note that even with temperature of 0.0, the results will not be fully deterministic.

题目是啥，什么模型什么渠道调用的

@threeBoy 错误的，Gemini 个人号有免费 1000 次额度每天，这个是和 GCP 那边完全独立的。

---

这个错误有多种可能的原因，可能不是 workspace 的关系，具体请参阅：

https://github.com/google-gemini/gemini-cli/blob/main/docs/cli/authentication.md

官方速率限制：
https://ai.google.dev/gemini-api/docs/rate-limits

tier 1 flash 也有 1000 请求/分钟，应该不那么容易撞吧

话说你是在用沉浸式翻译吗

分情况讨论。不讨论偷换模型的情况。

Claude Code 转发这种：你买 Claude 官方的套餐越高（ 20 刀 / 100 刀 / 200 刀），能用的额度是超线性增长的，例如说统一换算到 API 费用，可能 20 刀套餐能用大概等额 100 刀的 API ，但是 200 刀的套餐能用等额 3000 刀的 API 。显然就单位 token 价格来说 200 刀最划算，然而大部人用不到那么多，中转通过堆 Max 号池然后再分发，可以实现中间获利同时提供比官方更便宜的低价套餐（虽然这可能是违反使用条例的）

至于其他 API 中转，低价大多数是有一些低价渠道，例如 abuse 刷 GCP 300 刀赠金就能拿出价格低的离谱的 Gemini API 。这种低价渠道都是比较灰色的

小模型英语会好点，模型大了或者是推理模型的话，中英不会有什么显著差异，具体可以看看前段时间一个叫 mmlu pro x 的文章有详细测不同语言的性能

Gemini 2.5 pro 就可以啊，就是有时候废话有点多。情绪价值和能力没有问题。

chatgpt 4o 确实算是对齐的典范了，lmarena 至今还是前三，然而不是思考模型，解决复杂问题的能力一般。