V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  neteroster  ›  全部回复第 2 页 / 共 43 页
回复总数  847
1  2  3  4  5  6  7  8  9  10 ... 43  
142 天前
回复了 elinktek 创建的主题 问与答 求開源的 AI 翻譯和 OCR 工具
https://github.com/NEKOparapa/AiNiee
https://github.com/neavo/LinguaGacha (不支持 PDF)

术语表生成: https://github.com/neavo/KeywordGacha

其实感觉起来先从 PDF 提文本再给工具翻比较好,比如 doc2x 之类(不想用也可以自己写脚本扔给 Gemini API ),竖排日文不确定能不能做。不行的话单独处理,用类似 https://github.com/kha-white/manga-ocr 的东西
支持!
单从提出的问题数量来看,其实早就在走下坡路了,LLM 可能只是最后一根稻草罢了。这里有更多相关讨论:

https://gist.github.com/hopeseekr/f522e380e35745bd5bdc3269a9f0b132

https://www.reddit.com/r/programming/comments/1i5miw0/stackoverflow_has_lost_77_of_new_questions/
感觉可以考虑一下 Firecrawl 这种,它的抓取器内置了很多解析相关的东西,能满足需求就直接用就行
@sillydaddy

1. 当然有... 底层来说,硬件方面就引入的很多不确定性,CUDA 也有一些原语不是确定性的( https://news.ycombinator.com/item?id=37009167 有一些讨论,像是 pytorch 这些依赖 cuda 的也会因此受影响: https://github.com/pytorch/pytorch/issues/75240 ),这些不确定性在大规模推理(多 GPU 、多节点)的情况下会愈加明显。推理框架本身也会因为调度,batch inference 下的 padding 加入很多不确定性,这里也有很多讨论: https://news.ycombinator.com/item?id=44527256

2. 模型到 lm_head 这里还是纯函数,而 temp=0 等价贪婪采样,按你的说法,对相同的信息给出的 logits 不会变,最后贪婪采样也是完全确定的,整个过程没有任何随机性参与。但是实际上实践上就是因为上面各种原因做不到
@neteroster #4 开源推理框架的一些信息:

> vLLM does not guarantee the reproducibility of the results by default, for the sake of performance. You need to do the following to achieve reproducible results:

> For V1: Turn off multiprocessing to make the scheduling deterministic by setting VLLM_ENABLE_V1_MULTIPROCESSING=0.
> 相同的消息必须有相同的回复,违反了这点就意味着模型有所变化。

错误的。LLM 生成最后有采样步骤会引入随机性。即使贪婪采样,现代 LLM 推理框架在性能上的一些优化措施也会导致几乎丧失稳定的 reproducibility 。

OpenAI 是这么说的:... If specified, our system will make a *best effort* to sample deterministically, such that repeated requests with the same seed and parameters should return the same result. Determinism is *not guaranteed*

Anthroic 是这么说的:...Note that even with temperature of 0.0, the results will not be fully deterministic.
题目是啥,什么模型什么渠道调用的
@threeBoy 错误的,Gemini 个人号有免费 1000 次额度每天,这个是和 GCP 那边完全独立的。

---

这个错误有多种可能的原因,可能不是 workspace 的关系,具体请参阅:

https://github.com/google-gemini/gemini-cli/blob/main/docs/cli/authentication.md
tier 1 flash 也有 1000 请求/分钟,应该不那么容易撞吧

话说你是在用沉浸式翻译吗
152 天前
回复了 gy0624ww 创建的主题 程序员 那些 AI 中转平台的盈利逻辑是什么?
分情况讨论。不讨论偷换模型的情况。

Claude Code 转发这种:你买 Claude 官方的套餐越高( 20 刀 / 100 刀 / 200 刀),能用的额度是超线性增长的,例如说统一换算到 API 费用,可能 20 刀套餐能用大概等额 100 刀的 API ,但是 200 刀的套餐能用等额 3000 刀的 API 。显然就单位 token 价格来说 200 刀最划算,然而大部人用不到那么多,中转通过堆 Max 号池然后再分发,可以实现中间获利同时提供比官方更便宜的低价套餐(虽然这可能是违反使用条例的)

至于其他 API 中转,低价大多数是有一些低价渠道,例如 abuse 刷 GCP 300 刀赠金就能拿出价格低的离谱的 Gemini API 。这种低价渠道都是比较灰色的
小模型英语会好点,模型大了或者是推理模型的话,中英不会有什么显著差异,具体可以看看前段时间一个叫 mmlu pro x 的文章有详细测不同语言的性能
Gemini 2.5 pro 就可以啊,就是有时候废话有点多。情绪价值和能力没有问题。

chatgpt 4o 确实算是对齐的典范了,lmarena 至今还是前三,然而不是思考模型,解决复杂问题的能力一般。
159 天前
回复了 Noby 创建的主题 Local LLM 目前哪个大模型适合本地部署用来纯翻译?
随便搞个豆包 seed 1.6 用就完了,他这个是阶梯定价,输入短便宜的不行,翻译只要是 llm 而且不太小的模型都差不到哪去
@1145148964 没有,4.5 只是研究预览,下架是因为成本太高,而且效果没有预期的好。
用 API 或者多来几个号呗,不过 4.5 的使命也快结束了,API 上的 4.5 本月 14 日就会下架,ChatGPT 上估计也快了,要用尽快吧
163 天前
回复了 AlfredNing 创建的主题 问与答 国内大模型与 chatgpt
1. 你的指代太宽泛以至于无法给出切题的答案。请注意 ChatGPT 是产品不是模型。模型的能力是一个复杂的事情,各自有各自擅长的地方,例如 ChatGPT o3 擅长多轮搜索,Claude 擅长编码 agent ,Gemini 擅长长文本召回和多模态等等。

2. 目前总体来说御三家( OpenAI, Anthropic, Google )还是比国内的模型领先一大截的。不过还是那个问题,在会用且了解模型能力的情况下差距才能体现。

3. 虽然御三家基本上都对自己的模型架构守口如瓶,但是几乎可以肯定的是他们都基于一种非常基础且重要的组件 Transformer (由 Google 在 2017 年的论文 Attention is All You Need 提出)。在此基础上模型的其他组成会有一些差别,例如是 dense 模型或是 MoE 模型(目前推测御三家基本都在用 MoE, 其中 Gemini 在技术报告中直接说了,Deepseek V3 / R1 也是 MoE ),其他地方也会有些许差别。还有就是训练,除了训练数据量还有数据筛选清洗合成管线等等,以及各种训练参数,后训练(包括重强化学习用于训练推理模型)方案等等,这些也多属于独家秘方,就算是 Deepseek 这种开放团队在这方面公开的信息也是少之又少,更不用说商业模型了。
@neteroster #3 以上是各家隐私协议的说法,不代表实际情况
Gemini API:
免费服务(非欧盟):可能用于改进模型
付费服务,或欧盟的免费服务:不用于改进模型,但请求仍然会暂存一段时间

OpenAI API:
默认情况下不用于改进模型,但用户可以选择分享数据用于改进模型,通过分享可以获得免费配额

Claude API:类似 OpenAI 默认不用于改进模型

---

Gemini APP / ChatGPT 个人:默认可用于改进模型,但可以关闭

Claude.ai / ChatGPT Team & Enterprise:默认不用于改进模型
1  2  3  4  5  6  7  8  9  10 ... 43  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5174 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 42ms · UTC 07:45 · PVG 15:45 · LAX 23:45 · JFK 02:45
♥ Do have faith in what you're doing.