V2EX › neteroster 的所有回复 › 第 7 页 / 共 43 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 3 4 5 6 7 8 9 10 11 12 ... 43

❮

❯

2024-11-09 08:29:05 +08:00

回复了 wencan 创建的主题 › OpenAI › 如果要购买 openai 和 claude，有什么好推荐？

@jiager #1 楼主想要的是 OpenAI 和 Claude 这种 sota 模型，本地的先别来碰瓷。

然后回答楼主问题：如果楼主在国内，现在 Claude 的 ChatGPT 官方风控都很厉害，OpenAI 是模型降智神不知鬼不觉，Claude 是直接封号。

因此买第三方比较好，比如 POE 和 you.com 这两个可以考虑下。然后如果价格合适也可以找 API 中转（这里要注意鉴别真伪），然后用本地客户端，比如 ChatBox 。

2024-11-04 15:47:20 +08:00

回复了 neteroster 创建的主题 › 问与答 › 笔记本双通道内存有必要买套条吗

@msg7086 @Suzutan @killgfat 谢谢各位！
@Zys2017 不是，笔记本😂

2024-10-30 20:59:05 +08:00

回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强?

70B M3 Max 之前看的数据 tg 大概只有 4-5 TPS ，而 M4 Pro 内存带宽只有 270G （ M3 Max 300 或 400G ）。这还只是 tg ，你上下文长的话还要忍受特有的超级缓慢 pp ，建议先对速度有个概念。（ tg 指文本生成速度，pp 指提示处理速度）

现在这个时间，70B+ 的模型还是用在线 API 性价比高些，尽管有各种问题但好歹基本都能解决，本地花这么多钱最后还慢的要死。真要本地玩也不建议 Mac

2024-10-08 23:11:07 +08:00

回复了 drymonfidelia 创建的主题 › 程序员 › LLM 是不是适合用来翻译小说？看起来已经具备固定人名、地名的能力了，这种场景不需要太准确，只要意思偏差不大就可以， LLM 经常胡编事实影响也不大，显卡成本再怎么贵也比人工翻译便宜太多了吧

是的。对于准确性要求没那么高的领域帮助很大。

例如日文轻小说和 GalGame 已经有特化模型 SakuraLLM 了，仅 14B 就能达到相当可观的翻译水准，可以跑在消费级显卡上，叠上 batch 效率非常高。最新的实验版已经支持了术语表功能，显示出了良好的术语对照翻译遵循能力。社区里还有人在做小说关键词地名人名自动提取，结合模型的术语表翻译功能，翻译一致性还会再上一个台阶。

大模型的发展也极大促进了外文游戏翻译补丁的制作，现在 AI 翻译补丁制作显示出繁荣的迹象，可参看： https://2dfan.com/downloads

2024-10-01 06:41:20 +08:00

回复了 TigerS 创建的主题 › OpenAI › ChatGPT 的 UI 这几个有什么区别？

LobeChat 各方面比较完善，但是性能比较差。个人比较喜欢 ChatBox 。这几个都有在线 demo ，不如自己试一试

2024-09-22 07:07:48 +08:00

回复了 zhongxiaoqian 创建的主题 › OpenAI › 目前 ChatGPT 免费用户与 Plus 在用户使用体验上有何不同？

现在 Plus 能用 o1 系列，区别还是很大的。

4o 难说，有的地方说还是付费的好些，我没试过就不评价了

2024-09-21 13:36:49 +08:00

回复了 marquina 创建的主题 › OpenAI › 大模型 Tools(Function Calling)实用性分析 - 以媒体信息解析为例

4o mini 也可以传 json schema

2024-09-05 09:58:38 +08:00

回复了 Devine 创建的主题 › 问与答 › Qwen github 访问不了

被 GitHub 封组织了：

https://x.com/JustinLin610/status/1831489956512198862

我之前也见到一个仓库（ LunaTranslator ）在没有任何说明的情况下直接被 GitHub 干掉，后来申回来了，只能说 GitHub 有时候是会抽风（

2024-08-11 20:14:10 +08:00

回复了 ChipWat 创建的主题 › Local LLM › mac mini 24g 大模型推理怎么样

@unidotnet #1
14B 4 位怎么可能 40G ，bf16 不加上下文都没这么大

2024-07-28 16:30:27 +08:00

回复了 Keystroke 创建的主题 › 问与答 › 请问国内哪家大模型可以 [适当强度地] 免费使用？

@neteroster 网页版免费，也可以直接用

2024-07-28 16:29:36 +08:00

回复了 Keystroke 创建的主题 › 问与答 › 请问国内哪家大模型可以 [适当强度地] 免费使用？

楼上 DeepSeek 充 100 ，+1 。没人恶意乱刷肯定够用，编程相关就用这个，劲大！

2024-07-23 17:27:47 +08:00

回复了 CNYoki 创建的主题 › Local LLM › ollama 本地模型 GPU 跑不满

用 vLlm 。

2024-07-20 20:11:09 +08:00

回复了 BaiShuiO 创建的主题 › OpenAI › GPT-4o mini 这么便宜,会给 V 站的各位佬带来什么?

mini 阉割太狠，一个字就是蠢，能力上与其说是 4o 的阉割版不如说是 3t （ 1106 ）的加强版，加的还不多。甚至在某些 benchmark （例如 https://aider.chat/docs/leaderboards/ ）上相比 3.5 还出现倒退。我自己比较关注翻译，mini 更是一塌糊涂。
那我为什么不选择 1/2 RMB 每百万 Token 的 DeepSeek 呢（

2024-07-16 07:57:02 +08:00

回复了 Nostalghia 创建的主题 › OpenAI › 有人试过用大模型翻译长篇英文书吗？

都是分段的，没人一次性翻全部

2024-06-09 19:07:27 +08:00

回复了 smalltong02 创建的主题 › 程序员 › 对 Qwen 2 模型代理能力的完整测试

很好的测试。Qwen2 确实是非常优秀的一组模型，特别是多语言能力方面的改进可圈可点。阿里选择将模型（除 72B ）以 Apache2.0 开源也是非常慷慨。期待未来更强的模型。

2024-06-03 12:25:57 +08:00

回复了 TyCoding 创建的主题 › 机器学习 › 同问，如何限制 LLM 响应结构

@neteroster 对了，在线 API 还有一点忘记提了，就是做 few-shot 。如果你的任务文本不太长，可以先用前面的对话给 LLM 一些例子

2024-06-03 12:14:56 +08:00

回复了 TyCoding 创建的主题 › 机器学习 › 同问，如何限制 LLM 响应结构

其实如果用开源模型的话有很多方法可以做到。

例如说 llama.cpp 就可以用 grammar ，这是直接从采样器上面做限制的，效果会很好。除此之位还有一众更强大的推理约束工具，例如 guidance ( https://github.com/guidance-ai/guidance ), outline ( https://github.com/outlines-dev/outlines ), sglang ( https://github.com/sgl-project/sglang )，它们不止可以限制 json 输出，甚至可以限制输出满足特定的正则表达式 / 形式文法。

对于在线模型，如果不是复杂的结构，有一些办法，比如 Anthropic 的 API 支持先填充 LLM 响应的前面一部分，对于你这个例子来说，你可以指定前面部分就是 "["，这样模型就会立即开始输出，然后 stop 序列设置成 "]"，就会在输出到 "]" 立即截断并返回。

2024-05-29 19:57:43 +08:00

回复了 hxm0070 创建的主题 › 问与答 › 国内这些开源大模型，哪个效果更好一些？

@googlefans 那都不是一个系列的，Qwen 开源模型系列目前最新版本是 Qwen1.5 ( https://huggingface.co/Qwen )，下一个版本是 2 。

所谓通义千问 2.5 指的实际上是 Dashscope 上型号为 "qwen-max" 的闭源模型，后者目前指向 "qwen-max-0428"（ Chatbot Arena 榜上有名），而 Qwen2 开源系列将很可能超过该模型（ ref: 官方 discord ）

2024-05-29 19:03:06 +08:00

回复了 hxm0070 创建的主题 › 问与答 › 国内这些开源大模型，哪个效果更好一些？

等 Qwen2 ，这两周会出，不出意外的话应该会很强（推上几位相关负责人都很自信）

2024-05-19 18:45:42 +08:00

回复了 Tuatara 创建的主题 › Local LLM › 现在买 3090TI 玩 AI 靠谱吗

@wsbqdyhm 这个 https://github.com/RVC-Boss/GPT-SoVITS

如果不会用的话 B 站搜搜教程，现在应该听多了。

1 ... 3 4 5 6 7 8 9 10 11 12 ... 43

❮

❯