IndexOutOfBounds 最近的时间轴更新
IndexOutOfBounds

IndexOutOfBounds

V2EX 第 475125 号会员,加入于 2020-03-08 14:17:19 +08:00
今日活跃度排名 367
根据 IndexOutOfBounds 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
IndexOutOfBounds 最近回复了
13 小时 3 分钟前
回复了 IndexOutOfBounds 创建的主题 分享创造 Golang 中强制 LLM 返回 JSON 的无感解法
@reeco 非 openai ,比如 gemini ,deepseek 也支持 json 输出的,算是一个通用的规范了

https://openrouter.ai/models?fmt=cards&order=newest&supported_parameters=structured_outputs
13 小时 4 分钟前
回复了 IndexOutOfBounds 创建的主题 分享创造 Golang 中强制 LLM 返回 JSON 的无感解法
@otakustay 暂时不支持 function call ,不过确实有这个想法,自动注入结构体 Method
13 小时 56 分钟前
回复了 IndexOutOfBounds 创建的主题 分享创造 Golang 中强制 LLM 返回 JSON 的无感解法
14 小时 2 分钟前
回复了 IndexOutOfBounds 创建的主题 分享创造 Golang 中强制 LLM 返回 JSON 的无感解法
@abc634 我理解场景有些区别,markdown 是半结构化的,主要用于直接展示,比如直接让 AI 用 markdown 写篇文章,这是很好的选择

json 是开发内部使用的,比如你需要提供接口给前端做二次展示

另外通过 json schema 可以做到很强的约束,比如文中给文章分类的例子,通过 enum:"Technology,Science,Business,Health,Education,Other" 强限制分类范围
HPA 还可以基于自定义指标,比如 QPS ,这样后续维护只需要关注每个请求的资源变化就可以了
limit 一般是 Request 的两倍到四倍,太高超卖谁也用不高
Request 大概估个范围 + HPA
最近我也在推广 https://www.v2ex.com/t/1106892 ,同样惨淡哈哈,想加下老哥联系方式,交流交流经验
@doujiangjiyaozha 是的,所以单个文章长度太长就没法完了,比如论文。但感觉如果是基于新闻 chat ,每篇新闻一般不长,全文效果会好些
爬虫是不是可以加个快捷方式 “一键爬取当前网站”
@doujiangjiyaozha 好奇老哥你这个 rag ,有办法基于全文吗

比如现在 rag 搜索出来的都是 “片段”,可我希望再进一步拿到片段对应的文章,基于全部文章再 chat
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2313 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 16:04 · PVG 00:04 · LAX 08:04 · JFK 11:04
Developed with CodeLauncher
♥ Do have faith in what you're doing.