askfermi

askfermi

V2EX 第 68592 号会员,加入于 2014-07-21 22:53:53 +08:00
今日活跃度排名 12953
根据 askfermi 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
askfermi 最近回复了
267 天前
回复了 1F357 创建的主题 算法 求助估算队列剩余处理时间的问题
听起来像是 queuing theory 的问题,不过多个队列的问题没怎么研究过,可能可以用 queuing theory 作为关键词搜搜
306 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@lyang 我也想过这个方案,会有两个问题:1. 会有一些资源浪费 2. 由于 llm 生成本身有一些随机性,会导致没办法期待完全一样的结果。
306 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@GeekGao 是的 目前 workload 会随机在支持同一模型的节点里随机分配,监控和其他的目前没实现,估计需要下一个大版本
309 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@nikola11 说的很对,这可能可以以后研究一下 :)
309 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@sentinelK
1/ 虽然这个交互平台是中心化的,但 api 的接口(或者说在实际调用计算之前)是去中心化的。用户可以在本地跑一个节点,之后调用这个节点提供的 api ,并把 request 分配到网络里的所有节点上。你也可以跑一个自己的 bootstrap node ,让朋友们加入这个 bootstrap node 。这应该也能回答 2/。
2/ 除此之外,其实商业化并不是这个项目的目标,我的目标是想知道在去中心化的情况下如何验证结果的正确性,如何合理的分配激励,如何调度计算资源等等。
3/ 目前没想到什么好办法,目前的想法是可以不断地对每个节点进行验证,每一个 request 可能被分配到 2 个以上的 node 上。
309 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@lithiumii 有点像,但 petals 太慢了
309 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@peterchen26 没错,基本上就是这样
309 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@nbndco 这确实是一个我也在尝试实现的问题,我目前的想法是:
- 编译过程里加一个签名,之后在注册到网络的时候需要提供这个签名,保证运行的程序是唯一的。
- 对请求的回复也进行签名和验证,时不时验证返回的回复是不是正确的。

但目前我还没实现这个功能 :(
309 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@privateproxies 基本上就是楼上说的:很多人可以在链上注册自己的 llm server ,我把它们通过一个 peer-to-peer 的网络连在了一起,之后根据请求的情况算如何支付 token 。
另外 yaonotes.org 这个网站因为精力原因不打算继续维护了 :( 抱歉
309 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
另外,欢迎加入 discord 讨论和贡献代码: https://discord.gg/PgGb4z4Jve
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1114 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 23:32 · PVG 07:32 · LAX 15:32 · JFK 18:32
Developed with CodeLauncher
♥ Do have faith in what you're doing.