V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  brainzhang  ›  全部回复第 2 页 / 共 2 页
回复总数  35
1  2  
2023-06-14 11:12:59 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@Pteromyini 我的描述可能不是很清楚;这个众包平台并不是要把大模型训练这个过程拆分;而是把一个个完整的任务,比如一个文生图这样的任务,分发给平台上各个接单设备;

这种单个的、使用固定模型、使用标准化参数输入的任务,是可以分别派单的;

这个平台不涉及高深的训练算法;只是想把咸鱼画图接单流水化而已;
2023-06-14 11:05:56 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@hhjswf 这个我看了;感觉它做的比较高大上,是想要做一站式的分布式 GPU 平台;

我想的这个比较简单,初期可以看成是 Stable Difussion 的众包平台;没有那么通用和底层;
2023-06-14 10:45:38 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@hhjswf 我就找到了一个类似的,也是刚刚在做:
https://github.com/aitobox/AI-Horde

请问您有什么成熟的类似平台推荐一下?我去试用试用,感激不尽;
2023-06-14 10:43:59 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@zooo 我看过那个帖子;我觉得非要跟工作量证明挂钩大可不必;这个目的并不是建立一个去中心化的绝对公正的平台;而是一个比较可行的众包平台;比如我作为运营商给计算用户分配任务,不需要绝对公平,只要让他觉得相对比较公平的任务积分就可以了; 初期甚至可以这样,人工来判断这个任务值多少积分,然后下发给合适的接单者;

这个过程初期都可以用人工,后期完成的任务多了,设备也多了,可以从服务端进行统计,为每一个任务建立合适的积分奖励;
2023-06-14 10:32:44 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@crokily 就拿 stable diffusion 举例子吧;最简单的,就是把 stable diffusion webui 的 Request 请求包装,传给客户端就可以了;每次生成一张图片,请求数据并不大啊;

这个细节在于一个靠谱的、下载好常用模型的 standalone stable diffusion Client ;加入众包平台,等着平台派单就可以了;
2023-06-14 10:22:15 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
至于模型太大,客户端太臃肿,这个真不用考虑;

当时不是有一堆零知识证明的币,要挖矿就要先下载一个十几 GB 的数据包,大家不也是玩的不亦乐乎嘛
2023-06-14 10:20:28 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
可以更具体一步,当前把 stable diffusion 做成这种众包形式,我觉得技术上应该没有瓶颈吧;
2023-06-14 10:18:38 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
@xingHI
1. 现在想要实现分布式的神经网络训练肯定是技术难度极大的;但是本地跑一个图像生成的任务,肯定是能拆分独立运行的;先做简单的

2. 先不优化,大力出奇迹;接入客户端多了,可以一个任务同时分担到多个矿工机器上去,最后人工或 server 端挑选跑的结果比较好的

3. 这个跟公有云应该是错位竞争;它肯定不如公有云靠谱,毕竟接入的机器可能从 1060 到 A100 都有;但是肯定是能重复利用闲置设备的;这个我觉得算是众包和集中运营各有优势;这种众包形式可以给囊中羞涩的学生或者小工作室提供一个可选项;大公司就去租公有云;
2023-06-14 10:13:51 +08:00
回复了 brainzhang 创建的主题 奇思妙想 能否建立一个的 AI 训练众包平台
拍脑袋简单想一下设计思路;
简单的分为 Client 和 Server 两个部分:

Server 端功能:
=========

- 用户注册和认证:提供用户注册和认证功能,确保只有经过验证的用户才能使用平台服务。

- 任务管理:实现任务创建、分配和执行跟踪功能。将用户提交的任务进行分配给可用的 Client 端,并跟踪任务的执行状态和进度。

- 收益统计和分配:记录用户的工作量和收益情况,并根据平台规则进行收益分配。确保公平和透明的收益分配机制。

- 防作弊机制:实施防作弊机制,采用非对称机密算法确保 Client 端的安全性和工作量的保护。


Client 端功能:
=========

- 安装和配置:用户加入平台后,需要下载和安装 Client 端程序,并进行必要的配置,包括与 Server 端的通信设置和密钥管理。另外要部署好完成任务所需要的环境,比如 StandAlone 的 Stable Diffusion 环境

- 任务接收和执行:Client 端接收由 Server 端分配的任务,执行任务所需的计算操作,并生成结果。

- 结果上传:完成任务后,Client 端使用公钥加密任务结果,然后上传至 Server 端进行验证和处理。



防作弊机制:
=========
- 非对称加密算法:为每个 Client 端生成一对公私钥,Client 端只持有公钥。Server 端使用私钥对任务进行签名,Client 端使用公钥验证任务有效性,以确保任务的安全传输。

- 结果加密:Client 端使用公钥加密任务结果,上传至 Server 端。Server 端使用私钥解密任务结果,确保结果的保密性和完整性。


任务工作量验证和奖励机制:
=========

- 任务积分:根据任务的计算量大小,为任务分配一定的积分,以反映任务的工作量。

- 并行执行和结果比对:Server 端可以将一个任务分配给多个 Client 端并行执行,然后将结果进行比对,以确保结果的准确性和一致性。

- 信用评分:根据 Client 端的历史记录和表现,进行信用评分,评分高的 Client 端可以获得更高的任务奖励,激励诚实工作和打击造假。


总体设计目标:保证平台的安全性、可靠性和公平性,促进用户的参与和奖励诚实工作。
2022-07-22 10:33:29 +08:00
回复了 brainzhang 创建的主题 硬件 请问联想 Thankstation D30 如何启用硬盘 SATA 口 5-9 号口
自问自答一下,去联想官网下载 A3KT70A (14 Sep 2020 Release)版本的 BIOS 升级之后就可以了;
2022-07-20 13:31:09 +08:00
回复了 brainzhang 创建的主题 Linux 求教 PVE All in One 磁盘如何分配
@mmtromsb456 这个方案好像比较好;就是捡的垃圾支持 NVME 比较麻烦;

我先在 SSD 上装好 PVE ,三块 HDD 做 zfs z1 主力存虚拟机;看情况以后是加内存还是 ssd 加速;
2022-05-25 10:17:34 +08:00
回复了 brainzhang 创建的主题 宽带症候群 请问那些小 IDC 的服务器带宽价格为什么那么便宜?
@Yien 还真不是,比如上面这张,号称也是 BGP 线路;我就有点纳闷了,他们这个怎么做到如此便宜的,是不是忽悠人?
2021-11-21 09:03:15 +08:00
回复了 brainzhang 创建的主题 问与答 请问有什么合规安全的聚合支付平台?
貌似又找到两家,一个是收钱吧, 一个是简米 Pint++,不知道有没有什么评测可以把这几个聚合支付服务对比一下的
2021-11-21 08:44:22 +08:00
回复了 brainzhang 创建的主题 问与答 请问有什么合规安全的聚合支付平台?
@fiypig @dake123 多谢多谢,这就去了解一下

@opqrsting 就是企业应用要接入收费,要求支持网页端、app 、还有公众号,楼上两位推荐的貌似就可以满足需求
2020-02-17 14:29:54 +08:00
回复了 permaylau 创建的主题 Bitcoin 比特币钱包的历史地址是什么意思呢?
1. 比特币是没有一个"唯一"的账户的;它使用地址存币;
2. 钱包就是这些地址的集合,可以每个地址有一点币,也可以所有的币集中到 1 个地址上
3. 一般为了安全和隐私起见,每次你发送比特币,钱包都会使用新的找零地址,原来的地址就不会用了
4. 当你收发>=1 笔交易之后,就会出现历史地址,一般是之前你接收了比特币,然后又转账了一笔交易,钱包会自动帮你生成新地址找零;
5. 这些都是钱包自动完成的,一般不用操心,你自己保存好助记词就可以;
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2820 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 13:31 · PVG 21:31 · LAX 05:31 · JFK 08:31
Developed with CodeLauncher
♥ Do have faith in what you're doing.