V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
AuYuHui
V2EX  ›  Stable Diffusion

大佬们 stable-diffusion-webui API 文生图怎么多人同时画图

  •  
  •   AuYuHui · 2023 年 5 月 24 日 · 3212 次点击
    这是一个创建于 974 天前的主题,其中的信息可能已经有所发展或是发生改变。

    多人使用时不需要排队,是否可以支持,要设置什么参数之类的吗

    6 条回复    2023-08-11 11:37:00 +08:00
    gzlock
        1
    gzlock  
       2023 年 5 月 25 日
    可以试试秋叶启动器里有一个停用 gradio 内置队列的选项
    但是禁用队列后我有疑问就是,如果用户 A 在用大模型 A 在出图中,而用户 B 这时候选择大模型 B 出图,那大模型 A 和 B 是不是都需要加载到显存里?那再来一个用户 C 选择大模型 C 呢?
    没有队列后,是不是显存就需要无穷大了?
    lzghades
        2
    lzghades  
       2023 年 5 月 25 日
    不用队列应该不行,多个用户同时画图的话,显存应该不够。
    jifengg
        3
    jifengg  
       2023 年 5 月 25 日
    单机应该不行,本来一个任务就全力跑了,不排队的话大家都慢。
    如果 api 有可以获取队列信息话,可以考虑在它前面套一个自己维护的负载,webui 部署多台机器,自己做任务分配。
    hyperzlib
        4
    hyperzlib  
       2023 年 5 月 25 日
    多进程队列,我现在就是这么做的。不同进程可以加载不同的模型。
    dabingbing
        5
    dabingbing  
       2023 年 8 月 5 日
    @hyperzlib 你好,你的方案需要魔改吗?
    hyperzlib
        6
    hyperzlib  
       2023 年 8 月 11 日
    @dabingbing 不用,启动参数可以指定加载的模型和端口,不同模型开在不同端口上就行了。然后自己写一个调度中间件。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2660 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:19 · PVG 20:19 · LAX 04:19 · JFK 07:19
    ♥ Do have faith in what you're doing.