V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
Trinity888
V2EX  ›  奇思妙想

企业有哪些场景可能会需要私有化 AI 大模型?

  •  
  •   Trinity888 · 2023-09-13 08:18:35 +08:00 · 3217 次点击
    这是一个创建于 437 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大家一起探讨一下,互相交流,探讨 AI 在私有化领域的机遇

    29 条回复    2023-09-19 13:49:00 +08:00
    murmur
        1
    murmur  
       2023-09-13 08:21:07 +08:00
    有啥好探讨的,百度已经支持文心私有化部署了,人家有专门的团队在执行这个东西帮你部署帮你策划场景帮你训练
    murmur
        2
    murmur  
       2023-09-13 08:24:41 +08:00
    据我所知现在做办公的、做音乐的都在部署自己的 AI 模型,甚至很多已经大范围推了,现在还在探讨估计喝粥都困难了
    Worldispow
        3
    Worldispow  
       2023-09-13 08:30:35 +08:00 via Android   ❤️ 2
    ai 包含很多,比如图像识别、模型预测等等,不仅仅是 chat
    lneoi
        4
    lneoi  
       2023-09-13 09:25:04 +08:00
    还有图像生成,出图的靠 AI 也快很多
    BingoXuan
        5
    BingoXuan  
       2023-09-13 09:34:28 +08:00
    保密环境下的各种需求
    ivstranger
        6
    ivstranger  
       2023-09-13 10:48:21 +08:00
    首先你自己得有大模型,人家企业才会找你私有化,但是这个门槛也太高了,普通企业/个人别想了。
    luobingit
        7
    luobingit  
       2023-09-13 11:06:15 +08:00
    内部知识库?我司之前有这个想法,传统行业公司内部知识比较分散,纯靠脑子记。但是成本也是一方面
    zjuster
        8
    zjuster  
       2023-09-13 11:10:38 +08:00
    电商公司跑商品图、跑营销图
    直播公司虚拟主播

    这两个是电商行业运营成本的大头之一,是有盈利空间的。

    电商客服,大模型的提升相对目前的“智能客服”提升不大,成本反而很高,我认为是一个陷阱。类似的业务,尽管大模型可以做,但之前的数据模型早就可以做到商用水平+较低成本了,ROI 太低了。
    ychost
        9
    ychost  
       2023-09-13 11:19:29 +08:00
    客服
    Trinity888
        10
    Trinity888  
    OP
       2023-09-13 11:21:05 +08:00
    @BingoXuan 整体是偏向这方面,另一块是针对企业内部(非保密型企业)
    Trinity888
        11
    Trinity888  
    OP
       2023-09-13 11:22:32 +08:00
    @luobingit 对,这点确实是。目前各企业内部知识库基本靠 CRUD 加检索,如果有 AI 加持,会不会更有效率。成本主要在训练企业内部数据这块。
    Trinity888
        12
    Trinity888  
    OP
       2023-09-13 11:26:01 +08:00
    @zjuster 您说的确实是这两块,可能大企业 AI 都在攻。我们只能做些更专注某行业业务方面的模型,这样还有点机会。目前看知识库智能推荐、划词推荐、根据知识库生成一些自己需要的内容,这块您觉得可行不
    aleimu
        13
    aleimu  
       2023-09-13 11:26:14 +08:00
    目前在做公司内部的知识库问答,这样的开源项目很多,部署起来也容易,难的是内部数据的收集和整理,想高出高质量的问答对需要花很多时间
    Trinity888
        14
    Trinity888  
    OP
       2023-09-13 11:26:58 +08:00
    @zjuster 目前图书市场怎么样?
    Trinity888
        15
    Trinity888  
    OP
       2023-09-13 11:29:59 +08:00
    @aleimu “高出高质量的问答”,这个貌似没有个可验证的标准,这对模型训练要求更高一些。可以探讨一下,如何才能更高质量
    zjuster
        16
    zjuster  
       2023-09-13 11:41:26 +08:00
    @Trinity888

    我在 07 年和 16 年分别在两家公司做过类似的文本模型建设,都是当时的头部企业。这两段经历,尽管服务器算力有很大的增长吗,模型标准性和逻辑关系、复杂文本处理能力都有增长(甚至说突破吧),但本质上的结果(用户检索结果的相关性和准确性的相关指标)没有突破性,只在在上下文的能力是有一些提升。

    就算到如今 22 年的层出不穷的大数据模型,在文本和结构化方面的用户端输出侧,依然不存在 相比三元组解法 的突破性进展。这些结果的好坏,不在于模型能力,更多的是在于你投入数据评估与校对的人力。(人-功-智能)。

    所以我看好图形影音方面(多媒体或者说多模、多元)的进展,对文本相关内容持有悲观态度。
    736531683
        17
    736531683  
       2023-09-13 12:56:53 +08:00
    任何场景,一个公司有相当多的内部数据,不私有化怎么利用起来。
    2NUT
        18
    2NUT  
       2023-09-13 14:36:01 +08:00
    @murmur 越早不是越好,早的可能是先烈
    murmur
        19
    murmur  
       2023-09-13 14:47:44 +08:00
    @736531683 AI 不懂装懂这个问题不解决怎么大规模商业内部铺开,我还得先判断 AI 是不是说胡话
    akring
        20
    akring  
       2023-09-13 15:11:01 +08:00
    能想到最简单的就是问答库,例如内部规章解答。
    Myprajna
        21
    Myprajna  
       2023-09-13 16:39:26 +08:00
    有很多,但是不能告诉你。
    Lion814
        22
    Lion814  
       2023-09-13 16:50:01 +08:00
    @aleimu 每个公司知识库都不一样,定制化长尾场景会不会成本太高?如果提供可以自训练的平台是不是更容易商业化
    threeEggs123
        23
    threeEggs123  
       2023-09-13 17:13:43 +08:00 via Android
    语音识别,就是 ASR STT,或者 TTS ,专门给金融机构的呼叫做这种服务。然后语音这种可能有隐私信息,就要企业化私有部署,都没上云。
    hxzhouh1
        24
    hxzhouh1  
       2023-09-14 15:23:56 +08:00
    专家系统?
    aleimu
        25
    aleimu  
       2023-09-14 17:24:45 +08:00
    @Lion814 不用训练模型,只是做文本向量化匹配,然后由大模型总结和整理给出回复,这是目前比较流行的方案
    yinmin
        26
    yinmin  
       2023-09-17 23:44:29 +08:00   ❤️ 1
    用户评价的 AI 分析。用户评价是一段文字,让 AI 去做识别归类后入数据库。给一段 GPT Prompt 的实战示例:

    ===========
    system:
    以下是电子商务网站的用户评价信息,请分别用 10 字~50 字给出用户评价产品的优点、缺点、总结评价、需要商品售后服务解决的问题,如果是客户使用抱怨产品不佳无需售后服务解决的,请填“无”,如果客户评价中提到的问题已经解决了,请填“已解决”,并评估用户评价是正面还是负面的,完全正面 5 分,完全负面-5 分,给出评估值。数据以 json 返回,JSON 格式为{"总结":"...","情绪": 5} ,以下是用户的评价:

    user:
    紧急要用,发过来一台,别人退的。开机键一层老灰,屏幕也是一层灰,上一任拿卡针粗鲁了点,撕烂了。告诉我是正常的???

    assistant:
    ```json
    {
    "产品优点": "无",
    "产品缺点": "存在灰尘和损坏痕迹",
    "总结": "商品质量差,存在灰尘和损坏痕迹。",
    "需要售后服务解决的问题": "无",
    "情绪": -3
    }
    ```
    ===========
    yinmin
        27
    yinmin  
       2023-09-17 23:48:31 +08:00
    客户工单的紧急度识别。通过 AI 阅读工单正文的文字,结合客户等级和以往的工单记录情况,给工单的紧急度打分。如果 AI 判断是紧急工单,就提升工单优先级。
    yinmin
        28
    yinmin  
       2023-09-17 23:59:48 +08:00
    接 #26 ,将用户评价信息转换成 json 包存入数据库后,产品优点/缺点的信息列表后再次喂给 AI ,让 AI 总结。处理 1 个产品的几万条评价,几十分钟就能汇总出用户对产品的真实评价,能进而指导产品/销售的改良。
    Trinity888
        29
    Trinity888  
    OP
       2023-09-19 13:49:00 +08:00
    感谢大家的创意想法
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2719 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 15:03 · PVG 23:03 · LAX 07:03 · JFK 10:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.