V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hui9000
V2EX  ›  问与答

关于公司搭建 AI 问答的一些风险

  •  
  •   hui9000 · 341 天前 · 3640 次点击
    这是一个创建于 341 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这是上一个问题,https://www.v2ex.com/t/999563#reply52 关于搭建 AI 问答的 经过几天研究讨论,最终定下我们内部先搭建一个基于 chatGPT3.5-turbo 的问答的应用,先让公司内部习惯使用此工具; 这里有几个问题问一下各位大佬彦祖: 公司背景:处于国内,非互联网公司,传统零售业

    1. 肯定需要 vpn ,如果我使用买的 vpn 是否有风险,改应用只限内部使用,也就是公司内网,以后也不会开放外部人员使用;
    2. 如果 1 有风险,使用中转 api 是否有稳定可行;
    3. 开发聚合的多模型的类似这种 https://anakin.ai 有没有成熟的方案? 最后:其实我理解上层的想法,就是增加效率,降低成本,都不好过; 将来可能会淘汰一部分运营,设计,做报表的。
    37 条回复    2023-12-27 14:09:30 +08:00
    asche910
        1
    asche910  
       341 天前
    之前不有个老哥自己搭建的,被裁了还一堆屁事被公司告。
    gletec
        2
    gletec  
       341 天前 via Android
    @asche910 对这事有印象,有啥后续没?
    halobugTurbo
        3
    halobugTurbo  
       341 天前
    我是使用 Azure OpenAI 的服务,不需要 VPN 就可以调用。(即便是使用了 VPN 改善了网络环境,但是推理速度也不会很快!)
    lianglianglee
        4
    lianglianglee  
       341 天前
    可以让公司把服务器买在国外,开 IP 白名单,只对公司的 IP 开放。所有费用、账号,都用公司的。个人可以垫付后报销。
    paopjian
        5
    paopjian  
       341 天前
    字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊
    Ghostsss
        6
    Ghostsss  
       341 天前
    3 楼+1 ,可以试试 azure 的,以公司名字注册申请该账号,后续消耗费由公司承担。
    whoami9426
        7
    whoami9426  
       341 天前
    可以试试 cloudflare 的 worker 转发 api
    boolstone
        8
    boolstone  
       341 天前
    1 、cloudflare 代理
    2 、中转 api 找个稳定的就是
    asche910
        9
    asche910  
       341 天前
    @gletec 没,找不到了。。
    zh584728
        10
    zh584728  
       341 天前   ❤️ 3
    @gletec 在这里
    上:[我给公司部署了一套 ChatGPT, 老板说没有目的性, 给我这件事的绩效打了个 C, 如何评价这一现象?]( https://www.v2ex.com/t/963224)
    中:[我就是上次给公司部署 ChatGPT 的, 今天被开了]( https://www.v2ex.com/t/966243)
    下:[我是 GPT 老哥, 现在公司因为我下了自己的 API-KEY 威胁我, 我可以怎么办]( https://www.v2ex.com/t/966984)
    huhu4018
        11
    huhu4018  
       341 天前
    我有点好奇公司为什么要搭建这个?有什么应用场景呢,如何提高生产效率?
    whoiskoala
        12
    whoiskoala  
       341 天前
    3.5 可以使用中转 api ,可以不用 vpn ,而且价格还便宜
    Anshy
        13
    Anshy  
       341 天前
    反正不需要自己出钱,省事点,直接用中转 api ,然后中转 api 多找几家就好了
    hui9000
        14
    hui9000  
    OP
       341 天前
    @zh584728 我草 有点汗流浃背了哥
    hui9000
        15
    hui9000  
    OP
       341 天前
    @whoiskoala 有没有稳定的推荐呀
    hui9000
        16
    hui9000  
    OP
       341 天前
    @huhu4018 基本的运营是可以代替的,我们很多员工不懂计算机或者流程 我们都有专人管弄飞书服务台进行回复
    还有一些海报设计,促销什么的;还有一些给老板看的销售报表都是人工弄;
    chitanda
        17
    chitanda  
       341 天前
    我在几家自己接入 ChatGPT 的公司干过,一家是集成到飞书里自己内部使用,走的香港亚马逊到米国的服务器,没有被 ChatGPT 封过。一家是客服性质的,用来做商业化的客服机器人,自己用的什么机场,ChatGPT 账号被封过,然后从什么黄牛那里买了 azure 的接口,后来 ai 管理法出来了,就转成了国内的。
    cherryas
        18
    cherryas  
       341 天前
    国内非互联网公司搞什么 gpt3.5 ,不会是你主推的吧?到时候开发票你就搞不定。
    churchmice
        19
    churchmice  
       341 天前
    将来报道出了偏差,lz 可是要负责任的
    paopjian
        20
    paopjian  
       341 天前
    你要真这么怕,还是直接找百度吧
    Maco
        21
    Maco  
       341 天前
    公司用 VPN 的话,建议采购中国联通的 SDWAN 方案,合法的; 5M 大概 1400 人民币/月 + 一个境外的服务器即可。
    phytry
        22
    phytry  
       341 天前
    用 azure 吧,需要提交公司资料申请 azure ai 的使用权,账号和信用卡绑定都用公司提供的就好了,自己只是协助公司开通和部署业务
    reeco
        23
    reeco  
       341 天前
    请我当顾问,帮你搭一个完全私有部署的 :-)
    em70
        24
    em70  
       341 天前
    用 VPN 不是个好方案,应该部署一个海外代理服务器,阿里云有精品网络走国内,可以保证稳定
    reoah2
        25
    reoah2  
       341 天前
    建议 azure+langchain
    em70
        26
    em70  
       341 天前
    @reeco #23 搭一个跑起来很容易,但要精准召回,需要自己做数据对齐,特别在资料有表格和公式情况下,难度不亚于开发一个垂直搜索引擎
    weilongs
        27
    weilongs  
       341 天前
    感觉搞这事就是搞事。 惹一身骚。
    Seulgi
        28
    Seulgi  
       341 天前
    如果用 openai 的 gpt ,发票就开不出来。所以合法合规就是用 azure openai ,至少有国内团队洽谈商务,都是出海正规做法。
    kalman03
        29
    kalman03  
       341 天前
    问楼主:你是如何有 openai 的 api 权限的(你搞定绑卡了吗)?如果连 API 权限都没有,你考虑怎么调用没意义吧?
    ShawBen
        30
    ShawBen  
       341 天前
    Azure+1,不需要 VPN
    Rnreck
        31
    Rnreck  
       341 天前
    @hui9000 #14 别做吃力不讨好的事情,,
    hui9000
        32
    hui9000  
    OP
       339 天前
    @cherryas 领导下达的任务,我也很难办,也在全体会议上公布了我负责研究搭建。难搞
    hui9000
        33
    hui9000  
    OP
       339 天前
    @weilongs 我也有这担心,弄好了怕出其他幺蛾子,弄不好,又怕领导怪罪。
    @Seulgi @kalman03 走中转方案 找能开票的中转 api 应该能避免这个;
    hui9000
        34
    hui9000  
    OP
       339 天前
    @Rnreck 兄弟我现在是骑虎难下了
    whoiskoala
        35
    whoiskoala  
       334 天前
    @hui9000 我这边有,怎么联系你呢?
    hui9000
        36
    hui9000  
    OP
       333 天前
    @whoiskoala 能开票么?
    whoiskoala
        37
    whoiskoala  
       333 天前
    @hui9000 能得
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2690 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 15:22 · PVG 23:22 · LAX 07:22 · JFK 10:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.