想部署一套 AI 服务，大家有推荐的吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 374 天前的主题，其中的信息可能已经有所发展或是发生改变。

之前一直用的 oaifree ，前几天他跑路了。现在打算买 chatgpt4 的 API key ，然后部署到服务端，跟朋友一起用。

我的需求是：

简单易用，我只需要把 key 填进去就好
所有请求由服务端发出，不从客户端走
支持多账户
如果能支持 Gemini 的话，就更好了

部署

chatgpt4

23 条回复 • 2024-11-29 20:30:14 +08:00

lucasdev

2024-11-29 11:35:15 +08:00

推荐 one-api ，部署简单，支持 Gemini ，支持用户管理，你也可以直接生成好 one-api 的 key 给他们
https://github.com/songquanpeng/one-api

MagicCoder

2024-11-29 11:45:56 +08:00

@lucasdev 牛啊这个看着不错

TY233

2024-11-29 11:59:32 +08:00 via iPhone

接口又不是只有它一个，还有跟多活着的，oaifree 只是认可度最高

TY233

2024-11-29 12:01:10 +08:00 via iPhone

部署的话可以看自己需求，最开始是 one api ，然后 oaifree 的作者二开了 new api ，除此外还有人三开了化简版的 uni api

LeslieLeung

2024-11-29 12:22:15 +08:00 via iPhone

one-api 系列的都只能转成 openai 格式，不能代理 claude ；有个 litellm （带一个面板）也可以看看。蹲一下有没有做能代理、统计用量的 openai+anthropic 比较全的，最近 claude 封号严重

tianPPPP

2024-11-29 13:54:11 +08:00

https://github.com/zhayujie/chatgpt-on-wechat 装服务器，在装个 clash 代理

libaili

2024-11-29 13:59:30 +08:00

https://github.com/langgenius/dify

gorvey

2024-11-29 14:09:58 +08:00

https://gpt302.saaslink.net/hEDI6f
看看这个，比较稳。注册送 1 刀

TyCoding

2024-11-29 14:52:31 +08:00

可以看一下 LangChat ，最近已经在 Gitee 榜首了

Gitee： https://gitee.com/langchat/langchat
Github： https://github.com/tycoding/langchat

mengdodo

2024-11-29 15:27:46 +08:00

VoAPI

Hookery

2024-11-29 15:30:20 +08:00

建议谷歌 local LLM frontend

Byleth

2024-11-29 16:04:42 +08:00

还是推荐 LibreChat ，高仿 ChatGPT 界面，https://www.librechat.ai/

Byleth

2024-11-29 16:05:08 +08:00

aff

Byleth

2024-11-29 16:05:25 +08:00

@gorvey aff

Carson089

2024-11-29 16:24:20 +08:00

个人使用不建议部署了，现在满大街都是，直接用免费的就好

Carson089

2024-11-29 16:25:43 +08:00

要用，就试试较新的应用 notebookLLM ，google 和腾讯都有

victorkk

2024-11-29 16:37:56 +08:00

我个人觉得 one api 或者 new api 太重了，可以试试 uni-api
https://github.com/yym68686/uni-api

Alwaysonline

2024-11-29 16:43:55 +08:00

https://github.com/lobehub/lobe-chat

推荐 Lobe Chat ，支持 Vercel/Sealos 等各种云部署。

0x5c0f

2024-11-29 16:49:05 +08:00

最近发现一个新的工具叫 chatnio ，感觉还是不错的，另外推荐的就是 one-api 了(目前个人部署的就是这个)，至于其他的我就只能呵呵了

wzry2580

2024-11-29 20:14:24 +08:00 via Android

https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web
只是用于网页端，其他客户端自行测试，
不清楚是否支不支持多账号

https://github.com/ChatBot-All/chatbot-app

移动端或者 iOS 设备用这个

wzry2580

2024-11-29 20:15:05 +08:00 via Android

至于多账号，你要么多开虚拟机或者用容器使用，应该可以实现或者有其他代替方案，你可以咨询其他人

Zhousiru

2024-11-29 20:24:11 +08:00

OpenRouter + LibreChat

unidotnet

2024-11-29 20:30:14 +08:00

我是自己造轮子。ChatGPT 和 Claude 体验还是网页版好，但 API 可以做很多 function calling ，都用着。