这是一个创建于 391 天前的主题，其中的信息可能已经有所发展或是发生改变。
目的：在一个垂直领域内，通过输入自然语言判断用户的意图。意图可以被枚举出来，自然语言在一个范围内。
要求：性能希望能在 100ms 以内，越快越好
目前调研 RASA 中，不知道各位大佬有别的建议吗
要求：性能希望能在 100ms 以内，越快越好
目前调研 RASA 中，不知道各位大佬有别的建议吗
 |
1
mumbler 2025 年 1 月 7 日  1
用 grop 的大模型 API
|
 |
2
ggbond2233 2025 年 1 月 7 日 1
哈哈哈哈,这题我会 但是 100ms 国内目前做不到
|
 |
3
wvv8oo OP |
|
4
mumbler 2025 年 1 月 7 日
@wvv8oo #3 自己部署 100 毫秒不可能，要尽量快就只能用 3B 以下的小模型，4090 去跑，推荐 gemma2 2B 模型，完成分类还是够用了
|
|
5
ggbond2233 2025 年 1 月 7 日
用小模型,分类可以做,自己服务器很吃力的
就用之前各家对话平台的模型 都可以实现 |
Select Language