找 LLM 或 AI 职业或业余玩家一起折腾个商业项目

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 316 天前的主题，其中的信息可能已经有所发展或是发生改变。

我关注 AI 的发展也有段时间了，一直在考虑做个 AI 应用但同时担心其会被 AI 自身的发展所取代反复权衡，考虑定位是：做个靠谱的 AI 律师有折腾 LLM ，AI 的朋友有兴趣交流的话，我们的主页:atitlab.carrd.co wx：b25lMTkxOTU0

第 1 条附言 · 316 天前

期待大家更多关于 LLM 落地实现路径的讨论和实践

llm

折腾

权衡

主页

27 条回复 • 2024-01-21 20:16:00 +08:00

imes

316 天前 via Android

最近几个月已经在 v2 看到很多次要自己做 llm 的，都不知道这是个劳动密集型产业吗？能给每个人拿出 8 张 a100 卡吗？能搞到足够多的法律文书吗？能找到律师给数据做 label 吗？技术细节多一点的：用什么架构？自己写 transformer 还是用 llama2 ？谁能判断 llm 输出的质量？

laipidov

316 天前

@imes 这个不一定是要动模型参数的，法律领域也有很多办法解决数据问题：1.法考答案 2.裁判文书（以前的留存应该有的） 3.gpt4 生成（稍微花点钱）只是知识注入和 ai agent 这块的话，有推理模型用的卡即可（显存 40-80g ）

我觉得真正难的，是把现实中的工作拆解成 llm 可以完成的形式，因为现实世界中很多问题，仅通过和 llm 的一问一答是无法解决的，需要把问题拆解出来，形成一套 work flow 然后每一环通过 llm 去解决，最终串联起来，这个是我认为最有价值，也是最体现行业经验+llm 结合的地方。

而单纯的优化 llm ，解决其幻觉、条理等问题，或者做做 sft dpo 之类的，其实开源的模型如 qwen 、mixtral 已经可以做的不错了，就算是动参数，用 qlora 的方式也可以低资源训练，这块顶多是慢点，但是 2-4 张 a100 足以支撑很多试验了。

所以核心还是如何把行业里的经验和 llm 更好的结合，去解决更加复杂（一问一答解决不了的）的问题，单纯的优化参数和跑 benchmark ，你觉得你干的过大厂吗？

laipidov

316 天前

持续观察楼主的项目，加油加油

bigbear2046

316 天前

没想过要自己做 LLM ，这不是小玩家考虑的事，我们考虑的是怎么把业务流程标准化

winglight2016

316 天前

先说说自己能投入什么，只是个 idea ，我连打开链接的动机都没有

bigbear2046

316 天前

@winglight2016 千万别累着自己去勉强打开了一个链接...

bigbear2046

316 天前

@laipidov 法律其实有蛮多数据的，想从一个细分的法律领域诸如劳动法开始尝试，幻觉问题依然严重，目前还没考虑过自己训练模型，还是想先取巧走个 rag ，但是也在关注低参数可本地运行的 LLM

timeance

316 天前

持续观察楼主的项目，很棒的人类观察样本

建议 OP 开头加一句“这是能改变世界的项目”，然后不用说那么多，丢个链接就好

Leon1234567

316 天前

这种事情你在 v2 聊是扯淡的，直接花点小钱约几个律所合伙人（他们既知道自己愿意为什么花钱又知道打官司的人愿意为什么花钱）坐下来谈，看看能不能谈出付钱（哪怕有意愿）的东西才是正道。偏 B2B 的东西最怕就是自己和狐朋狗友琢磨各种“好思路”&“好想法”，因为这块最重要的既不是 idea 也不是现代技术落地，而是对方是不是觉得值得付钱。大部分行业连各方面自动化这种看似简单的事都做不到，因为对甲方来说，起码暂时尚无花钱的意向。

laipidov

316 天前

@bigbear2046 实话说法律领域不是很看好，通用 llm 的大厂做垂域 llm ，首选的就是法律、金融、医疗，这三个行业足够大，数据足够多，落地场景丰富，你要是做法律很容易和大厂撞车，除非能满足律所的一些定制化需求，这个确实跟上面的老哥们说的一样，要去找律师坐下来谈谈。rag 的话，很多人都能做。