trungdieu031

配 64G 内存的主机，做下量化，完全可以跑 32B 的模型了。如果不特别追求速度的话也不用非得上两块 GPU~

你这个问题要解决有一下集中思路：
1. 更换不同厂家的模型，都试试说不定就有安全措施不那么严格的
2. 采用类似反爬虫的机制。增加请求延时，更换 ip , 更换请求账号 ...
3. 编写专门的 prompt 来绕过限制。有点类似 LLM 的越狱机制
4. 部署本地大模型处理。如果是英文邮件的话，可能 llama 的中大模型会好点 ...

你这个应该确实是触发了某种安全机制。看过美剧刑侦剧的都知道 John Doe 这个名字使用指定未知人物姓名的。大模型返回结果可能处于数据隐私方面的考虑对返回结果做了替换 ~

标注或合成一部分数据，自己训练/微调一个模型

我自己主要用来看书，微信读书以及专业书籍 pdf ，尤其是专业书籍 pdf 配合 apple pencil 做笔记简直是神奇。看剧反倒几乎没有，因为屏幕太小，观感远不如电视。

建议如果不是强制必须用国产的话，还是上英伟达的卡好点。昇腾 上适配模型会让你适配到怀疑人生，尤其是项目交付有固定期限的情况下...

同等参数级别的大模型，尤其是 70B 以上参数的模型，国产模型确实不如 OpenAI 和 llma, 也就在特定的中文问题上表现好点;
楼上有人说拥有上万卡的公司有好几家，大厂以前囤积的卡包括后来从各地高价收购的卡加起来上万也没啥问题，但这些卡在大厂里也是分散在各处，并不是在一个统一调度的集群里，所以能用来训练大模型的也就在千张量级;
有些早期的大厂模型比如百度这些可能不是用 llma 微调的，但国内确实也有很多微调的大模型，由于国产大模型都没怎么开源，所以也很难判断，但从大厂一贯开源节流，“效率优先”的传统来讲，在开源模型上用中文语料库 finetune 似乎也是预料之中的事；
中文语料由于长期思想审查带来的语料质量方面的问题是存在的；所以会有从 chatGPT 这种大模型里生成中文数据来训练的情况出现；
很多排行榜有数据污染的情况，国产大模型很多为了刷榜提升知名度，会做一些面向刷榜的特定优化

@zgw199012 这个还是第一次听说。用来办公的话会怎么样，能看清字吗，或者说刷网页体验怎么样？

@ccinsomnia 回头我看看 q3 的测评。不过说实话光从外形上看感觉还是有些厚重