最近有个新想法,其中某个核心功能有点复杂,就先在 Github Copilot 上问了下,回答我说有现成的第三方库可以调用,甚至还给出了示例,几行代码直接调用就好。我一看还有这好事,flutter 项目直接搞起,哐哐一顿造,写到这个功能,准备添加依赖了,好家伙,直接提示我没有这个库,顿时傻眼了,还以为哪里出了问题。看了半天发现结果是 AI 在瞎扯淡,我不信邪,告诉他没有这个库,他倒好,老老实实承认错误,又给我哐哐编了一个新第三方库,甚至又给出了示例代码,结果嘛,果然又是个假的。 以前一直用 AI 解决问题,还挺爽的,有些回答可能不怎么准确,也没到瞎扯淡的程度。哎,我果然还是太信任他了。
1
conge 68 天前 12
他这是提示你,你可以先把这个库给写出来
:) |
2
mobpsycho100 68 天前
试试 o1-preview, 挺给力的
|
3
mumbler 68 天前
大模型有幻觉是常识,还好大模型不断在升级,写代码能力一直在提升
|
4
layden 68 天前
常见的问题问一下是没问题,太偏太复杂的问题大模型也不懂。但离谱的是,面对它不会的东西它会选择瞎扯,而不是承认不会,有时候觉得这也有点太不够 AI 了吧。
|
5
kyro00000 68 天前
早几个月前刷有机化学题的时候就知道啦...
它随便给你编答案,我照着参考答案都是懵逼的.. 问些简单概念问题它能答对,稍微复杂点就开始瞎编了. |
7
lloovve 68 天前 via iPhone 2
凡是网上查不到的,他基本都不会!大部分时候只能当搜索工具用
|
8
fds 68 天前
也不怪它,毕竟它训练时就是要生成一个尽量合理的答案,还不让上网查。能搜索的 perplexity.ai 会不会好一点?
|
9
sshnuke 68 天前
gemini 或者 tongyi 写代码更好些
|
10
fox0001 68 天前 via Android
@fds #8 perplexity.ai 会好点,但也不能全信
|
11
etwxr9 68 天前 via Android
ai 会瞎编是常识,ai 说得再好听也不要信,从根本上就不要尝试用 ai 去做事实判断,只用它做文本分析和处理。越了解 ai 能力的局限性,ai 用起来就越舒服。
|
12
jackple 68 天前
第一时间你不去搜一下这个库你就不对了, 😄
|
13
leegradyllljjjj 68 天前 via iPhone
大模型都是概念模型,只能说它认为大概率存在这样的一个库
|
14
Frankcox 68 天前
让我想起我们公司一个抽象的开发,问 AI 一个库的某个参数有多少个状态,然后截图发给我们让我当文档用,我们拿着文档一对发现一半都是胡编的。
|
15
helionzzz 68 天前
ai 的任务是尽可能模拟
|
17
iyiluo 68 天前
别说,AI 编出来的函数调用还像模像样,但是一运行就露馅了
|
18
wolfie 68 天前 via Android
一直都这样,有时候非常上头。
|
20
Felldeadbird 68 天前
一直都是这样啊。有一些库都已经用不了,还不断推荐。还说这是开源的,明明人家库都从开源转换收费版本了。
代码这方面算好了。OCR 才是离谱。识别不出来就跳开嘛。AI 直接给我自己润色。 |
21
zongren 68 天前
没有这个库,但是先假装有这个库
|
22
lovedebug 68 天前 12
|
23
wqhui 68 天前
ai 只能做你懂的东西,有点像更高级的自动化工具
|
24
lyxxxh2 68 天前
肯定是你的问题,ai 可是学完的整个 github 。
你一个程序员怎么比得过几千万程序员的知识。 (狗头保命) |
25
summerLast 68 天前
|
26
summerLast 68 天前
@summerLast #25 准确不是 LLM 的首要目标,顺畅对话(即使胡扯)才是,就说流不流畅吧,效果不好,对不起我们会增加训练的数据量的
|
27
monkeyk 68 天前
避免 AI 出现胡编乱造,在写提示词时加上:
请依据你所掌握的广泛知识来严谨作答,避免提供未经证实的信息。 等类似的内容,就可以很好的处理掉。 |
28
rekulas 68 天前 4
我还以为是 22 年的帖子,看了下时间 确定是现在
所以我想问 op 你第一天用 ai 吗 😂 |
29
chrisji1024 68 天前
用好 ai 的前提是掌握正确提问的方法
|
30
zander 68 天前
先找到库。
库这玩意,你找不到,AI 给你找的多半是假的。 最好是找到库让 AI 帮你读,你参考示例再继续做。 |
31
WhateverYouLike 68 天前 via iPhone
哈哈哈喜闻乐见
|
32
NoOneNoBody 68 天前
gpt 3.5 出现过几次,4o 后没再见过(也可能是我提问的方式变了)
给出的代码很完整且阅读通畅,我觉得不是创作出来的,更像是从哪里抄的,应该是有人写了类似的简易模块开源,被 gpt 读到了,但作者并没有把这个模块打包为库,gpt 将人家引用自家模块的代码输出了,结果就是找不到 |
33
AoEiuV020JP 68 天前
好几次了已经,我清清楚楚的问有没有第三方库实现了我说的功能,ai 几乎总是会信誓旦旦地告诉我某个库可以实现,明明白白的告诉我怎么使用, 一查就是没有,
|
34
nyxsonsleep 68 天前
@layden #4 因为它的参考语料里没有承认不会的内容。并且由于数据太多,很容易混淆概念。
|
35
Terry05 68 天前
早就发现它是在胡扯了,比较细节的东西,可以问问他方案,思路一类的,具体的现实内容绝对不能指望
|
36
J0seph 67 天前
大模型是语言模型,只考虑给的回答通不通顺,又不管对不对
|
37
maemolee 67 天前
你别管他有没有撒谎,你就说 AI 给你的回答,是不是像模像样的?
这就是 LLM 的第一要务。 |
38
cosmicray 67 天前
反面是无论问什么都回答不知道,这个对模型来说更容易做到,但是也更没用。实际上人也经常编造内容,ai 更严重还是因为认知能力不足。
|
39
win301 67 天前
这也算是收获了经验,下次可以先确定依赖库是否真的存在,然后在在确认一下依赖库里的方法是不是确实是你需要的,然后在开始设计程序
|
40
jqtmviyu 67 天前
除了瞎编库, 还有一本正经的用 n 年前的废弃文档告诉你解决方法.
|
41
PeneceaQwQ 67 天前
不带 RAG 相关的都存在幻觉的,就算有合适的 prompt 都可能存在瞎编,o1 稍微好点
还是把 AI 当成 idea 获取器和搜索引擎算了 |