ChatGPT 答案质量不尽人意?这四大常见原因看你中几个

2023-08-04 更新 • 2023-05-09 发布
3011 字 • 8 分钟

近几个月我基本每天都会使用 ChatGPT 至少二十次,感觉提效了好几个台阶。于是在「闪闪人生」的人生重点项目推进会上,常推荐大伙儿把这十亿美金的个人助理用起来。

但这几周陆续收到闪闪人生先锋用户反馈,感觉问 ChatGPT 得到的答案帮助不大。

为什么?细致了解下来,我发现通常是因为以下四点。如果你也想借助 AI 为自己提效,不妨瞅瞅🤗

1. 使用的模型是 GPT-3.5 而不是 GPT-4

两者差别还是挺大的,类似普通的中学毕业生水平和斯坦福毕业生水平的人帮你干活的差异。如果希望大幅提升效能,还是争取使用 GPT-4 。不过后者要付费升级成 Plus 才能使用。

那试了各种办法也难以升级成功,怎么办?

退而求其次的方案:

  1. 使用 https://chat.forefront.ai/ 。不过随着使用的人越来越多,GPT-4 的免费额度越来越低。
  2. 使用别的质量也不错的大模型,比如 Claude 。可以基于网上的较新数据生成答案,结果质量一般介于 GPT-4 和 3.5 之间,且目前没有额度限制。具体介绍见 https://www.anthropic.com/product 。可在 Slack 上直接使用,具体见 Claude in Slack | Anthropic

不知道自己用的是什么模型?

可以直接问它“你是基于什么模型,GPT-4 吗?”没说自己是 GPT-4 的,一般不是 GPT-4 。如果还不放心,可以问一些 GPT-3.5 能力之外的问题,比如一些高阶推理相关的如“为什么我爸妈结婚没邀请我?”,GPT-4 会回答正确,比如:

syJp5U

GPT-3.5 则不会:

qM9ZxW

2. 没指定角色或优质信息源

GPT 是猜词游戏,基于前面的词预测下一个词。如果在对话时给出更多优质线索,比如赋予 GPT 相关领域的专业角色,它会更可能生成靠谱答案。如“你是创业者教练”“市场和品牌专家”“律师”等。

如果加上“世界一流的”或“资深的”“顶尖”等修饰词,或加上具体人名,比如该领域某位颇有建树的人士,会更可能得出靠谱结果。

比如前两周我帮一位想让公司给加班费的朋友防范风险,这是借助 GPT 逆向了解公司可能的处理方式时用的提示词:

你是世界一流的人力资源总监、法务专家,现在遇到一个棘手事件,情况是这样子的:公司未能按时支付员工加班费,现在有一名工龄近三年的员工,要求公司补偿未支付的加班费。目前我想到两种可能性:

  • 为该员工补偿所有未支付的加班费。这个方案意味着公司预计需要一次性支出 4-7 个月工资,用于补偿过去的加班费。同时,未来每个月将比现在多支出 20% 的人力成本,因为需要合理支付员工的加班费。一旦给该员工补偿,可能其他员工会借鉴要求补偿加班费。
  • 协商离职,一次性补偿员工,要求员工保密。这个方案意味着公司需要一次性支出 6-11 个月工资。但可能后续其他人想离职,就拿这个事情来说。

请问还有其他可能吗?请你给出所有处理方案,分析各个方案的利弊和风险预案,并给出最后的处理建议。

最后 GPT-4 和 Claude 给出的结果都不错,感兴趣可以展开查看:

GPT-4 的回答:(点击展开)

在处理这样的问题时,确实需要权衡不同的方案,以找到最优的解决方式。根据你所提供的情况,我提出以下几种可能性:

  1. 为该员工补偿所有未支付的加班费:这个方案的优点是公平和透明。它可以增强员工的满意度和对公司的忠诚感。然而,这也意味着公司需要支付大量的补偿费用,可能会对公司财务产生压力。同时,如果其他员工知道了这个情况,他们可能也会要求补偿。要预防这种风险,公司应该建立起合理的加班支付制度,确保所有员工的权益都得到保障。

  2. 协商离职,一次性补偿员工,要求员工保密:这个方案的优点是可以迅速解决当前的问题,避免了可能的法律纠纷。然而,如果其他员工发现了这种情况,可能会对公司的声誉和员工士气产生负面影响。此外,这个方案也可能激发其他员工以此为借口寻求更高的离职补偿。

  3. 与员工达成协议,逐步支付未支付的加班费:这个方案的优点是可以降低公司的一次性支出,同时也显示了公司对员工权益的尊重。然而,这需要得到员工的同意,而且也可能导致其他员工对公司的支付制度产生疑虑。

  4. 调整公司的加班政策,合理支付所有员工的加班费,同时考虑调整工作时间和工作量:这个方案的优点是可以避免未来类似的问题,同时也可能提高员工的满意度和生产效率。然而,这可能会导致公司的运营成本上升,需要公司进行全面的财务规划。

在处理这个问题时,首先需要确认公司的法律责任,以及公司是否有能力支付这笔费用。如果公司有法律责任,并且有能力支付,我建议选择第一个方案:为该员工补偿所有未支付的加班费。同时,公司应该调整加班政策,确保所有员工的权益得到保障,避免未来类似的问题。这样做可以提高员工的满意度,同时也可以避免可能的法律风险。

然而,这个决策应该基于公司的具体情况,包括公司的财务状况,员工士气,和公司的长期战略规划。

如果公司的财务状况紧张,可以考虑第三个方案:与员工达成协议,逐步支付未支付的加班费。这种方式可以降低公司的一次性负担,但是需要保证在约定的时间内支付所有的费用,否则可能会导致信任问题。

无论采取哪种方案,公司都应该重新审视其加班政策和劳动法的合规性,以防止未来再次发生类似的问题。这可能包括改进时间记录系统,定期审计加班费的支付情况,以及提供员工教育,让他们了解他们的权利和公司的政策。

最后,我强烈建议在做出任何决策之前咨询法律专家,以确保公司遵守所有相关的劳动法规定,避免法律纠纷。

这是一个复杂的问题,需要综合考虑公司的法律责任,财务状况,员工士气,和公司的长期战略规划。希望这些建议能帮助你做出最好的决策。

Claude 的回答:(点击展开)

Y56vZm


一些偏事实类的疑问,在问 GPT 时附上优质信息源,也更可能得出靠谱成果。比如

女性最佳生育年龄是什么时候?请从维基百科、谷歌学术、亚马逊图书、谷歌图书、O’Reilly 图书、官方政府统计数据和报告、TED 演讲、goodreads 等优质信息源中,帮我找到答案

这里“请从维基百科、谷歌学术、亚马逊图书、谷歌图书、O’Reilly 图书、官方政府统计数据和报告、TED 演讲、goodreads 等优质信息源中,帮我找到答案”就是我的常用提示词,一般我想了解偏事实类的问题时,都会加上这句。甚至还把这些常用提示词配置成了输入法快捷键,一键输入。

此外,如果英文来问,会更可能得出靠谱结果。如果使用英语没那么熟悉,可以先请 GPT 把问题翻译成英文。


那如果想了解某领域真正顶尖人士的视角,而不是所谓专家的观点或理论,但又不知道该领域颇有建树的人是哪些,怎么办?

可以瞅瞅《聪明的阅读者》最后一章《通识千书:智者的代表作》,里面盘点了人类历史上主要领域的一批智者及其代表作清单。

其挑选标准如下: qQWABc

3. 成果要求不具体

典型比如只是简单描述了问题背景,询问 ChatGPT 怎么办或让它提提建议,但没有给出期待的成果要求。这么做,好比我们要派任务给别人,没描述清楚成果要求,大概率是很难得出满意成果的。

那怎么给出成果描述比较好?

典型比如内容应用场景(申请函/产品内测招募/产品推广/道歉信/……)、内容要点、字数要求、风格(严谨/富有创意/某位知名作者的风格/小红书风格)、格式(表格/列表)等。

如果在提要求时附上一些成果示例,会更可能得到靠谱结果。

具体例子可参考: GPT best practices - OpenAI API

4. 问题颗粒度太大,没有拆解子问题

比如描述了一下自己想要的生活状态,直接问 GPT 怎么实现、有什么行动建议。这得出的结果通常比较空泛。

那怎么细化问题颗粒度,得出相对靠谱的行动方案?

可以拆解出子问题,再请 GPT 扮演专业角色逐步分析。比如目标的关键成功要素(Key Success Factors)、里程碑和不同阶段的重点、难点、易错点以及业界基准值(benchmark),并推荐优质资源线索,然后再请它基于这些内容列出未来一个月要探索的问题清单等。

具体可参考这个示例:人生岔路,何去何从?GPT 助你快速产出人生探索计划


其它任务场景也类似,别直接让 GPT 完成一个颗粒度特别大的任务,而是拆解子问题后,再请 GPT 一步步来生成内容。比如不要请 GPT 直接就某个问题生成一篇文章,而是请它先产出大纲,你优化大纲后,再一个模块一个模块请它生成内容。

如果你优化大纲时想轻松些,还可以请它生成三个版本,你再综合优化出新版,并请 GPT 基于新版来逐步扩充内容。

5. 小拓展

上述四点全都没踩中,还是没得出满意成果?或者想进一步了解如何借助 AI 为自己提效?不妨瞅瞅提示工程(prompt engineer)相关材料,看看有什么可以借鉴的。比如:


以上。

如有错漏,欢迎随时告诉我,一起迭代完善这些实践攻略:)

CHANGELOG

  • 230804 根据各工具更新地址
  • 230617 更新案例链接
  • 230608 增补 OpenAI 的官方攻略
  • 230512 增补细节
  • 230511 更新到博客上
  • 230509 创建