首页

医疗健康

GPT-4 推理太离谱!大学数理化总分没过半

GPT-4 推理太离谱!大学数理化总分没过半

570

发布时间:2023-10-10 13:50:01

近来,有两篇研究称,GPT-4 在推理方面表现不尽人意。

来自 MIT 的校友 Konstantine Arkoudas,在 21 种不同类型推理集中,对 GPT-4 进行了评估。然后,对 GPT-4 在这些问题上的表现进行了详细的定性分析。

研究发现,GPT-4 偶尔会展现出「最强大脑」的天赋,但目前来看,GPT-4 完全不具备推理能力。

最后,通过分析发现:

(1)虽然 CoT 显著提高了计算能力,但在其他方面的效果较差;

(2)使用外部工具的提示可能会损害其他基本技能;

(3)少样本学习并不能普遍提高科学问题解决能力。

总之,研究结果表明,当前大型语言模型在解决问题能力方面依旧很弱,并且在各种工具帮助下,依旧存在局限性。