GPT-4 推理太离谱!大学数理化总分没过半
570
发布时间:2023-10-10 13:50:01
近来,有两篇研究称,GPT-4 在推理方面表现不尽人意。
来自 MIT 的校友 Konstantine Arkoudas,在 21 种不同类型推理集中,对 GPT-4 进行了评估。然后,对 GPT-4 在这些问题上的表现进行了详细的定性分析。
研究发现,GPT-4 偶尔会展现出「最强大脑」的天赋,但目前来看,GPT-4 完全不具备推理能力。
最后,通过分析发现:
(1)虽然 CoT 显著提高了计算能力,但在其他方面的效果较差;
(2)使用外部工具的提示可能会损害其他基本技能;
(3)少样本学习并不能普遍提高科学问题解决能力。
总之,研究结果表明,当前大型语言模型在解决问题能力方面依旧很弱,并且在各种工具帮助下,依旧存在局限性。