wshuyi的个人博客分享 http://blog.sciencenet.cn/u/wshuyi

博文

Claude 3 能辅导你的数学作业了?

已有 2417 次阅读 2024-3-11 09:16 |系统分类:教学心得

详细讲解,耐心答疑。一个不知疲倦,更不会嫌你「问题太傻」的优秀助教。

能力

Claude 3 推出之后,风头正劲。其中的「超大杯」Opus 号称可以在各项指标上碾压 GPT-4。这不,最近有一篇关于 Claude 3 在各个科学领域应用的文章我的朋友圈里刷屏了。文章提到了 Claude 3 在材料学、物理学和数学等领域研究的应用,让人感到非常振奋。仿佛有了这款新的大语言模型,科研工作都可以交给它来完成。这篇文章引起了广泛关注,但也有不少人持怀疑态度。由于我对材料学了解不多,我也把文章分享到朋友圈,想听听大家的意见。

结果朋友们众说纷纭。有人认为有用,也有人认为没用。与其纠结于这些争论,不如我们亲自动手试一试。

高数

我决定让 Claude 3 帮我解答一些微积分题目,看看它在高等数学方面的表现如何,能否给出正确答案。我从 可汗学院找了一些微积分的练习题

第一题是求一个定积分,涉及求导和根号等操作。

这题目让我感到很熟悉,毕竟大学学过,但现在让我解题确实有难度,需要重新复习。与其自己花时间做题,不如直接把题目交给 Claude 3。

Claude 3 给出了完整的解题步骤,从已知条件出发,先求导数,再计算定积分,最后得出答案为 3。

我半信半疑,把题目输入可汗学院,没想到 Claude 3 的答案居然正确。

我怀疑这是不是碰巧蒙对了,于是又尝试了第二道题。

这次我直接把题目截图发给 Claude 3,它很快给出了详细的解题步骤,最终得出答案为 -9。

我把答案提交到可汗学院,结果依然正确。

两道题下来,已经很难说 Claude 3 是在乱猜了。至少对于可汗学院上的这些定积分练习题,它能够通过 OCR 识别题目,列出清晰的解题步骤,讲明原理,并给出准确答案。

数独

除了高数题,我还让 Claude 3 尝试解答数独题。起因是去年我带学生参加了华为杯研究生数学建模大赛,最后获得了数模之星提名奖(一等奖 200 名中的前 12)。

大赛颁奖典礼,场馆里有个有趣的环节叫做「数学文化互动」。

大家聚在一起解各种数学题,从微积分到数独,应有尽有。

我对数独不太在行,当时就想到把题目拍照发给 ChatGPT 求解。

它虽然尝试分析,但最终没能解出来,我也没拿到奖品。

今年 3 月 10 日,我再次尝试,把同样的题目发给了网页版 ChatGPT。

它还是尝试分析题目,但我看到它开始编程时就知道不妙。

ChatGPT 的英文 OCR 能力虽然不错,对中文还有欠缺。但它编程来进行 OCR ,能力就立即下降一大截。因为这些 Python 包比起 ChatGPT 的 OCR 能力,差得太远了。果不其然,最后 ChatGPT 只识别出了 8、7、4 三个数字,根本没法解题。

于是它就开始执拗地继续尝试识别,识别出来的结果是这样的:

以及这样的:

总之,对于解题来说,ChatGPT 的这些努力毫无助益。

于是我把同样的题目发给了 Claude 3。令人惊喜的是,它直接给出了最终答案,没有任何迟疑。

然而,我仔细一看就发现答案有问题。比如答案中的左上角填入了数字 5,可其实 5 已经出现在了第一行第二列,所以这显然不对。后来我又测试了几道数独题,Claude 3 的表现都不尽如人意,没有一题答对。

探析

为了找出问题所在,我让 Claude 3 展示 OCR 识别结果。

这一下,我立即找到了原因。

我发 Claude 3 虽然能准确识别每行数字,但对于空格的位置经常出错。比如第 3 行的正确填法是「x 3 x」。

但 Claude 3 却识别成「3 x x」。

数独题中,哪怕只有一个空格位置错了,也会导致整个答案出错。不能准确把握输入,相当于考试的时候审题出错,后续结果也就可想而知了。看来 OCR 中的空白位置识别失误,是 Claude 3 无法准确解答数独问题的短板。

我把实验的结果做成了视频,很快就有观众留言,反馈了自己测试的结果。

这证明了我的判断还是准确的。

小结

通过这些实验,我们可以得出以下结论:Claude 3 在识别数学公式方面表现出色,能够准确识别数字和符号,理解公式含义,并给出正确解答。然而,它在数独题的空格位置识别上还存在问题,导致答案频频出错。

虽然 Claude 3 在理科题目的自动求解上还称不上完美,但在辅助自学方面,它的潜力不容小觑。想想看,以前我们做题时,还需要专门购买题目精讲手册,来详细讲解答案,帮助我们解除疑惑。现在有了 Claude 3,它能够根据你拍照输入的题目,提供详尽的解题步骤。遇到疑惑的地方,你还可以随时提问,却不用担心问题「太傻」,有损自己睿智的人设。这对于自学和课业辅导来说,是一个非常好的工具。

我目前只测试了定积分和数独题。至于 Claude 3 在其他理科题上的表现如何,还有待进一步探索。我相信,只要给它足够的准确知识作为上下文,Claude 3 在文科题目上也能有所斩获。欢迎大家都来尝试一下,更希望你能把测试结果分享到评论区,让我们共同探索人工智能在教育领域的应用前景。

祝 AI 辅导数学练习愉快!

如果你觉得本文有用,请点赞

如果本文可能对你的朋友有帮助,请转发给他们。

欢迎关注我的专栏,以便及时收到后续的更新内容。

延伸阅读



https://blog.sciencenet.cn/blog-377709-1424840.html

上一篇:Mistral AI 的大语言模型怎么样?
下一篇:文献回顾与文献综述的区别是什么?
收藏 IP: 59.67.72.*| 热度|

1 郑永军

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-24 20:38

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部