||
[敬请读者注意] 本人保留本文的全部著作权利。如果哪位读者使用本文所描述内容,请务必如实引用并明白注明本文出处。如果本人发现任何人擅自使用本文任何部分内容而不明白注明出处,恕本人在网上广泛公布侵权者姓名。敬请各位读者注意,谢谢!
ChatGPT“智能”测试:ChatGPT 对相关性逻辑谬误的判断
程京德
ChatGPT 的功能强效果好,的确不错。但是,网上各行各业各种说法对其好评(还有许多滥用AI概念的胡评)似乎已经超出常识,不由得引发笔者对其所谓“智能”测试一下的兴趣。下面是第一次测试结果的报告,仅供参考。
测试数据:笔者本人关于相关性逻辑谬误的系列科普文章中的实例。
测试方法:向 ChatGPT 提问:“下面的论证在逻辑上是否正确?请简单说明理由。”并将每个逻辑谬误实例的陈述输入给它。每个实例仅测试一次。
测试结果如下(OO表示很好,O表示可以算合格,X表示不合格):
逻辑谬误种类 | 实例1 | 实例2 | 实例3 | 实例4 | 实例5 | 正确率 | 备注 |
Mares & Cheng | OO | X | X | X | NA | 1/4 | 不懂谷山志村猜想与费尔马大定理之间的关系 |
诉诸“暴力” | O | O | O | O | 拒绝 | 4/4 | 对所有实例都能够指出相关性问题,但是都没有指出这类逻辑谬误的特征,对涉及“政治家”的实例拒绝回答 |
诉诸同情 | O | O | O | O | O | 5/5 | 对所有实例都能够指出相关性问题,但是都没有指出这类逻辑谬误的特征 |
诉诸民众 | OO | O | OO | OO | OO | 5/5 | 近乎完美地指出了4个实例的逻辑谬误特征 |
对人不对事论证 | OO | OO | OO | 拒绝 | OO | 4/4 | 近乎完美地指出了4个实例的逻辑谬误特征,对涉及“政治家”的实例拒绝回答 |
例外(偶然/意外) | OO | OO | OO | OO | OO | 5/5 | 对所有实例都能够指出相关性问题以及这类逻辑谬误的特例性特征 |
笔者感想(仅限于此次测试实验):
(1) 笔者的实验数据全部是近期科普文章中的实例,文本文件应该不存在于 ChatGPT 的数据源中。所以,ChatGPT 对自然语言陈述的“理解”能力应该说是相当不错,没有犯对语言陈述的任何理解错误,大概不弱于一般大学生,强于比较差的大学生。
(2)对于所有实例,除了言及谷山志村猜想(谷山志村猜想与费尔马大定理之关系可能太专业了,ChatGPT 的数据源当中没有相应数据)的3个,其余的判断都正确合格,所以,可以堪称表现优秀。
(3)使用 ChatGPT 来做普通逻辑学(非数理逻辑!)教学辅助工具,用来给学生作业判分,大概可行。
(4)教师自身通过使用 ChatGPT 来了解它的特征之后,放开让学生们自由使用,而教师本人更注重于深刻认识学生能力培养的关键点,注重于提炼知识点的本质,出高水平的作业题和考试题,对于教师自身教学水平的提高和学生钻研能力的培养,应该都有益处,达到双赢。
(5) ChatGPT 一定会对文科教育带来冲击。
微信公众号“数理逻辑与哲学逻辑”
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-12-25 23:50
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社