程京德(Jingde Cheng)的博 ...分享 http://blog.sciencenet.cn/u/JingdeCheng 相关逻辑,软件工程,知识工程,信息安全性工程;自强不息,厚德载物。

博文

ChatGPT“智能”测试:ChatGPT 对相关性逻辑谬误的判断 精选

已有 6838 次阅读 2023-2-11 10:16 |个人分类:人工智能|系统分类:科研笔记

[敬请读者注意] 本人保留本文的全部著作权利。如果哪位读者使用本文所描述内容,请务必如实引用并明白注明本文出处。如果本人发现任何人擅自使用本文任何部分内容而不明白注明出处,恕本人在网上广泛公布侵权者姓名。敬请各位读者注意,谢谢!


ChatGPT“智能”测试:ChatGPT 对相关性逻辑谬误的判断

程京德

 

ChatGPT 的功能强效果好,的确不错。但是,网上各行各业各种说法对其好评(还有许多滥用AI概念的胡评)似乎已经超出常识,不由得引发笔者对其所谓“智能”测试一下的兴趣。下面是第一次测试结果的报告,仅供参考。

测试数据:笔者本人关于相关性逻辑谬误的系列科普文章中的实例。

测试方法:向 ChatGPT 提问:“下面的论证在逻辑上是否正确?请简单说明理由。”并将每个逻辑谬误实例的陈述输入给它。每个实例仅测试一次。

测试结果如下(OO表示很好,O表示可以算合格,X表示不合格):

 

逻辑谬误种类

实例1

实例2

实例3

实例4

实例5

正确率

备注

Mares & Cheng

OO

X

X

X

NA

1/4

不懂谷山志村猜想与费尔马大定理之间的关系

诉诸“暴力”

O

O

O

O

拒绝

4/4

对所有实例都能够指出相关性问题,但是都没有指出这类逻辑谬误的特征,对涉及“政治家”的实例拒绝回答

诉诸同情

O

O

O

O

O

5/5

对所有实例都能够指出相关性问题,但是都没有指出这类逻辑谬误的特征 

诉诸民众

OO

O

OO

OO

OO

5/5

近乎完美地指出了4个实例的逻辑谬误特征

对人不对事论证

OO

OO

OO

拒绝

OO

4/4

近乎完美地指出了4个实例的逻辑谬误特征,对涉及“政治家”的实例拒绝回答

例外(偶然/意外)

OO

OO

OO

OO

OO

5/5

对所有实例都能够指出相关性问题以及这类逻辑谬误的特例性特征

 

笔者感想(仅限于此次测试实验):

(1) 笔者的实验数据全部是近期科普文章中的实例,文本文件应该不存在于 ChatGPT 的数据源中。所以,ChatGPT 对自然语言陈述的“理解”能力应该说是相当不错,没有犯对语言陈述的任何理解错误,大概不弱于一般大学生,强于比较差的大学生。

(2)对于所有实例,除了言及谷山志村猜想(谷山志村猜想与费尔马大定理之关系可能太专业了,ChatGPT 的数据源当中没有相应数据)的3个,其余的判断都正确合格,所以,可以堪称表现优秀。

(3)使用 ChatGPT 来做普通逻辑学(非数理逻辑!)教学辅助工具,用来给学生作业判分,大概可行。

(4)教师自身通过使用 ChatGPT 来了解它的特征之后,放开让学生们自由使用,而教师本人更注重于深刻认识学生能力培养的关键点注重于提炼知识点的本质,出高水平的作业题和考试题,对于教师自身教学水平的提高和学生钻研能力的培养,应该都有益处,达到双赢。

(5) ChatGPT 一定会对文科教育带来冲击。




微信公众号“数理逻辑与哲学逻辑” 




https://blog.sciencenet.cn/blog-2371919-1375761.html

上一篇:ChatGPT 的原理局限性:它永远不会做什么?
下一篇:ChatGPT“智能”测试:ChatGPT 对逻辑学基本概念的“理解掌握”程度
收藏 IP: 111.216.83.*| 热度|

10 贾玉玺 杨正瓴 黄永义 李剑超 晏成和 张珑 刘德力 雷蕴奇 许培扬 YinZiyu

该博文允许注册用户评论 请点击登录 评论 (5 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-25 23:50

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部