|
上周末,我就公众对我们论文“Automated Inference on Criminality using Face Images”的误解做了必要的澄清。那是我一生来第一篇博文(我一年前才让学生教会我用微信,我打中文很累的),只因事关原则。
不少朋友告诫,不要理会网上言论,免得生气。一周来我也忙于指导学生做实验,写论文,没时间上网。刚闲一点儿,手贱,点开了朋友转来的一个公众号,上面不少欠智元、反智元的热评让我不得不多说几句。
首先,GOOGLE不是一个非营利纯学术研究机构,对其难道不可以有一点独立判断和质疑精神,哪怕是对我们的严苛的几分之一呢?就“伪科学”之争,我不得不指出来自GOOGLE的三个作者几个明显不专业不公正的做法:
1. 为了质疑我们的结果,他们引了一篇用类似的神经网络测性别的论文,其准确度还不如我们的。但是,他们隐瞒了一个重要事实:这篇论文用的人脸图像集的画质和变量控制远低于我们实验用的人脸图像集。作为机器学习的专家,难道不知道这么明显的不可比性?
2. 他们影射我们结果有数据过拟合的风险,但对我们论文中有整整一节(Section3.3)讨论这个风险只字不提。文中我们毫不留情地质疑自己,做了多个实验找可能的漏洞,在没有反例的情况下才公开了我们的发现。正常学术交流批评的话,他们有责任解构我们的实验和推理,用实验和/或数学说话,而不是hand waving。
我有二十多年从事图像统计建模和预测的科研经验,我的几篇高引论文都是有关无损(数学上可逆)预测图像编码的成果(是该领域的benchmark),这里防止数据过拟合是核心技术问题。他们连沟通求证一下的耐心都没有,不是很傲慢吗?
3. 我们实验用的人脸图像都是去掉背景和着装的,这是机器学习起码的常识,所以没有在论文中赘述。他们也不向我们求证,就自鸣得意地畅想起“白领子”现象,这是傲慢证据之二。国内不少网民也跟着起哄,靠诋毁上交大凸显自己的高明。
4. 他们暗示我们分类器的假阳性太低,却忘记了告诫非技术领域读者不要犯baserate fallacy的错误。相对于极低的犯罪率,我们的假阳性仍是高得没有任何实用的可能。
与来自GOOGLE的几个作者的做法形成鲜明对照的是,这半年来不少来自各国的教授、学者、研究生、记者来信来电话,他们都是本着纯学术争论的精神,求证我们实验的设计思想和实施细节,平等的互相倾听和辩论。
细心的读者一定从上述那个“白领子”现象看到了我们实验的一个弱点,那就是,我们没有控制实验对象的社会经济地位。我们不是不想控制,但由于隐私保护的原因,我们不能拿到相关数据。在实验对象的社会经济地位有控制的条件下,我们猜想,我们分类器的准确率大有可能显著下降。如果这个猜想被证实,那么机器发现的有可能也是一种面相和社会经济地位的相关性,随之而来的将是一个涉及社会公正和歧视的让人不舒服的争议。坦白讲,我们没有在论文中指出这一可能的统计相关性,怕的正是不可避免又不可承受的误读。
我喜欢电影“A Few Good Men”(好人寥寥)中精彩的对话,一个刚走出哈佛法学院才华横溢的美军律师Kaffee(Tom Cruise)在法庭上的对质
上校 (Jack Nicholson): You want answers?!
Kaffee: I want the truth!
上校: You can't handle the truth! (一个音节,一个音节,从牙缝里蹦出)
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-20 04:23
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社