coffer的个人博客分享 http://blog.sciencenet.cn/u/coffer

博文

预投票的问题、困境与出路 ——兼谈评委人数确定逻辑

已有 454 次阅读 2024-4-15 16:58 |系统分类:科研笔记

预投票的问题、困境与出路

——兼谈评委人数确定逻辑

专家投票是众多场合常用的工作方式,借助专家独立的专业判断,集中多数专家意见,完成遴选、评判、推荐等决议过程。

专家投票结果应用中有两种常用的判断逻辑,一是竞争性评价:在被评价主体中差额遴选,以简单多数的方式根据得票高低进行选择。二是合格性评价:提前明确票数底线规则,遴选出票数超过底线规则的被评价主体,如有规定超过票数的1/22/3等。

在众多评价场合,往往既有竞争性评价也有合格性评价的目标需求。在评选过程中往往采用按照得票数高低进行排序,遴选符合差额人数内的人选,同时要求该人选得票数超过评委总人数的一定比例。如此评价方式必然会存在某些入选人群因未达到评委总票数的一定比例的现象,进而造成无法满额使用到既有名额的结果,尤其是在被评价主体水平相对平均的情况下,更为明显。

以两位候选人竞争一个名额,要求达到评委数2/3方为有效的评选规则。假设评委具有较高的评价水准,且公平公正,每位评委满额投出票选,选手水平较高达到岗位标准且水平相当,在不同评委数量的情况下,能够按规则遴选出候选人的概率具有较大差异,见下表。

 

评委

3

4

5

6

7

8

9

10

11

12

概率

100%

62.5%

37.5%

68.75%

45.3%

28.9%

50.78%

34.38%

22.66%

38.77%

在评委人数为8人和11人时,仅有不到30%的概率能够遴选出人选。如果是因为选手水平未能达到一定标准,理所应当,然而如果是即使选手水平较高达到一定标准,但因为两位选手水平相近而造成该结果(俗称名额浪费),显然并不合理。

为了避免名额浪费,通常会采用预投票制度。即在正式投票前,先进行预投票,初步观测投票结果,评委根据预投票的结果在正式投票前进行再判断,以促使票数相对集中,保障更多指标内人选达到规则预设的得票比例。

一、预投票的问题

预投票看似一定程度上缓解了名额浪费问题,但实则违背了评委投票的基本原则,即独立判断原则。正式投票的票选并非评委独立判断的初衷,而是因为避免名额浪费的无耐之举,被避免名额浪费的目标无形绑架。同时,也可能因为避免浪费名额而被迫性票数集中,造成未达到基本要求的人选获选,无法达成追求卓越、宁缺毋滥的评选目标。

二、预投票的困境

在传统的投票模式下,以评委限额投票结果是否达到一定评委数的比例作为基本要求,来实现合格性评价问题。然而限额投票本身却是实现竞争性投票的一种手段。出现了投票手段与目的不匹配的问题。为避免限额额度不被浪费,避免原本合格且适选人员得以入选,虽然预投票带来相关的问题,但也是无奈之举。

三、破局的出路

破局的核心是通过投票规则的优化设计,将评委投票结果应用的过程中同时适用竞争性与合格性两个维度。为此,对评委投票单设计如下。

候选人

投票

候选人1

候选人2

候选人3

候选人4

候选人5

根据限额数量确定最多投票人选,划,其他认为合格的划√。

竞争性投票按照划的数量确定,合格性投票按照划√的数量判断(划默认为划√)。

四、评委人数的确定逻辑

评委数量的选择传统做法是单数,单数原则是基于过半数的评判规则需求,在每个评委都投票的情况下,一定能有票数差异。但当是2/3的判断规则之下,显然单数不尽合理,正如前图11个评委时22.66%的概率,12个评委时38.77%的概率,显然当以2/3的规则之下,评委数量以3的倍数为宜。

针对预投票的问题、困境与出路提了一个个人想法,如有不妥,欢迎朋友们拍砖指正。



https://blog.sciencenet.cn/blog-2677932-1429797.html

上一篇:相关学科的相关关系统计
收藏 IP: 219.142.99.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-20 16:51

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部