引文分析的一个用途----帮助非专家来判断专家的水平

武夷山

JASIST杂志2013年第3期发表了美国路易斯安那州立大学数学学科馆员Aaron Lercher的文章，Correlation Over Time for Citation to Mathematics Articles，其中用部分篇幅论述了非专家评价专家的问题。

Goldman（1999，2001）和Kitcher（1993）都叙述了非专家如何评价专家的问题。在这里，要区分两件事：一是，非专家是否有能力学到专家的本事；二是更加困难的任务----对专家们的技能、可靠性和工作成果作比较性评价。

非专家在向专家学习之前，不必非得首先评价一下专家的可靠性。但是，非专家若想对专家的可靠性做出健全的判断，则只能依赖自己碰巧了解的一些关于专家技能和成果的例子。这些例子不一定是专家的代表性成果。在经济学、医学、气候科学等领域，非专家急切需要评价专家的成果。（博主：因为只有做出这种评价后，我们才知道该信谁的。而自己信了哪些专家，将对个人以至社会的健康和前途发生影响。）他们也许通过一些非代表性的样本来核查专家，但不应基于这样的直接评估做过度引申。

Kitcher提出，对专家的权威性可以有一间接校准（calibration），它类似于评价性引文分析。间接校准的意思是，一个专家的权威性是通过其他专家对该专家的认可程度的平均值来估计的。Kitcher称这一认可度为“真值比”（truth ratio）。专家们由于掌握了特定方法，在判断其他专家的水平时，不必核查其每项成果；非专家们一般不掌握特定方法，但仍有改善自身对其他专家的判断力的强烈需求。评价性引文分析就是解决“非专家如何评估专家成果？”问题的一种间接进路。这个进路就是利用一个领域的文献引用状况来代替Kitcher想象中的专家投票结果。

那么，评价性引文分析就成为经由专家互相之间的集体判断来增强非专家判断力的一种方式。