|
随着各种GPT技术的涌现,围绕科研工作的AI工具也越来越多,这些工具能否真正有利于科研工作就成为人们考虑的问题。显然无论是否喜欢,这种趋势无法改变。科学研究使用AI到来必然的阶段。
随着大型语言模型(LLM)的飞速发展——包括OpenAI对ChatGPT背后技术的最新化身GPT-4——科学家们开始利用它们的力量。由人工智能(AI)驱动的工具的爆炸式增长包括几个搜索引擎,旨在使研究人员更容易掌握开创性的科学论文或总结一个领域的主要发现。开发人员声称这些应用程序将使研究民主化并简化访问。
AI science search engines are exploding in number — are they any good? (nature.com)
已经对它们进行尝试的科学家说,在研究人员使用它们来帮助研究前,一些工具还需要更多改进。Clémentine Fourrier是巴黎的一名研究员,他在纽约市开发开源AI平台的公司Hugging Face评估LLM。她使用一个名为Elicit的AI搜索引擎,该搜索引擎使用LLM来制作答案,以帮助为她的博士论文找到参考文献。Eleadit搜索语义学者数据库中的论文,可通过将论文的标题和摘要与搜索问题进行比较来识别顶级研究。
Fourrier说,根据她的经验,Elicit并不总是选择最相关的论文。她说,这个工具非常适合推荐“你可能不会看的”论文。就是方便查找到传统搜索工具容易被忽视的文献,这些论文摘要看起来是“无用的”,“它也会提出很多不直接相关的东西”,她补充道。“如果你只使用这个工具,你很可能会犯很多错误。”
Ought的首席运营官Jungwon Byun说:“我们目前有数十万具有不同专业的用户,因此Elicit在某些查询中不可避免地会变弱。Byun说,该平台的工作方式与其他搜索引擎不同,因为它不太关注关键字匹配,引用计数和新近度。但是用户可以过滤这些内容。
其他研究人员对该工具有更积极的经验。“到目前为止,Elicit.org 是我最喜欢的搜索,”新加坡管理大学的图书馆员Aaron Tay说。“它几乎取代了谷歌学术搜索,成为我首选的搜索学术工具,”他说。“就相关性而言,我对Elicit的[Fourrier]体验相反。我通常与谷歌学术搜索的相关性大致相同——但偶尔,它会更好地解释我的搜索查询。
这些差异可能取决于领域,Tay建议。Fourrier补充说,在她的研究领域,时间至关重要。“机器学习的一年就是任何其他领域的一个世纪,”她说。“五年之前的任何事情都是完全无关紧要的,”Elicit并没有接受这一点,她补充道。
另一个工具scite的开发人员位于纽约市,它使用LLM来组织和添加论文引用的上下文 - 包括一篇论文在何处,何时以及如何被另一篇论文引用。虽然ChatGPT因“幻觉”而臭名昭著 - 发明不存在的引用 - scite及其“助手”工具消除了这种头痛,scite首席执行官Josh Nicholson说。“这里最大的区别在于,我们从 ChatGPT 获取输出,根据我们的数据库进行搜索,然后在语义上将其与真实引用进行匹配。Nicholson说,scite已经与30多家学术出版商合作,包括Wiley和美国化学学会等大公司,并签署了许多索引协议 - 使该工具可以访问数百万篇学术文章的全文。
尼科尔森说,scite 还与 Consensus 合作——一种直接从研究中提取和提炼发现的工具——由程序员埃里克·奥尔森和克里斯蒂安·塞勒姆于 2022 年在马萨诸塞州波士顿推出。共识是为那些不是他们正在寻找的东西的专家的人建立的,塞勒姆说。“但我们实际上有很多研究人员和科学家使用该产品,”他补充道。
与Elicit一样,Consensus使用Semantic Scholar数据。“我们有一个数据库,其中包含从论文中提取的100亿多份声明。然后当你进行搜索时,你实际上是在搜索这些声明,”奥尔森说,共识工作人员手动标记有争议或被证明的说法 - 例如,疫苗会导致自闭症。“我们希望达到一个自动化的状态,”塞勒姆说,“重现这个领域的专家会做什么来检测一些劣质的研究。
改进的余地
加拿大温尼伯曼尼托巴大学的儿童健康儿科医生梅根·阿扎德(Meghan Azad)询问共识疫苗是否会导致自闭症,并对结果不服气,该结果称70%的研究表明疫苗不会导致自闭症。“其中一个引用是关于'父母相信疫苗会导致自闭症吗?',它用它来计算其共识。这不是一项提供证据的研究,是或否,它只是问人们相信什么。
欧登塞南丹麦大学的博士后Mushtaq Bilal测试了人工智能工具,并发布了关于如何充分利用它们的推文。他喜欢Elicit,并且看过Consensus。“他们试图做的事情非常有用。如果你有一个是/否的问题,它会给你一个基于学术研究的共识,“他说。“它给了我一份清单,列出了它为达成这一特定共识而运行的文章,”Bilal解释说。
Azad认为人工智能搜索引擎在未来的学术研究中会发挥作用,例如取代整合系统综述所需的数月工作和资源。但就目前而言,“我不确定我能信任他们多少。所以我只是在玩,“她说。
关于教学中使用GPT的问题,最近有学者提出两个看法,一是不应该禁止学生使用这种新技术,因为学生进入工作单位时,这种技术会成为基本的机能,在学校如果不积极使用,将来走向工作单位会受影响。二时如何使用,应该尽量少考察GPT能干的事情。例如写文章写综述这种。但让学生进行口头表达和进行实践操作,把文字工作交给GPT。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-24 01:45
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社