wshuyi的个人博客分享 http://blog.sciencenet.cn/u/wshuyi

博文

如何提升 AI 学术检索的质量? 精选

已有 5109 次阅读 2024-10-9 16:47 |系统分类:科研笔记

这些技巧使用前后,结果质量差距显而易见。

困惑

AI 能够帮助你检索资料,这你早就知道了。但从实际使用效果看,很多小伙伴并没有真正享受到 AI 检索资料的便利。甚至,还可能被 AI 「带到了沟里」,检索到过时的、错误的信息,或者错过了重要内容。从此,他们坚决抵制使用 AI 工具完成严肃任务。

AI 辅助检索,其实是有技巧的。如果你了解它们,在检索上便能做到「事半功倍」;反之,则很可能造成不必要的困扰。

学术写作中,资料检索尤其是个重要的工作环节。检索信息的质量,可能会显著影响你的作品水平。今天这篇文章,咱们就针对学术资料检索这个场景来谈谈,你该如何操作才能获得更好的检索结果。

工具

我们以 Perplexity 为例,来说明不同检索方式带来的效果差异。

Perplexity 你应该不陌生。因为我曾经 在这篇文章里给你做过介绍。简要来说,它是一款基于 AI 的搜索和问答引擎,在 2022 年推出。基于自然语言处理技术,它可以通过网络搜索结果生成答案,并且在回答中引用来源出处。

Perplexity 支持不少主流模型。如果你订阅了 Pro 模式,可以使用 GPT-4o, Claude 3.5 Sonnet,Claude 3 Opus, Sonar Large 和 Sonar Huge 等。其中 Sonar Huge 是基于 Llama 3.1 405B 大模型。

除了对话之外,Perplexity 还支持绘图 ——Stable Diffusion XL, DALL-E 3, 甚至是 FLUX 都支持。

顺便说一句,最近我不少文章的题图和 视频的封面,都是用 FLUX 做的。这款模型生成画面(例如机器人)的一致性特别高。

你可以 使用我的邀请链接 来订阅 Perplexity。

有没有 Perplexity 替代品呢?

有。例如国内的秘塔 AI 搜索和国外的同类产品 You.com 等。但是 Perplexity 还是有自己的特色的。下面我们就来看看 Perplexity 开箱即用的搜索功能。

基础

打开 Perplexity, 你可以直接询问。例如我的问题是「生成式 AI 对教育的影响」。

你会看到,Perplexity 不是直接给出答案,而是先思考,把你的指令拆解为若干的执行步骤,然后一一操作。在本例中,它会先查找生成式 AI 的相关信息,然后分析 AI 在教育领域的应用实例,最后总结积极与消极的影响。

Perplexity 首先提出「生成式 AI 在教育中的影响深远而全面,主要体现在以下几个方面:个性化学习、教学方式创新、教学评估与反馈、教育资源的生成与共享、以及挑战与风险等」。

然后,它针对上面每一个方面,分别介绍生成式 AI 的影响方式。

例如对「个性化学习」,Perplexity 提到:

生成式 AI 可以通过分析学生的学习数据和行为,为每个学生提供个性化的学习内容、路径和建议。具体的功能包括:

 

  1. 自动调整教学内容:根据学生的学习进度和理解程度,自动调整教学内容的难度和深度。

  1. 推荐适合的学习资源:为学生推荐最适合的学习资源和方法。

  1. 提供实时的智能辅导:提供实时的智能辅导和答疑,及时解决学习中的问题。

  1. 生成针对性的练习题:生成针对性的练习题和测试,帮助学生巩固知识点。

 

这种高度个性化的学习体验可以大大提高学习效率和效果,激发学生的学习兴趣。

仔细阅读后,我觉得这些回答还是比较靠谱的。其他几方面的内容,我们就不一一详细叙述了。

请你注意,每一个答案后面,Perplexity 都提供了来源链接,便于我们进行验证。

看起来,Perplexity 的最基础检索模式,似乎可以满足我们搜集资料的需求了。

是吗?

不然。Perplexity 默认模式下,信息来源质量参差不齐。使用久了,你会发现有些资料来自权威网站或相关的教育 AI 期刊;另一些则未经过滤,来自没有质量把控的自媒体或根本不知名的网站。倒不是说这些来源给出的信息质量一定低劣,而是作为普通用户着实不好区分。

如果你的目标是给自己的论文搜集资料,那这些信息来源尤其需要谨慎使用,否则难免会被误导。

要解决信息来源质量参差不齐的问题,该怎么办呢?

说起来也非常简单,限定信息来源

学术

我将问题拷贝下来,在新的 Perplexity 对话框中粘贴后,点击 Focus 按钮,然后你会看到下图中的若干选项。

这里包括了多种常见信息来源,你可以参考我在这篇文章中的介绍。本例为学术资料搜索场景,所以建议你选择 "Academic",答案的信息来源将仅限于学术文献

新的结果基本上都是来自 Semantic Scholar 这样的学术资料库。相较于无目的的大海捞针,这样获取的学术信息因为有同行评议制度的筛选,质量更有保障

不过,你千万不要以为,选择一个 academic 来源,就算是完事大吉。

咱们来检视一下。你看文献《构筑 “人工智能 + 教育” 的生态系统》,发布日期为 2017 年。

另一篇《基于 Agent 的智能教学系统(AITs)的开发与研究》,发表年代为 2009 年。

问题来了,2009 年发表的论文,算不算新颖?

其他学科我不敢说。但是放在人工智能领域,2009 年的论文肯定不算新了。这个领域进展可谓「一日千里」。 2009 年的时候,别说我们目前共同想象中的生成式 AI ,就连其雏形 GPT 第一代,甚至是更经典的深度学习模型,还大都没有影子呢。

如果我们希望检索足够新颖的论文,怎么办?

这就需要我们使用一些提示词技巧了。

提示

我的提示词是这样的:

你是一名优秀的科研助手,有十余年的工作经验,成果斐然。请根据我提出的问题,查询与之相关的最新英文资料。全面阅读资料的内容,一步步思考后用简体中文回答该问题。

 

注意事项:

 

1. 不要给出平庸的总 - 分 - 总式总结。我希望你从文献中找到能给读者带来信息增量与认知变化的观点、论断、数据和细节。

2. 不要着急,深吸一口气,仔细阅读、理解、反思,甚至找寻新的资料。当你感觉有信心已经找到合适的答案后,再开始回答。

3. 每段首先提出你的论点,接着给出论证过程,最后提供证据(最好包括翔实的数据)以及来源链接。

4. 资料引用要尽量保持多元化,不要轻易忽视任何信息来源。引用资料时,除了标准化的序号链接外,还需采用 APA 格式进行展示。

咱们来解读一下:

首先说「你是一名优秀的科研助手,有十余年的工作经验,成果斐然」。这是在定义角色,赋予大模型一个专业人士的身份。

之后我要求「请根据我提出的问题查询与之相关的最新英文资料」。我们可能只想关注前沿研究,因为生成式 AI 真正的爆发实际上就是最近的事情,找那么久远的文献可能跟我们的目标有偏离。

咱们不仅要求大模型「使用最新的英文资料」,而且还指出「全面阅读资料的内容,一步步思考」。这个「一步步思考」的提示词技巧,叫做思维链(COT, Chain of Thoughts)。它让大语言模型先把一个问题进行拆解,然后反思,之后再执行。

我们在之前的教程里讲过一个非常重要的观念,叫做「欲速则不达」。在我们跟大语言模型沟通的时候,最好让它慢下来

我说「用简体中文回答该问题」看似有些多余。但如果不明确指明,Perplexity 看资料都是英文,有时会直接用英文来给你回答。

我特别指出,「我不想听任何陈词烂调,所以你不要给我一个平庸的总分总式的总结」。之所以这样要求,是刚才我们看到了,大模型的答案有固定的「AI 味道」—— 一上来先有观点,然后 123 列出分论点,之后在加上个「总的来说……」。

AI 味道越重,「人味儿」就越少。所以我们在和 AI 沟通的时候,更希望它「从文献中找到那些能给读者带来信息增量与认知变化的观点、论断、数据和细节」。

这里我还特别告诉它,「别着急,深吸一口气」。大语言模型当然没法「深吸一口气」,但它知道我其实是对它的思考节奏进行控制。更进一步,我希望它「认真地阅读、理解、反思」,还指出「当你感觉有信心,已经找到合适的答案后,再开始回答」。这句话很重要,因为咱们希望大语言模型输出时候要审慎,不要盲目猜测我们的想法,之后出于迎合目的,输出不存在的内容。

然后我还规定了输出格式 —— 「每一段首先提出论点,之后给出论证过程,后面提供证据,包括详实的数据,以及来源链接」。这样文章段落风格更加符合论证要素。而来源链接的提供,更是为了进一步检验大语言模型的答案是否靠谱。

我提到「资料引用要尽量保持多元化,避免过度依赖单一来源」。这句话也很有用。因为如果不加指明,某些资料可能被大模型「薅羊毛」一般反复使用,而有些资料则被忽略掉,导致引用不均衡。

另外我还对 Perplexity 提出了文献引用的格式要求等。这些比较直白,此处就不再赘述了。

细心的你,可能已经发现,某些提示词的表达很全面,但是并不完全符合语法要求,甚至可能有错别字。别担心,大语言模型的容错能力相当强。只不过,一定要检查确认整体逻辑不能有错误,否则输出结果便会与你的设想「南辕北辙」了。

效果

提示词增强后,Perplexity 这次不仅查找了 Semantic Scholar,还包括了 arXiv (主流预印本平台)的内容。

它提到生成式 AI 正在深刻改变高等教育的评估方式,推动教育者重新思考传统评估的可持续性。

注意这可不是泛泛而谈,下面有详细的数据。「一项针对 389 名学生和 36 名教育者的调查显示……」这样的表述方式着实让我感到兴奋。此外,Perplexity 还给出了来源文献的发表年代等具体信息。

Perplexity 的第二条回答,先给出了论点「生成式 AI 为艺术教育提供了新的机遇,促进学生的批判性分析能力」,之后它又进行了论证(研究表明,教育者可以利用生成式 AI 作为工具,通过体验式方法引导学生积极参与对 AI 生成艺术作品的批判性分析……),之后也给出文献作为证据支撑。

之后,Perplexity 继续给出回答,例如「生成式 AI 工具在教育中的使用,需要考虑社会人口因素的影响」。要确保来自不同社会人口背景的学生能够公平使用数字媒体平台,我觉得伦理是个非常好的研究角度。

另外,答案还提到「在教育中,存在双刃剑效应。我们需要谨慎设计以促进学生主动学习」。我看着答案,频频点头。懒人很容易因为有了更加简便的工具,就陷入过度依赖之中。例如我让学生们使用 immersive translate 工具,原本希望有助于他们学习和掌握专业英语,提升论文阅读效率。结果他们对着中英对照的翻译,往往只看中文部分,英语部分则被完全无视…… 唉。

前面这几个答案的观点以及对应论证分析方式,基本符合提示词的要求。尤其是Perplexity 给出的答案不再是陈词滥调,这点非常重要。答案里提到的文献发表时间基本上都是 2023 年以后。这比起 2009 年的文献,显然更符合咱们对生成式 AI 这个主题的调研要求。

小结

请你回过头来,对比刚刚的答案,和最初采用 Perplexity 「开箱即用」模式的结果,差异是非常显著的。咱们简单小结提升 AI 学术检索质量的几个关键点。

首先,一定要限制来源范围。学术文献库内进行搜索,可谓「在有鱼的地方钓鱼」。

其次,注意调查文献的时间范围。如果不加指明,Perplexity 可能会混入过时陈旧内容,对结果有负面影响。

第三,综合利用提示词技巧(角色定义、思维链等),可以让 AI 思考的节奏更加舒缓,启动大模型的「思维系统 II」,给出的结果更加成熟。

第四,明确给出步骤和要求。这样 AI 答案的风格,更加符合咱们的预期。你最好把 AI 当成一个初级合作者。它能力很强,但是缺乏处理当前任务的经验。你这个「老师傅」得多带带它啊。

希望上述要点介绍,可以帮助你提升 AI 学术搜索的效果。祝学术信息检索顺利愉快!

如果你觉得本文有用,请点赞

如果本文可能对你的朋友有帮助,请转发给他们。

欢迎关注我的专栏,以便及时收到后续的更新内容。

延伸阅读



https://blog.sciencenet.cn/blog-377709-1454510.html

上一篇:如何安装和设置 Go 版本的 fabric AI 工作流框架?
下一篇:AI 研究已摘得诺奖桂冠,普通科研工作者将何去何从?
收藏 IP: 218.68.108.*| 热度|

12 许培扬 曾杰 史仍飞 郑永军 汪运山 王涛 王启云 朱爱军 崔锦华 杨正瓴 刘文光 guest02236856

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-21 20:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部