twhlw的个人博客分享 http://blog.sciencenet.cn/u/twhlw

博文

大语言模型的好坏是由您提示水平高底决定的 精选

已有 3444 次阅读 2023-11-27 21:49 |个人分类:2023|系统分类:科研笔记

大语言模型是“有嫌贫爱富“特点的,当你的水平高于大语言模型时它常常可以帮你,当你的水平低于大语言模型时它往往会骗你。

这主要是因为大语言模型在处理文本时具有较强的生成能力,可以根据已有的语境生成合乎逻辑的文本。当你的水平高于大语言模型时,你可以通过选择或修改模型生成的文本来得到更好的结果,因为你有足够的知识来判断生成文本的准确性和可靠性。然而,当你的水平低于大语言模型时,你可能无法辨别模型生成的文本中的错误或不准确之处。模型可能会生成看似合理但实际上是错误的信息,这可能会误导你或产生误解。因此,在使用大语言模型时,尤其是对于那些水平较低的人来说,要保持谨慎和批判的态度,不盲目相信模型生成的文本,同时结合自己的知识和判断来做出正确的决策。 

 一个好的大语言模型应该能够理解并生成符合语法、逻辑和意义的连贯文本。这意味着它应该能够根据输入的上下文生成合适的回答,并对复杂的语义关系和表达进行理解。以下是两个例子,说明了大语言模型的好坏是由提示的水平高低决定的: 例1: 提示: "请写一篇描述冬天的文章。" 好的模型回答: 冬天来临,大地披上了一层洁白的雪,寒风呼呼吹过,树枝上挂满了晶莹剔透的冰挂。人们穿上厚厚的羽绒服,围上围巾戴上手套,踏着雪花的声音,走在雪地里。寒冷的季节里,人们聚集在温暖的屋内,品尝着热腾腾的火锅,喝着暖暖的热巧克力,享受着冬天的美好。 坏的模型回答: 冬天是一年中最冷的季节。人们在冬天感到寒冷,并且雪会下。冬天是一个季节的名字。 例2: 提示: "请描述一下狗是如何成为人类最好的朋友的。" 好的模型回答: 狗作为人类的伴侣已经有几千年的历史。它们以其忠诚、友好和无私的特性而闻名。狗会用眼神和尾巴的摇摆来表达自己的情感,它们能够感知人类的情绪并给予安慰与支持。狗还可以为我们提供安全和保护,帮助我们照顾家庭和负责任的社会行为。与狗相处可以带给我们快乐和满足感,它们成为了人类最好的朋友。 坏的模型回答: 狗是人类的朋友。它们可以给人类带来快乐。


一个大语言模型的好坏是由注意力Attention计算机制所决定的,即如何实现态(query)、势(key)、感(value)以及它们对应的矢量(q、k、v)是整个自然语言处理的关键。

在注意力机制中,q、k、v分别代表了查询向量、键向量和值向量。具体实现方式如下:

  1. 构建查询向量(q):查询向量用于指示我们关注的内容或信息。例如,在机器翻译任务中,我们希望将源语言的句子翻译成目标语言的句子,那么查询向量可以表示源语言的句子。

  2. 构建键向量(k):键向量用于提供信息的索引,帮助我们在一堆信息中定位特定的内容。例如,在机器翻译任务中,键向量可以表示目标语言的句子。

  3. 构建值向量(v):值向量包含了我们希望关注的信息或内容。例如,在机器翻译任务中,值向量可以表示源语言的句子对应的目标语言的句子。

  4. 计算注意力权重:通过计算查询向量和键向量之间的相似度,我们可以获得一个注意力权重。一种常见的计算方式是使用点积注意力,即将查询向量和键向量进行点积运算,然后进行标准化处理(例如使用softmax函数)得到注意力权重。这个注意力权重用于衡量每个键向量对于查询向量的重要程度。

  5. 加权求和:利用注意力权重对值向量进行加权求和,得到最终的输出。这意味着我们将值向量按照注意力权重进行加权,使得重要的值得到更大的关注,不重要的值得到较小的关注。最后得到的向量就是我们关注的内容。

总结起来,通过计算查询向量和键向量之间的相似度,可以得到注意力权重,并且利用这个权重对值向量进行加权求和,最终得到我们关注的内容。这就是实现态(query)、势(key)、感(value)以及对应的矢量(q、k、v)的方式。

在人机混合的情况下,可以通过以下示例来说明如何实现q、k、v三个矢量:

假设我们有一个自动驾驶系统,需要根据车辆的周围环境来做出决策。人类驾驶员和计算机之间进行合作来实现这个任务。

Query (q) 矢量:

    • 人类驾驶员作为query,他/她可以观察到周围的道路和其他车辆,并提供关于当前交通状况、路口、障碍物等信息的输入。

    • 计算机负责将人类驾驶员的输入转换成数值化的向量表示,以便进行后续的计算和处理。

Key (k) 矢量:

    • 计算机通过传感器(如摄像头、雷达等)获取车辆周围环境的信息,并根据这些信息生成key向量。

    • Key向量包含了与周围环境相关的关键信息,如其他车辆的位置、速度、道路状况等。

Value (v) 矢量:

    • 计算机利用传感器获取的信息,生成value向量。

    • Value向量包含了与周围环境相关的详细信息,如车辆的型号、颜色、行驶状态等。

在人机混合的情况下,计算机会利用人类驾驶员提供的query矢量和计算机生成的key和value矢量进行匹配和处理。通过进行q、k、v向量之间的注意力计算,可以将人类驾驶员的经验和计算机的感知能力结合起来,从而更准确地理解周围环境并做出决策。例如,在处理车辆决策问题时,计算机可以根据人类驾驶员的query和计算机生成的key和value,对周围车辆进行分类和预测,以便确定何时加速、制动或变道等动作。

综上所述,通过人类驾驶员提供的query矢量和计算机生成的key和value矢量,可以实现人机混合的q、k、v三个矢量的使用和处理,从而提升系统在复杂环境下的决策能力和鲁棒性。

mmexport1677718144226.jpg




https://blog.sciencenet.cn/blog-40841-1411439.html

上一篇:人、机与智能的关系视频
下一篇:关注人工智能发展、安全与治理的风险问题
收藏 IP: 123.119.248.*| 热度|

6 周忠浩 郑永军 许培扬 汪运山 王启云 简小庆

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-3 14:14

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部