GXPS与GPT-x开启新时代

图解语言聊天大模型ChatGPT的基本预设并解读其内涵系列特点

目录

1. 引言：介绍Chat GPT

2. 正文：GPTs就是GPTs

3. 提示：争取透懂大模型（理解其优缺点乃至其典型的一系列局限性）

4. 巧用：从ChatGPT得到的启示

5. 升华：GXPS与GPT-x开启人机互助的新时代

6. 结语：从人机互助的新时代，迈向人机协同的更新时代

1. 引言：1.1. 介绍Chat GPT和点评

引入ChatGPT

我们训练了一个模型名为ChatGPT，它以对话的方式进行交互（系统）。

对话格式使ChatGPT能够回答后续问题、承认错误、挑战质疑不正确的前提和拒绝不适当的请求。

1.2. 获得用户反馈

ChatGPT是InstructGPT的兄弟模型，后者经过训练，可遵循提示中的指示并提供详细的响应。

我们很高兴推出ChatGPT，以获得用户的反馈，并了解其优点和缺点。在研究预览期间，ChatGPT的使用是免费的。

1.3. Methods方法

我们用来自人类反馈的强化学习(RLHF)来训练这个模型，使用与InstructGPT相同的方法，但在数据收集设置上略有不同。我们用监督微调训练了一个初始模型:人工智能训练师提供对话，他们在对话中扮演用户和人工智能助手。我们为培训师提供了模型撰写的建议，以帮助他们撰写回答。我们将这个新的对话数据集与我们转换为对话格式的InstructGPT数据集混在一起。

1.4.图解

1.4.1.

演示集

监督

1.4.2.

比较集

激励

1.4.3.

优化集

互助

1.5. 完成训练（2022年初）

ChatGPT是在2022年初完成训练的GPT-3.5系列的基础上进行微调的。

1.6.人工智能系统AI systems

迭代部署

今天发布的ChatGPT研究，是OpenAI不断部署越来越安全和有用的人工智能系统的最新一步。从GPT-3和Codex等早期模型的部署中吸取的许多经验教训为本版本提供了安全缓解措施，包括：通过使用从人类反馈中强化学习(RLHF)实现的有害和不真实输出的大幅减少。

2. 正文：

2.1. GPTs就是GPTs  

2.2. 总结

强大的人工智能系统的部署丰富了我们对安全和误用的理解，远远超过了仅通过研究所能达到的效果。值得注意的是:基于api的语言模型误用经常以不同于我们最担心的形式出现;我们已经发现了现有语言模型评估的局限性，我们正用新的基准和分类器来解决这些局限性;基础安全研究为人工智能系统的商业应用提供了巨大的好处。

3. 提示：争取透懂大模型（理解其优缺点乃至其典型的一系列局限性）

3.1. 最新想法

关于语言模型安全性和误用的经验教训

我们描述了我们的最新想法，希望能够帮助其他AI开发人员解决部署模型的安全性和滥用问题。

3.2. （正文参考译文解读的）局限性：Limitations

ChatGPT有时会写出听起来合理但不正确或无意义的答案。解决这个问题是具有挑战性的，因为:(1)在强化学习训练期间，目前没有真实来源;(2)训练模型更加谨慎，使其拒绝能够正确回答的问题;(3)监督训练会误导模型，因为理想的答案取决于模型所知道的，而不是人类演示者所知道的。

ChatGPT对输入短语的调整或多次尝试相同的提示非常敏感。例如，给定一个问题的一个短语，模型可以声称不知道答案，但只要稍微改变一下短语，就可以正确回答。

该模型通常过于冗长，并且过度使用某些短语，例如重申它是由OpenAI训练的语言模型。这些问题源于训练数据中的偏差(训练者更喜欢看起来更全面的较长的答案)和众所周知的过度优化问题

理想情况下，当用户提供模棱两可的查询时，模型将询问澄清性问题。相反，我们当前的模型通常会猜测用户的意图。【提示和点评：这是需要重点发展的，这才是人类智力的一大类非常典型的特征！】

虽然我们已经努力让模型拒绝不适当的请求，但它有时会回应有害的指令或表现出偏见的行为。我们正在使用适度API来警告或阻止某些类型的不安全内容，但我们希望它现在有一些假阴性和阳性。我们渴望收集用户反馈，以帮助我们正在进行的工作，以改善这个系统。

3.3.英语原文阐述的局限性：Limitations

4. 巧用：从ChatGPT得到的启示

元宇宙带给ChatGPT的挑战和机会（从传统分科教育，到STEM+A综合教育）

5. 升华：GXPS与GPT-x开启人机互助的新时代

双字棋盘-理论模型和实际范例                                 

大模型-示例：ChatGPT

6. 结语：

从人机互助的新时代，迈向人机协同的更新时代

感谢观赏

图解语言聊天大模型ChatGPT的基本预设并解读其内涵系列特点

融智学著作者：邹晓辉