本作者发现，“深度学习”代表了猖獗的行为不端。 这种不端行为可能刚开始时不是故意的。 然而，在本作者指出规程错误后，许多文章作者继续坚持这些不端行为。因此他们的不端行为已成为了故意的和系统性的。

因此，作者认为，几乎所有的深度学习项目的发表了的主要性能数据，包括许多媒体炒作的项目， 譬如 AlphaGo、AlphaGoZero、AlphaZero、AlphaFold 和 IBM Debater，都被严重夸大了。即所谓的“深度学习”正处于惨淡的境，正如我们在下面所揭示的那样。

这种猖獗的不当行为由“数据删除”和“训练数据测试”两种不当行为组合而成。

1. 第一不端：数据删除

数据删除是严重的研究不端行为，因为进行实验的人删除他不喜欢的数据。 正确的做法是报告生成的所有数据。 如果性能数据的数量太大而无法报告所有数据，他至少必须提供数据分布的特征。 对于性能数据，可以报告的分布的特征包括最低性能（最坏情况）、平均性能（平均情况）和最佳性能（最佳性能）。

例如，对于一个教师来说，为了报告他的班级在一个标准考试（例如 TOESL）中的表现，他不仅应该报告他班级的最高分，还应该报告班级的最低分和平均分。 当他只报告最高分或少数几个高分，但从报告中删除所有其他分数时，他就干了数据删除的不端行为。

在几乎所有的深度学习项目中，每个项目都需要训练许多网络，每个网络都从不同的随机网络权重和其他参数开始。 这些网络的性能非常不同，尽管它们使用相同的训练数据集。 进行实验的人从所有训练好的网络中删除了许多性能数据，除了最幸运的少数网络的性能数据。 这严重违反了通用的统计协议，该协议要求报告所有受过训练的网络的平均性能，而不是最幸运的少数网络。 出于同样的原因，在彩票中，应该报告一张彩票中奖的平均机会。

我们将选择训练网络的阶段称为“后选择”，即训练后的选择。

2. 第二不端：在训练集上进行测试

此外，那些选择最幸运网络的人可能是基于测试数据集，而不仅仅是训练数据集。 这是因为经过训练的网络能够很好地拟合训练集并不意味着它能够很好地拟合测试集。

出于同样的原因，我们是否应该使用与所教示例完全相同的示例来测试学生？ 不，这是因为学生必须证明他们有能力将所教示例扩展到相似但不同于所教的新示例。

使用测试集进行后选择是另一个违反通用的统计规程的行为。 这就像用训练集测试一个学生，所以他不需要理解。 他所需要的只是死记住所有的训练示例。

总之，“深度学习”在后选择阶段存在两个复合不端：第一，数据删除； 第二，用训练集测试。

3. DN-3 的历史

在我们的大脑建模工作中，DN-3 是第五代，从 1992 年起到 2022 年，跨越了 30 多年：第一代是用于自然 3D 世界的第一个深度学习神经网络，称为生长网（Cresceptron）； 第二代是称为增量层次回归器（IHDR）的树状系统； 接下来是三代发育网络，DN-1、DN-2 和 DN-3。 虽然早期版本，尤其是 DN-1 和 DN-2，具有一定的大脑能力，但它们没有学习意识的能力。

五代中，只有 IHDR 使用了树形结构。 任何使用树形结构似乎都是为了达到快速度的战略错误，因为大脑似乎不使用树形结构。 任何树结构对于任何大脑来说都太僵硬了。

需要注意的是，所有五代系统都只需要训练一个网络。 因此，所有五代都系统都没有后选择阶段。我们将在下面讨论如何避免后选择阶段。

例如，意识学习算法必须能生成任何流体架构，以便学习任何意识，例如，任何长度和任何高度的意识。 DN-1 和 DN-2 有一些我们更容易理解的手工属性，但不满足这个困难的要求。

我们学到的一个重要教训是，为了处理类脑智能，我们必须避免非神经形态方法，例如 IHDR 中的树。 树是计算机科学中的一种数据结构，其形状类似于树。 避免了树方法就可以执行注意，例如，注意处理图像中的任何一个像素子集。

关于“深度学习”不端的更多细节，请参见：

•  Data Deletions in AI papers in Science since 2015 and the Appropriate Protocol, Dec. 13, 2021.
  

• Data Deletions in AI Papers in Nature since 2015 and the Appropriate Protocol, June 28, 2021.

关于发育网解决了20个百万美元问题（包括避免以上两个不端），请参见：

J. Weng, "20 Million-Dollar Problems for Any Brain Models and a Holistic Solution: Conscious Learning", in Proc. International Joint Conference on Neural Networks, pp. 1-9, Padua, Italy, July 18-23, 2022. PDF file.