小样本学习

 小样本学习（Few-Sample Learning或者Few-Shot Learning, FSL）是机器学习领域的热点和难点。在给小样本学习下定义之前，先看看机器学习定义，其中T（Task）代表学习任务，E（Experience）代表经验或先验知识，P（Performance）代表性能。

 机器学习英文定义：A computer program is said to learn from experience E with respect to some classes of task T and performance measure P if its performance can improve with E on T measured by P.

机器学习中文定义：一个计算机程序，如果它使用了任务T中的先验知识E后，其性能P有提升，那么该计算机程序在若干任务T和性能评估P下，才称得上从先验知识E中有所学习。

在机器学习定义的基础上，小样本学习定义如下。从定义可以看出，小样本学习是机器学习的特例。

小样本学习英文定义：A type of machine learning problems (specified by E, T, and P), where E contains only a limited number of examples with supervised information for the target T .

小样本学习中文定义：一种机器学习问题（具体由E、T和P指定），其中E只包含任务T相关的少量样本。

给定大规模数据集，机器学习如鱼得水，在很多领域取得了非凡的成就。然而当数据样本很有限的时候，机器学习就失效了。可以说，从小样本中的学习和泛化能力是人工智能和人类智能的分水岭。因为人类仅从单个或少量样本中就能够构建对新事物的认知，然而机器学习算法需要成百上千的样本才能够保证其泛化能力。

 当前，机器学习和深度学习的成功应用很大程度得益于丰富的大数据资源，因为大部分机器学习算法对数据是饥渴的（data-hungry）。然而，在许多领域，是很难获取大量数据样本的，其原因主要有三。第一，数据隐私保护；第二，数据安全考虑；第三，高额数据成本。

 在小样本前提条件下，小样本学习的理论和事件重要性就凸显出来了。首先，小样本学习不需要大规模数据，减少了收集数据所需要的成本；其次，小样本学习缩小了人工智能和人类智能之间的差距，是人工智能成为通用人工智能的必由之路；第三，小样本学习只需要少量样本就能够，就能够以低成本对新任务进行模型部署。

 小样本学习起始于2000年，2000-2015年是小样本学习的非深度（non-deep）学习阶段，2015年-至今是小样本学习的深度（deep）学习阶段。其发展主线如图1所示。

图1 小样本学习发展主线

 目前，小样本学习的分类精度普遍不高，表1所罗列的已有小样本学习方法的图像分类最高精度普遍小于80%。

 表1 不同小样本学习方法对图像的分类精度情况

 未来，小样本学习领域需要从方法的鲁棒性（Robustness）、通用性（Universality）、可解释性（Interpretability）和理论系统（Theretical System）四个方面努力。关于小样本学习，详细情况可参见文献[-3]。

参考文献

[1] Shu J, Xu Z, Meng D. Small sample learning in big data era. arXiv preprint arXiv:1808.04572, 2018.

[2] Lu J, Gong P, Ye J, et al. Learning from very few samples: A survey. arXiv preprint arXiv:2009.02653, 2020.

[3] Wang Y, Yao Q, Kwok J T, et al. Generalizing from a few examples: A survey on few-shot learning. ACM computing surveys (csur), 2020, 53(3): 1-34.

以往推荐如下：

1. 细胞特异性因果调控网络识别

2. 因果推理综述推荐一篇

3. miRNA活性识别之因果推理方法

4. miRNA协作之因果推理方法

5. 你想了解因果推理吗？

6. 因果学习工具：Causal Explorer和Causal Learner