归纳推理    

推理包括演绎推理和归纳推理。

所有的人都离不开空气，张三是人。从这两句话可推出张三离不开空气。这就是演绎推理，前提包含了结论，前提正确则一定结论正确。

第一天太阳从东边升起，第二天太阳从东边升起，第三天太阳也从东边升起，……。自有地球以来，太阳都从东边升起。因此太阳明天也从东边升起。这个推理就是归纳推理，结论超出前提，前提正确但结论不一定正确。

这看起来有些奇怪，太阳明天不是一定从东边升起吗？从逻辑上说，确实并非如此。不管是根据科学定律还是根据经验，我们都知道太阳明天也从东边升起。但科学定律也不是绝对正确的，存在错误的可能。经验也不可靠，哲学家罗素就讲了一个故事。有一只鸡，从小时候开始，主人每天都九点钟给它食物。每天听到主人的脚步声，就知道主人来喂食了。它得到一个结论，主人永远都在九点钟来喂食。某天，主人又来了，这次不是喂食，而是把它捉去吃了。

机器学习本质上是归纳推理

假设房子的价格由其面积决定。现在知道一些房子的面积和价格，把这些数据输入电脑，让电脑学会面积和价格之间的关系。当输入一个新房子的面积时，电脑能计算出它的价格。

在这里机器学习实际上是进行函数拟合。

          图1                       图2

上图的的点表示已知的数据，横坐标表示房子面积，纵坐标表示价格。从有限的几个点得出函数曲线， 当输入新的房子的面积时，可以从曲线读出它的价格。

原来已知的只是几个点，而结论是一条曲线，包括无数个点。结论超出了前提，这就是归纳推理。推理的结论有很多种，上面的图1和图2就是两种不同的结论。至于怎样拟合更好，这是很专门的问题。

拟合曲线时，不一定所有的点都要在曲线上，因为这样对新数据的预测效果不一定好。也就是出现过拟合问题。