1.1

模型：

伯努利模型：取值为0与1的概率分布

策略：

极大似然估计：认为模型是固定的，只是我们没有找到参数，我们用经验风险最小值去估计参数

贝叶斯估计：对观察到的现象进行总结，取参数的后验分布计算期望

算法：

定义A 为取值为0或1的随机变量，并设A=1的概率是θ，即:

P(A=1)=θ,P(A=0)=1−θ

极大似然估计的过程如下

贝叶斯估计的过程如下

当a=b=1，也就是均匀分布时，我们可以得到与极大似然估计同样的结果

1.2

2.1

本章内容为感知机，为了方便计算，我写出了在两个特征值学习率取1的条件下的感知机的python代码，第1题与第2题都可以利用这个代码进行解答，代码如下

print("input the number of point")

zd=int(input())

d=[]

for i in range(zd):

    print("input No"+str(i+1)+"of point's x1 and x2 and y")

    d.append(list(map(float,input().split())))

x=0

y=0

b=0

sign=1

while sign==1:

    sign=0

    for i in range(zd):

        if (d[i][0]*x+d[i][1]*y+b)*d[i][2]<=0:

            sign=1

            x=x+d[i][0]*d[i][2]

            y=y+d[i][1]*d[i][2]

            b=b+d[i][2]

            print("("+str(x)+")x1+("+str(y)+")x2+("+str(b)+")")

            break

print("result: ("+str(x)+")x1+("+str(y)+")x2+("+str(b)+")")

输入：实例点个数N，每个实例点的值x1，x2，y

输出：每个步骤迭代得出的模型以及最终模型

示例输入（例2.1数据）：

示例输出：

在2.1中，异或可表示为0 0 1,1 1 1,0 1 -1,1 0 -1也就是特征值相同输出1不同输出-1，在平面上我们找不出一个超平面将两类分开，代入进代码验证发现输出出现了死循环，验证出不能得出结果的事实

输出如下：

每四次迭代出现循环：

2.2

使用数据(1,1)(1,2)为负实例点，(2,1)(2,2)为正实例点，学习率取1，得出结果如下：

几何表示：

2.3

必要性：

充分性：若相交并存在超平面将两个凸包分开，我们假设凸包A在B中的点为a，A不在B中中存在点b，那么超平面将a分为B内，b分为A内，这样连线两点将必然与超平面相交，但如果超平面分离了两个凸包，连线不可能与超平面相交，与已知条件矛盾，所以不存在这种情况，利用反证法得出充分性。