|
16.10 有限次逼近
特斯拉FSDv12端到端之前的算法是依靠if-else语句不厌其烦打补丁,写了30多万行规则依然问题层出不穷,因此很多年来自动驾驶仿若永远无法完工的烂尾楼,被当作吹牛皮。不仅仅马斯克口嗨被质疑,其实每次人工智能危机都因为类似长尾误差始终存在而成为笑料,长尾问题是AI发展历程中的最大拦路虎。
大模型参数集从万到亿,再到百亿、千亿、万亿,面对不断追加的投资预算规模,灵魂拷问,openAI会不会重蹈覆辙,一方面不停解决老问题,另一方面被层出不穷新问题反复困扰,深度学习难道永远无法达到AGI彼岸?
有限的程序,真的能解答客观世界无穷无尽的问题么?
反过来看,如果有限的计算量不能度量无限的宇宙,人类有限的大脑又是如何认知无限的自然世界的呢?如果人类大脑有限的神经元可以解答无限的问题,那么深度学习AI解空间为什么不能消除长尾问题呢?
一、代数基本定理
“长尾问题”说的是有限多个解无法形成完备解,换句话说是有限次逼近无法得到收敛状态。
有限性和完备性(完备根、完备基、完备解析、完备表达、完备参照系)似乎生来相互矛盾。仅仅依靠有限的计算机资源有限次运算,解答m元n次多项式(即深度学习模型的n阶m维张量)的特征解,究竟有无可能解答无限客观世界的完备特征属性?
首先,我们回顾关于特征根解完备性的基本定理。
代数基本定理:【任何复系数一元n次多项式 方程在复数域上至少有一根(n≥1),由此推出n次复系数多项式方程在复数域内有且只有n个根(重根按重数计算)。】
代数基本定理的几层意思:①一元n次多项式在复数域必有解(可解性);②一元n次多项式在复数域必有完备解(完备性);③如果系数和根不在同一空间域,取不到完备根;④扩域的本质是扩展特征空间的基系,即通过张量积张开表达空间;⑤如果系统存在无穷多个特征基,则对应的一元多项式的次数是无穷大。
表面看,无穷大次数的方程,似乎必然需要无穷多次运算。然而事实是,非也!
二、分裂域唯一性定理
群的本质是对称性变换,对称性大白话讲就是重复n次变换回到原状态,也就是循环群的生成元n阶复合回到原状态。因而特请注意,特征元无穷多次的乘积并不一定是无穷大,很可能n阶复合回到原状态。特征元g重复n次变换回到原始状态,即gn=g0
其实,张量复合特征的坍塌缩并,是非常普遍的现象,否则我们就无法观测到量子态。
环的特征是其所有循环群的阶的最小公倍数,形象看对应于张量积最小公倍数,这确定了特征空间的特征基个数。
例如:
R=Z4⊕Z5⊕Z6
chR=(4*5*6)最小公倍数=60
假如chF=0,即环F特征等于0,那么多项式f(x)的系数是数域。
比如,一元一次多项式(aX+b),其中系数a或b是数域。
但是,假若上式中的系数a或b不是数域(不是标量),而是含有特征属性的环(是张量)
比如:a=(a1X1+b1),b=(a2X2+b2)
则有:(aX+b)=(a1X1+b1)X+(a2X2+b2)= (a1X1X+b1X+a2X2+b2)
那么:得到3元2次多项式(a1X1X+b1X+a2X2+b2)
进而可以推知,一元一次多项式特征环,有可能与m元n次多项式(即深度学习模型的n阶m维张量)同构。
Xn → X1n1X2n2X3n3...........Xjnj ,其中(n1+n2+n3......+nj)=n
m个不同特征元相互相乘n次,复合体为:anXinYjn...Zkn
m元n次方程长这个样子:a0 + a1Xi1Yj1...Zk1 + a2Xi2Yj2...Zk2 + a3Xi3Yj3...Zk3+ .............+ anXinYjn...Zkn = 0
深度学习的函数复合等同于向量乘法,然后求解向量乘法的张量解(通常转换为矩阵乘法),实质是求m元n次多项式方程解。
既然上式是多项式特征环,我们很容易想到伽罗瓦理论。分裂域的概念在伽罗瓦理论中起到核心作用,通过研究分裂域的性质,可以判断方程的解的存在性和求解方法。
【分裂域唯一性定理】对于给定的多项式f(x)和基域F,f(x)在F上的分裂域是唯一的。 这个定理的证明依赖于域同构和域扩张的概念,通过构造扩域链和同构映射来证明分裂域的唯一性。存在性:首先证明对于任何非零首一多项式,其分裂域存在,归纳法证明从一次多项式开始逐步扩展到更高次的多项式。唯一性:通过构造扩域链和同构映射,证明对于给定的多项式f(x)和基域F,其分裂域在同构的意义下是唯一的。具体来说,设E和E1分别是f(x)在F和F1上的分裂域,通过构造同构映射η→E1,证明E和E1在同构意义下是唯一的。
分裂域唯一性定理是代数基本定理的一个应用,它确保了多项式方程的根可以在一个唯一的扩域中找到,并且在同构的意义下是唯一的。这一性质对于理解代数结构和方程求解具有重要意义。
分裂域唯一性定理告诉我们,一层一层的特征子空间具有不变性,基于正规子群和特征子空间存在一一对应关系,特征空间不变性表达可以映射为群同构唯一性表达。
【伽罗瓦基本定理】商群Hi/Hi+1与Gal(Ki+1/Ki) 同构。
①伽罗瓦定理:群与特征属性对应性,一个不变子群可以找到一个不变子特征根系与之对应,反之亦然。
②诺特定理:对称与守恒的对应性,一个守恒定律可以找到一个对称与之对应,反之亦然。对偶复合空间守恒量。
这说明,起码在表达方式上,同一类事物具有唯一性。虽然同一类事物可能包含无穷无尽的个体数量,但是它们的表达方式是可以概括有限的。
深度学习人工智能通过多视角、多层次、多重参数调优,求取损失函数最小的最优解。无论梯度下降算法从什么角度切进去,得到最优解集总是唯一性的。
三、同态核定理
单扩张是指通过添加一个元素到较小的域中来构造较大的域的情况。具体来说,如果有一个域F和一个元素α,那么F添加α得到的子域记作F(α),这样的域扩张F(α)/F被称为单扩张。
对于任意的代数元α,存在F上的一个首一不可约多项式p(x),使得α是p(x)在F上的根。进一步地,存在F的单扩张L/F,使得α是L的一个元素,并且p(x)是α在F上的极小多项式。在同构的意义下,由同一首一不可约多项式定义的单扩张是唯一的,即如果L和L'都是F的单扩张,且都包含满足同一首一不可约多项式p(x)的根,那么L和L'在同构映射下是等价的。
例:¢⊃Q为扩域√2 ∈¢在Q[x]上的极小多项式为(x^2-2)
Q([√2]) ≌ Q[x]/(x^2-2)
【解读:有实数域¢对有理数域Q的单扩张,其中添加的代数元是√2
换句话说,有理数域Q通过添加代数元√2,得到了实数域¢的一个子域,即Q([√2])
在这个单扩张中,√2满足多项式方程(x^2-2)=0,这是一个在Q上的首一不可约多项式。
根据单扩张定理,存在从Q到Q([√2])的域扩张,其中√2是Q([√2])的一个元素,并且(x^2-2)是√2在Q上的极小多项式。
这个单扩张是有限扩张,因为Q([√2])中的任一元素都可以表示为(a+b√2 )的形式,其中a,b∈Q。
这样,通过添加一个代数元到一个较小的域中,构造出一个较大的域扩张。】
【单扩张定理】
设E⊃F为扩域,f(x)∈F[x]为a∈E的极小多项式生成的理想,则f(x)为不可约多项式。
并且,有域同构F[a]≌ (F[x]/(f(x))
【证明:作环的满同态σ:F[x]→F[a],x→a
设带余除法得到:g(×)=f(×)q(×)+r(×)
因为:f(x)为极小多项式生成的理想
又由于带余除法,得:deg r(×)<deg f(×)
所以:r(a)∈Ker σ ,即r(×)=0
从而: g(×)/f(×) = q(×)
得到同构:F[a]≌ F[x]/(f(x)
】
如果多项式(Y=aX+b)的余数b为“零”,则Y整除X。如果环上的特征属性都可以整除,则成为域(这通常不是数域,而是特征域。)注意:上述概念中的“域”概念,并不特指“数域”。如果多项式能整除数字,得到数字解;那么如果多项式整除主理想环,这样的多项式特征环又会有什么特点呢,能得到完备特征解吗?
伽罗瓦理论是否存在完备解的关键就是“整除”,可以整除则有解;子群全是素数阶,则有完备解。
柯西收敛N次逼近以后,误差趋于无穷小。对于多项式环而言,当余数(余环)趋于无穷小误差,多项式整除主理想得到商环。
本文《关于不完备性定理和不确定性原理的探讨》,主旨在于参照系的特征基是否完备性。不完备基系的观测存在不确定性、不完备基系得不到完备解、不完备基系无法度量收敛值;反之,完备基系可解得完备解、完备基系可以完备表达研究对象、完备基系可以收敛逼近真相值。
把一个一个的个体的复合问题,归纳而成一类问题,就是群论。群论把特征空间不变性转换为同构表达唯一性,群的最大作用是度量特征空间不变性,这隐含了广义收敛性。
【同态核定理】若群G与群F同态,则同态核H是G的不变子群,且商群G/H与F同构。同态核(kernel)是原群中映射到新群的单位元的所有元素的集合,它是一个正规子群。同态核定理提供了一个将原群G通过同态核H约简到商群G/H的方法,商群G/H与F同构。
本质上,同态核就是特征环上的“零”特征元。
一切逻辑概念中的‘零’都是“相对0”,‘零’的概念只来源于系统的精度度量,‘零’就是系统的‘可容误差ε’,小于‘可容误差ε’的所有无穷小量都属于集合{零},集合{零}的所有元素0满足逻辑基本等式:
如果 A=B+0 ,则 A=B
同态核是正规子群,具有封闭性和收敛性。收敛与否的关键在于逻辑“零”,误差小于“逻辑零”,在可容误差范围内即收敛。深度学习的梯度下降算法就是促使综合误差(损失函数)尽可能小,达到“可容误差ε”范围内,逻辑上即逼近事实真相。柯西收敛N次逼近以后,误差趋于无穷小,这里的“可容误差ε”在逻辑上对应的概念正是‘零’。
transformer模型的算法,以最大概率(损失函数尽可能小)映射逐个加入特种元,本质是对客观世界特征属性(张量特征结构)的同态映射。也就是说,大模型的特征系与客观世界的特征系是同态的。并且,由于深度学习多隐层参数集标注,所以OpenAI生成了客观世界的多角度同态、多层次同态、多子特征多项式环的多重同态复合体GPT。OpenAI以高阶张量特征元作为参照系,当特征根参数集足够大时(不需要无限大)似乎可达成特征完备性,此时chatGPT已然能很好解答常识问题。
Q*诞生而来的openAI GPTo1 颇有大家风范,遇事慢思考,三思而后行。不依赖人类知识图谱,吃一堑长一智试错,一次又一次推演得到更优化置信度,将误差逐次逼近收敛至逻辑自洽的可容误差“零”,从而映射到更深层宇宙规律。AlphaZero、openAI GPTo1 等自主学习、自我进化、自学成才并不奇怪。
【直积定理】群H分解成不变子群H1*H2*H3......*Hs直积,则:
①H的不变子群Hs之间相互对易;
②H与其所有不变子群Hs同态。
通过有限个正规子群逼进客观世界真相,从部件同态再到整体同构宇宙图谱,谁敢说深度学习张量演算没有坚实理论依据?
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-23 06:51
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社