active007的个人博客分享 http://blog.sciencenet.cn/u/active007

博文

机器学习中的算法的误差控制问题

已有 2824 次阅读 2018-10-18 21:01 |个人分类:科研备注|系统分类:科研笔记

 

     实际的机器学习算法通常需要实现一个目标指标,但该目标指标经常是为实现优化目标而得到的解或微分方程(差分方程、微分方程组)的解,该解经常无法准确求出但能证明其存在性。若该解能表示成一个无穷级数和的形式,能证明该级数收敛但无法求出其和,此时,可以通过级数理论中的级数和的估计定理来控制误差的上界。

    为了控制实际误差小于等于上界,应该用多少项的部分和来估计才能做到呢?根据估计定理可以求出项数,但有时求出的项数n非常大时,得到代表这些项的数据所占用的计算资源太大,有时甚至在短时间内无法做到。这就需要减少实现误差上界的项数。如何才能做到呢?深化级数的误差估计理论,找到多个可选择的上界函数是一个途径。通常的结论是,误差上界估计函数所需的项数构成越多(意味着解项数的方程构成越复杂),实现误差目标所需的项数有减少趋势。但具体减少程度多大?不同问题的答案是不同的。

    上面所说的内容中蕴含了一个非常有意思的解决思路,常人不容易理解,感觉骨骼惊奇。具体概括为:明明知道解存在,但是求不出精确解,但满足一定条件下,可以求出给定误差要求的估计值!!厉害不厉害??

误差由精确值和估计值的差异计算得到,明明精确值不知道,但却能控制误差,误差你怎么算出来的??神仙变出来的???

   其实关键是,控制误差仅仅需要控制一个最大误差,所需要的估计值也仅仅需要在最大误差范围内即可。误差小了,那就更好了?




https://blog.sciencenet.cn/blog-441719-1141602.html

上一篇:机器学习中的贝叶斯推理的简单例子
下一篇:高校课程教学中的“怪现象”之二
收藏 IP: 223.96.152.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-24 05:17

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部