csiro的个人博客分享 http://blog.sciencenet.cn/u/csiro

博文

传统作物模型与数据驱动的模型的融合 精选

已有 10819 次阅读 2019-6-8 15:00 |个人分类:创新篇|系统分类:科研笔记| 作物模型, 机器学习, 统计, 农业大数据

最近跟学生讨论融合把数据驱动的模型(机器学习,或者统计模型)跟传统的机理模型结合的问题。大意如下:

(1)     我们都知道,模型是现实的简化,它不可能代表真实的世界,真实的世界远比模型复杂。这就带来一个问题:模型的不确定性,就是算不准的问题。很多模型虽然通过调参,可以模拟得很好,但是对未来的预测,或者对新数据的解释,往往不尽如人意。这就是当前的主要问题,模型可以用来发表文章,但是不能做预报。

(2)     模型的不确定性来自三个方面:模型结构、模型参数、模型输入。模型结构过于简化,不能反映实际情况,导致计算出来有偏差;不是所有的模型参数都来自实验观测,多数是从实验数据反推过来(率定,Calibration),参数不准确,也会带来计算结果的偏差;模型输入,基本是气象因子,光照温度降水等气象要素,每时每刻都在变化,也是每时每刻都在影响作物生长,但是我们的模型简化到一天一个平均值,或者比较详细的,每小时一个气象因子(一般是插值出来),这样也会带来误差。

(3)     在实际工作中,如气象局,他们的气象业务中,用到模型。也有很多觉得模型不准,而用统计模型。统计模型可以说是经验模型,它是根据当地的数据,用简单的相关或者多元回归建立。事实上,它捕捉到了作物产量与主要影响因子的关系。但是经验模型只适用于当地,离开这个地方,作物-环境关系改变了,这个经验关系也变化。

(4)     能否把传统模型与数据驱动的统计模型结合起来?类似于数据同化方法,传统模型有它的作用,它基本上体现了作物生长的主要限制因子,统计模型的优势在于,传统模型没有包括的情况,它可以弥补,如水稻的冷害(在水稻开花期遇到低温冷害,空瘪粒增加,产量降低),如黄淮海小麦灌浆期遇到干热风,成熟提前,减产。

(5)     我们现在可能走到一个十字路口,不能沿着传统的方向往前走了,把国外的模型拿过来,用我们的实验数据检验一下,然后做些分析,就发表一些论文。而常常是,模型的检验不是找模型的问题,是找自己的问题。模型检验不了,不去怪模型不合适,而是去自责模型没有调好。这样的工作,即使发表也没有多大的价值。我们需要重新审视传统作物模型能做什么,不能做什么。

(6)     如果有一天,数据的采集非常容易,过去需要计算的量,如叶水势,如光合速率,都直接观测了,那么模型就没有必要包括这一块(未知的变量成为已知的变量)。当数据足够多的时候,这些数据经历了各种环境情况,那么通过机器学习就可以把作物产量和环境的因子的关系建立起来。这样传统的模型根本就不需要了。最近接触几个公司,他们的数据在很快积累。大约5-10年,核心技术是数据和数据分析方法,而不是传统的作物模型。

(7)     现在需要思考的,是我们当前能够用的有哪些新的、大的数据?


附上我的博士生冯璞玉最近发表的几篇相关论文,可以在www.agrivy.com上全文下载:

  1. Feng, P.Y., Wang, B., Liu, D.L., Waters, C., Yu, Q.*, 2019. Incorporating machine learning with biophysical model can improve the evaluation of climate extremes impacts on wheat yield in south-eastern AustraliaAgricultural and Forest Meteorology, 275: 100-113. Impact Factor:4.039

  2. Feng, P.Y.*, Liu, D.L., Wang, B., Waters, C., Zhang, M.X., Yu, Q., 2019. Projected changes in drought across the wheat belt of south-eastern Australia using a downscaled climate ensembleInternational Journal of Climatology, 39(2):1041-1053. Impact Factor: 3.100

  3. Feng, P.Y., Wang, B., Liu, D.L., Yu, Q.*, 2019. Machine learning-based integration of remotely-sensed drought factors can improve the estimation of agricultural drought in south-eastern AustraliaAgricultural Systems, 173: 303-316. Impact Factor: 3.004




https://blog.sciencenet.cn/blog-393259-1183781.html

上一篇:下载链接:于强课题组发表论文和毕业学生学位论文
下一篇:泛读与精读
收藏 IP: 61.185.211.*| 热度|

4 黄永义 柏延文 杨顺华 zjzhaokeqin

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-22 14:12

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部