wangyanjiayou的个人博客分享 http://blog.sciencenet.cn/u/wangyanjiayou

博文

基于Python/MATLAB近红外光谱分析与机器学习、深度学习方法融合

已有 1642 次阅读 2023-10-9 13:57 |系统分类:科研笔记

第一章 Python入门基础
1.Python环境搭建( 下载、安装与版本选择)
2.如何选择Python编辑器?(IDLE、Notepad++、PyCharm、Jupyter…)
3.Python基础(数据类型和变量、字符串和编码、list和tuple、条件判断、循环、函数的定义与调用等)
4.常见的错误与程序调试
5.第三方模块的安装与使用
6.文件读写(I/O)
7.实操练习

第二章 Python进阶与提高
1.Numpy模块库(Numpy的安装;ndarray类型属性与数组的创建;数组索引与切片;Numpy常用函数简介与使用)
2.Pandas模块库(DataFrame数据结构、表格的变换、排序、拼接、融合、分组操作等)
3.Matplotlib基本图形绘制(线形图、柱状图、饼图、气泡图、直方图、箱线图、散点图等)
4.图形的布局(多个子图绘制、规则与不规则布局绘制、向画布中任意位置添加坐标轴)
5.Scikit-Learn模块库简介、下载与安装
6.实操练习

第三章 多元线性回归及其在近红外光谱分析中的应用
1.多元线性回归模型(工作原理、最小二乘法)
2.岭回归模型(工作原理、岭参数k的选择、用岭回归选择变量)
3.LASSO模型(工作原理、特征选择、建模预测、超参数调节)
4.Elastic Net模型(工作原理、建模预测、超参数调节)
5.多元线性回归、岭回归、LASSO、Elastic Net的Python代码实现
6.案例演示:近红外光谱回归拟合建模

第四章 BP神经网络及其在近红外光谱分析中的应用
1.BP神经网络的基本原理(人工智能发展过程经历了哪些曲折?人工神经网络的分类有哪些?BP神经网络的拓扑结构和训练过程是怎样的?什么是梯度下降法?BP神经网络建模的本质是什么?)
2.怎样划分训练集和测试集?为什么需要归一化?归一化是必须的吗? BP神经网络的常用激活函数有哪些?如何查看模型的参数?
3.BP神经网络参数的优化(隐含层神经元个数、学习率、初始权值和阈值等如何设置?什么是交叉验证?)
4.值得研究的若干问题(欠拟合与过拟合、泛化性能评价指标的设计、样本不平衡问题等)
5.极限学习机(Extreme Learning Machine, ELM)的基本原理(ELM的基本算法,“极限”体现在哪些地方?ELM 与 BP 神经网络的区别与联系)
6.BP神经网络、极限学习机的Python代码实现
7.案例演示: 
①近红外光谱回归拟合建模
②近红外光谱分类识别建模

第五章 支持向量机(SVM)及其在近红外光谱分析中的应用
1.SVM的基本原理(什么是经验误差最小和结构误差最小?SVM的本质是解决什么问题?SVM的四种典型结构是什么?核函数的作用是什么?什么是支持向量?)
2.SVM扩展知识(如何解决多分类问题?SVM除了建模型之外,还可以帮助我们做哪些事情?SVM的启发:样本重要性的排序及样本筛选)
3.SVM的Python代码实现
4.案例演示:近红外光谱分类识别建模

第六章 决策树、随机森林、Adaboost、XGBoost和LightGBM及其在近红外光谱分析中的应用
1.决策树的基本原理(微软小冰读心术的启示;什么是信息熵和信息增益?ID3算法和C4.5算法的区别与联系)
2.决策树的启发:变量重要性的排序及变量筛选
3.随机森林的基本原理与集成学习框架(为什么需要随机森林算法?广义与狭义意义下的“随机森林”分别指的是什么?“随机”提现在哪些地方?随机森林的本质是什么?)
4.Bagging与Boosting集成策略的区别
5.Adaboost算法的基本原理
6.Gradient Boosting Decision Tree (GBDT)模型的基本原理
7.XGBoost与LightGBM简介
8.决策树、随机森林、Adaboost、XGBoost与LightGBM的Python代码实现
9.案例演示:近红外光谱回归拟合建模

第七章 遗传算法及其在近红外光谱分析中的应用
1.群优化算法概述
2.遗传算法(Genetic Algorithm)的基本原理(什么是个体和种群?什么是适应度函数?选择、交叉与变异算子的原理与启发式策略)
3.遗传算法的Python代码实现
4.案例演示:基于二进制遗传算法的近红外光谱波长筛选

第八章 变量降维与特征选择算法及其在近红外光谱分析中的应用
1.主成分分析(PCA)的基本原理
2.偏最小二乘(PLS)的基本原理(PCA与PLS的区别与联系;PCA除了降维之外,还可以帮助我们做什么?)
3.近红外光谱波长选择算法的基本原理(Filter和Wrapper;前向与后向选择法;区间法;无信息变量消除法等)
4.PCA、PLS的Python代码实现
5.特征选择算法的Python代码实现
6.案例演示:
①基于L1正则化的近红外光谱波长筛选
②基于信息熵的近红外光谱波长筛选
③基于Recursive feature elimination的近红外光谱波长筛选
④基于Forward-SFS的近红外光谱波长筛选

第九章 Pytorch环境搭建与编程入门
1.深度学习框架概述(PyTorch、Tensorflow、Keras等)
2.PyTorch简介(动态计算图与静态计算图机制、PyTorch的优点)
3.PyTorch的安装与环境配置(Pip vs. Conda包管理方式、验证是否安装成功)
4.张量(Tensor)的定义,以及与标量、向量、矩阵的区别与联系)
5.张量(Tensor)的常用属性与方法(dtype、device、requires_grad、cuda等)
6.张量(Tensor)的创建(直接创建、从numpy创建、依据概率分布创建)
7.张量(Tensor)的运算(加法、减法、矩阵乘法、哈达玛积(element wise)、除法、幂、开方、指数与对数、近似、裁剪)
8.张量(Tensor)的索引与切片
9.PyTorch的自动求导(Autograd)机制与计算图的理解
10.PyTorch常用工具包及API简介(torchvision(transforms、datasets、model)、torch.nn、torch.optim、torch.utils(Dataset、DataLoader)

第十章 卷积神经网络及其在近红外光谱分析中的应用
1.深度学习与传统机器学习的区别与联系(神经网络的隐含层数越多越好吗?深度学习与传统机器学习的本质区别是什么?)
2.卷积神经网络的基本原理(什么是卷积核?CNN的典型拓扑结构是怎样的?CNN的权值共享机制是什么?CNN提取的特征是怎样的?)
3.卷积神经网络参数调试技巧
4.卷积神经网络的Python代码实现
5.案例演示:基于卷积神经网络的近红外光谱建模

第十一章 迁移学习及其在近红外光谱分析中的应用
1.迁移学习算法的基本原理(为什么需要迁移学习?为什么可以迁移学习?迁移学习的基本思想是什么?)
2.常用的迁移学习算法简介(基于实例、特征和模型,譬如:TrAdaboost算法)
3.基于卷积神经网络的迁移学习算法
4.迁移学习的Python代码实现
5.案例演示:基于迁移学习的近红外光谱的模型传递(模型移植)

第十二章 自编码器及其在近红外光谱分析中的应用
1.自编码器(Auto-Encoder的工作原理)
2.常见的自编码器类型简介(降噪自编码器、深度自编码器、掩码自编码器等)
3.自编码器的Python代码实现
4.案例演示:
①基于自编码器的近红外光谱数据预处理
②基于自编码器的近红外光谱数据降维与有效特征提取

第十三章 复习与答疑讨论
1.复习与总结(知识点梳理)
2.资料分享(图书、在线课程资源、源代码等)
3.科研与创新方法总结(如何利用Google Scholar、Sci-Hub、ResearchGate等工具查阅文献资料、配套的数据和代码?如何更好地撰写论文的Discussion部分?如果在算法层面上难以做出原创性的工作,如何结合实际问题提炼与挖掘创新点?)
4.答疑与讨论


MATLAB近红外光谱分析技术及应用

专题一 MATLAB编程基础与进阶(一)
1、MATLAB 安装、版本历史与编程环境
2、MATLAB 基础操作(矩阵操作、逻辑与流程控制、函数与脚本文件)
3、MATLAB文件读写(mat、txt、xls、csv、jpg、wav、avi等格式)

专题二 MATLAB编程基础与进阶(二)
1、MATLAB基本绘图与高级绘图、图片导出与保存、生成SCI期刊要求的图片
2、MATLAB 调试技巧(为什么会给出各种各样的错误信息?常见的错误信息有哪些?如何正确面对错误信息?如何使用断点调试工具?应该去哪些网站寻找答案?)

专题三 BP神经网络及其在近红外光谱分析中的应用(一)
1、BP神经网络的基本原理(人工智能发展过程经历了哪些曲折?人工神经网络的分类有哪些?BP神经网络的拓扑结构和训练过程是怎样的?什么是梯度下降法?BP神经网络建模的本质是什么?)
2、案例演示:BP神经网络的 MATLAB 实现(近红外光谱回归拟合建模)

专题四 BP神经网络及其在近红外光谱分析中的应用(二)
1、怎样划分训练集和测试集?为什么需要归一化?归一化是必须的吗? BP神经网络的常用激活函数有哪些?如何使用?)
2、BP神经网络参数的优化(隐含层神经元个数、学习率、初始权值和阈值等如何设置?什么是交叉验证?)
3、值得研究的若干问题(欠拟合与过拟合、泛化性能评价指标的设计、样本不平衡问题等)
4、案例演示:BP神经网络的 MATLAB 实现(近红外光谱分类识别建模)

专题五 支持向量机(SVM)及其在近红外光谱分析中的应用
1、SVM的基本原理(什么是经验误差最小和结构误差最小?SVM的本质是解决什么问题?SVM的四种典型结构是什么?核函数的作用是什么?什么是支持向量?)
2、SVM扩展知识(如何解决多分类问题?SVM除了建模型之外,还可以帮助我们做哪些事情?SVM的启发:样本重要性的排序及样本筛选)
3、LibSVM工具箱的安装与使用
4、案例演示:SVM的MATLAB实现(近红外光谱回归拟合建模)

专题六 决策树与随机森林及其在近红外光谱分析中的应用
1、决策树的基本原理(微软小冰读心术的启示;什么是信息熵和信息增益?ID3算法和C4.5算法的区别与联系)
2、决策树的启发:变量重要性的排序及变量筛选
3、随机森林的基本原理与集成学习框架(为什么需要随机森林算法?广义与狭义意义下的“随机森林”分别指的是什么?“随机”提现在哪些地方?随机森林的本质是什么?)
4、案例演示:决策树与随机森林的MATLAB实现(近红外光谱回归拟合建模)

专题七 遗传算法及其在近红外光谱分析中的应用
1、群优化算法的前世今生
2、遗传算法(Genetic Algorithm)的基本原理
3、案例演示:基于二进制遗传算法的近红外光谱波长筛选

专题八 变量降维算法及其在近红外光谱分析中的应用
1、主成分分析(PCA)、偏最小二乘(PLS)的基本原理(PCA与PLS的区别与联系;PCA除了降维之外,还可以帮助我们做什么?)
2、近红外光谱波长选择方法拓展(Filter和Wrapper;前向与后向选择法;区间法;无信息变量消除法等)
3、案例演示:PCA/PLS近红外光谱降维MATLAB实现

专题九 卷积神经网络及其在近红外光谱分析中的应用
1、深度学习与传统机器学习的区别与联系(神经网络的隐含层数越多越好吗?深度学习与传统机器学习的本质区别是什么?)
2、卷积神经网络的基本原理(什么是卷积核?CNN的典型拓扑结构是怎样的?CNN的权值共享机制是什么?CNN提取的特征是怎样的?)
3、卷积神经网络参数调试技巧
4、案例演示:一维卷积神经网络的MATLAB实现(基于卷积神经网络的近红外光谱建模)

专题十 迁移学习及其在近红外光谱分析中的应用
1、迁移学习算法的基本原理(为什么需要迁移学习?为什么可以迁移学习?迁移学习的基本思想是什么?)
2、常用的迁移学习算法简介(基于实例、特征和模型,譬如:TrAdaboost算法)
3、基于卷积神经网络的迁移学习算法
4、案例演示:基于迁移学习的近红外光谱的模型传递(模型移植)
更多应用:包含Python机器学习、数据挖掘、PyTorch机器学习、MATLAB机器学习、R语言【Tidyverse、Tidymodel】、地理加权回归、结构方程模型、贝叶斯网络模型、混合效应(多水平层次嵌套)模型、Copula变量相关性、极值统计学、分位数回归、网络爬虫、科研数据可视化、Nvivo、Citespace和vosviewer文献计量学、AI人工智能等...
关 注【科研充电吧】公 众 号,获取海量教程和资源



https://blog.sciencenet.cn/blog-3539141-1405278.html

上一篇:水保方案编制丨点型项目、市政工程、线型工程、矿山工程、水利工程、取土场/弃渣场、补报项目、水土保持监测验收等
下一篇:【融合ChatGPT等AI模型】Python-GEE遥感云大数据分析、管理与可视化及多领域案例实践应用
收藏 IP: 111.225.68.*| 热度|

1 李升伟

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-24 20:32

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部