引用本文

袭希, 许伟, 刘传斌, 刘玮倩, 苏忻洁. “结构−内容”框架下融合时空特征的技术预测模型. 自动化学报, 2025, 51(12): 2621−2632 doi: 10.16383/j.aas.c250094

Xi Xi, Xu Wei, Liu Chuan-Bin, Liu Wei-Qian, Su Xin-Jie. A technology forecasting model integrating spatiotemporal features under the “structure-content” framework. Acta Automatica Sinica, 2025, 51(12): 2621−2632 doi: 10.16383/j.aas.c250094

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250094

关键词

科学技术发展，图卷积神经网络，大语言模型，双向长短期记忆神经网络，鲁棒随机配置网络

摘要

科学技术发展是一种动态非线性的复杂演进过程. 为提升技术预测的精确度, 基于大语言模型、图卷积神经网络、双向长短期记忆神经网络以及鲁棒随机配置网络(RSCN), 提出一种全新的“结构−内容”时空技术预测模型. 首先, 通过结合图卷积神经网络和双向长短期记忆神经网络, 分别捕捉技术网络中的空间依赖关系和时间演化规律, 从而突破传统预测模型在动态性和结构表征上的局限性, 克服传统技术预测模型的“伪动态”和“静态”限制. 其次, 引入大语言模型对技术网络中的节点特征和边特征进行双重语义表征, 将预测框架从单一的结构维度扩展至“结构−内容”双维度分析, 显著增强了模型对技术发展信息的理解能力和表征深度. 最后, 通过集成RSCN, 模型能够有效应对极端不均衡数据分布的挑战, 进一步提升了预测的鲁棒性和准确性. 提出的预测框架在多个指标上均优于当前多种技术预测方法, 为推动技术预测建模和评估未来技术发展轨迹提供了有力的支持.

文章导读

技术预测在科技管理中占据着重要地位, 不仅关系到科技发展的前沿性和战略性, 更是提升国家竞争力的关键因素. 准确把握技术的发展趋势, 有助于为政策制定者提供科学决策依据, 指导卡脖子技术及其产业的研发方向, 并推动跨学科的融合与创新. 然而, 技术发展具有典型的非线性特征, 其路径受多种因素影响, 容易引发“蝴蝶效应”, 使得技术预测面临准确性、稳健性、经济性等重大挑战. 基于客观数据, 技术预测的定量分析过程主要依赖于 模型构建[1]. 文献[2]将技术预测方法划分为趋势回归、时间序列预测和网络分析三大类, 涵盖了 Logistic 曲线、指数平滑、BP 神经网络、DeepWalk 等多种模型, 并需要利用专利数据标题、时间、专利分类号(IPC 或 CPC)、文献引用关系等多种数据来源.

在众多技术预测的技术中, 目前主流的技术包括两个方面: 一是针对文本内容的自然语言处理, 二是针对网络结构的链路预测. 前者通常涉及主题识别[3]和语义分析[4]等无监督学习任务, 而后者则是利用已知的网络结构评估未来潜在节点链路的可能性[5], 属于有监督学习任务. 这两类技术各具优势与局限. 自然语言处理能够从技术内容的角度预测未来可能出现的主题, 这种方法甚至可以挖掘语义的层次性, 并使长文本的应用成为可能. 然而, 这种方法无法“无中生有”, 即未出现过的词语难以被预见, 导致颠覆性技术的预测变得困难[6]. 此外, 语言模型的相关研究尚处于发展阶段, 预测结果因无监督学习过程而难以准确测量, 通常只能通过文字进行表达. 在链路预测技术的发展过程中, 随着数据挖掘技术的不断进步, 模型经历了从静态到伪动态, 再到动态的演变. 早期的静态链路预测主要依赖链路相似性作为边的特征, 尽管这些模型带有时间标签, 但时间并未成为预测模型的关键输入. 随着研究的深入, 学者们逐渐认识到时间在预测时序技术数据中的重要性, 普遍采用时间窗口处理方式来构建模型, 从而引入了伪动态的技术预测研究[7−8]. 然而, 尽管传统的机器学习方法(如随机森林和支持向量机)和深度学习方法(如图神经网络和卷积神经网络)在链路预测中得到广泛应用[9−10], 但它们在作为预测器时通常按顺序输入特征[11], 未能真正学习到时间序列的发展规律, 而侧重时序的模型架构(如循环神经网络), 虽在处理序列数据方面表现优异, 但无法有效编码数据的结构特征. 同时, 从静态到伪动态链路预测模型的改进表明在模型结构上进行了深入探索, 能够通过挖掘潜在链接来发现新的技术机会, 但这些方法仍然存在局限: 预测过程往往只是机械地进行特征计算, 模型及其生成的特征主要源自网络结构, 导致信息呈现出冗余性, 未能在充分理解技术内涵的基础上进行模型的整合构建, 使得分析过程缺乏对技术内涵的真正表征, 从而降低模型的鲁棒性[12]. 因此, 尽管现有模型在某种程度上提高了预测能力, 但仍需进一步探索如何将技术内涵与模型结构有效结合, 以实现更准确和深刻的技术预测.

鉴于现有研究的局限性, 本文提出一种创新的时空技术预测模型, 即“结构−内容”框架时空技术预测模型(Spatiotemporal technological forecasting model with large language models, STTeFL), 以实现在动态、结构和内容等多维条件下的技术发展精准预测. 该模型由五个关键模块组成: 技术的空间结构模块、时间结构模块, 以及分别通过大语言模型(Large language models, LLM) 表征的点特征内容模块、边特征内容模块和鲁棒识别模块. 本文的主要贡献可概括为以下三个方面: 1)通过结合图卷积神经网络(Graph convolutional networks, GCN)和双向长短期记忆神经网络(Bidirectional long short-term memory neural networks, BiLSTM), 分别学习技术网络的空间结构和时间结构, 并深度融合技术网络中的时空特征, 突破传统技术预测模型存在的“伪动态”和“静态”限制; 2)利用 LLM 对边特征和点特征进行独立表征, 将预测模型从单一的结构分析拓展至“结构−内容”双维度分析, 显著提升了模型对技术发展信息的理解能力和表征深度; 3)在整体模型架构中引入鲁棒随机配置网络(Robust stochastic configuration networks, RSCN), 有效解决数据中因类极度不均衡而导致的预测性能下降问题, 进一步提高了模型的预测准确性和鲁棒性.

图1  本文提出的STTeFL模型整体架构

图2  分类性能的消融实验比较

图3  查准率、召回率及其不均衡处理性能的消融实验比较

本文构建了一个技术预测的“结构−内容”分析框架STTeFL, 其包括空间结构模块、时间结构模块、点特征内容模块、边特征内容模块和鲁棒识别模块. 在深度学习技术的数据集上, 该模型相较于传统的单模型或集成模型方法, 具有更优秀的表现. 此外, STTeFL 模型基于 RSCN 有效解决传统技术预测过程中由于类极度不均衡导致的预测性能损失问题, 从而显著提升了预测模型性能.

基于本文的研究框架, 可以进一步探索结构和内容模型的替换与优化. 例如, 在处理多属性的异质节点网络时, 可以考虑采用关系图卷积神经网络来增强空间结构模块的表现; 对于时间序列较短的新兴技术, 可以利用门控循环单元GRU简化模型参数量并加快训练速度.

作者简介

袭希

中国人民大学信息学院博士后. 2013年获得哈尔滨工程大学管理学博士学位. 主要研究方向为商务智能与技术挖掘. E-mail: xix@ruc.edu.cn

许伟

中国人民大学信息学院教授. 2009年获得中国科学院管理学博士学位. 主要研究方向为金融科技, 商业分析和智慧管理. E-mail: weixu@ruc.edu.cn

刘传斌

中国石油大学(北京)经济管理学院教授. 2023年获得哈尔滨工程大学管理学博士学位. 主要研究方向为数据挖掘, 评价科学. 本文通信作者.E-mail: liuchuanbingl@163.com

刘玮倩

哈尔滨商业大学管理学院硕士. 2025年获得哈尔滨商业大学管理学硕士学位. 主要研究方向为科技管理与技术挖掘. E-mail: 18561217602@163.com

苏忻洁

哈尔滨工程大学经济管理学院博士研究生. 2023年获得哈尔滨商业大学管理学硕士学位. 主要研究方向为商务智能与技术挖掘. E-mail: sxj_su@163.com