|
目录
3.3 认知空间 (Cognitive Space, ConN)
3.4 语义空间 (Semantic Space, SemA)
DIKWP(Data-Information-Knowledge-Wisdom-Purpose)国际网馈测评标准的制定旨在应对人工智能评测基准多样且成熟度不一的问题,为业界提供一个统一、严谨、普适的评估框架,从而确立一套标准化的评测方法、模型与指标体系,确保对人工智能模型性能的评估具有可比性和一致性。DIKWP国际网馈测评标准从数据、信息、知识、智慧、意图五个核心要素出发,突破概念空间语义约束面向认知空间构建网络化评估体系,全面考察人工智能在不同认知网络层次上的理解和处理能力,其目的不仅在于突破黑盒测试的局限,为被测试的人工智能模型提供功能性或者指标性的白盒测试结果,还为该被测模型的改进提供参考依据。人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准特别关注模型的共享性、公正性、公平性、隐私保护性,通过检测和评估潜在偏见,积极推动AI技术遵循伦理原则和社会价值,致力于减少歧视与不公现象。
在全球范围内对人工智能的评估涉及各种基准,旨在衡量各种能力并使其与人类价值观保持一致。GLUE Benchmark[1]提供了一组标准化的不同NLP任务,以评估不同语言模型的有效性。作为通用语言理解评估的行业标准,凭借其广泛应用、包含情感分析、问答等在内的多样化任务集,以及为模型间提供公平比较的平台,确立了其在评估语言模型性能方面的核心地位。然而,该基准也存在显著不足,如任务覆盖面有限,可能无法完全捕捉语言理解的全貌;数据集可能存在偏差,可能影响模型评估的公正性;以及模型在追求高GLUE分数时可能过度优化特定任务,导致泛化能力受损。SuperGLUE Benchmark[2]作为GLUE的升级版,显著提升了任务难度,涵盖了更多样化且更深层次的语言理解需求,并通过引入人类水平基线,直观展示了AI在语言理解领域的进展。但是,SuperGLUE的复杂性较高,对计算资源需求较大,同时其数据集存在偏差问题,这也是继承自GLUE的一个持续挑战。HellaSwag[3]是专门针对文本生成评估的基准,该基准通过设计专门针对文本连贯性和逻辑性的任务,有力推动了相关技术的发展。然而,其应用范围相对狭窄,主要聚焦于文本生成任务,且完成句子的范例可能存在引导性,可能对模型表现评估的准确性产生干扰。TruthfulQA[4]以其独特之处——直接评估模型输出的真实性,特别适用于那些高度关注答案真实性的场景,如新闻生成。虽然采用了创新的评估方式,但TruthfulQA的评价过程主观性较强,且仅关注真实性而忽略了语言理解能力的其他方面,限制了其全面性。MMLU[5]提供了广泛的领域和任务覆盖,利用大规模数据集对模型的多任务处理能力进行深入、全面且可靠的评估。因此,MMLU对计算资源要求较高,平衡多个任务间的评估也是一个挑战,这使得部分资源有限的研究团队可能难以有效利用此基准。
如今人工智能评基准“百家争鸣”虽然它们在评估人工智能模型性能方面各自彰显独特价值,但其局限性也是显而易见的。构建一个完备、公正且能应对未来研究挑战的人工智能国际测评标准是迫切需求。DIKWP模型是一个描述数据、信息、知识、智慧、意图间网络化关系模型,其中每一种关系都受到目标或者意图的引导,其能够将概念空间、语义空间、认知空间和意识空间等关联到一起。以此为基础,人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准涵盖了语义理解、综合处理、偏见测评、对齐测评和意识能力等多个层面和维度,细致考察数据、信息、知识、智慧和意图的理解能力,确保对人工智能模型的认知能力进行全方位、多层次的透彻分析。除了语言理解与生成能力外,人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准特别关注模型在处理不确定性、识别与消除偏见、价值对齐及意识模拟等方面的表现,体现对AI伦理、公平性的重视。人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准以全面、深度、多维度、精细化、适应性及公平公正原则为特色,为人工智能模型的性能评估提供了科学、严谨、实用且前瞻的框架,有望推动AI技术的健康发展与应用。
随着人工智能技术的快速发展和大语言模型的兴起,人们与智能系统的交互方式正在发生改变。人工智能模型在各种应用中展现了其前所未有的性能,同时对模型的评估也备受社会各界的关注。当前,人工智能模型的测评基准呈现出多元化的态势,各种专门针对不同维度性能设计的基准层出不穷,例如GLUE、SuperGLUE、CLUE、SuperCLUE等用于测试语言理解与生成能力,而针对特定领域如智能运维则有Owl-Bench这类专用基准。此外,还有针对大模型安全性、伦理风险、公平性等方面的测评基准,反映了业界对模型全面质量把控的重视。然而,鉴于各测评基准的发展水平与成熟度参差不齐,研究人员在选用和参照时面临一定的挑战,需要结合具体应用场景审慎评估和选择合适的测评工具与标准。面对众多科研团队和企业相继推出的人工智能模型测评基准,通过一套较为全面、系统、公平、使用的评估指标和测评方法,指引和推动人工智能模型的研发与测评工作是相关领域人员的共同呼声和迫切需求。AGI-AIGC-GPT评测DIKWP(全球)实验室联合长期从事人工智能研究的专家学者,编制起草“DIKWP(Data-Information-Knowledge-Wisdom-Purpose) 国际网馈测评标准”,力求构建一套具有一定前瞻性、具备试行条件的人工智能国际测评基准。
本文件说明了用于人工智能模型测评的人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准的相关术语和定义,描述了DIKWP评估人工智能模型的框架,提出了模型测评的DIKWP指标、DIKWP测评方法以及典型的应用案例。
本文适用于服务提供商、用户和第三方测试机构对人工智能模型测试的设计和实施等工作。
下列文件的内容通过文中的规范性引用而构成本文件的相关条款。
DIKWP模型是一个扩展了传统的DIKW(数据(Data)、信息(Information)、知识(Knowledge)、智慧(Wisdom))模型的网馈模型,增加了"意图"(Purpose)这个元素。DIKWP模型是一种能够形象地描述认知过程的网络化模型,其将数据、信息、知识、智慧、意图五个环节紧密相连,共同构成了一个跨越认知空间、意识空间、语义空间和概念空间的认知概念-语义关联交互过程。
图3-1 DIKWP关系架构图
图3-2 DIKWP定义元模型
图3-3 概念空间、认知空间、语义空间架构图
概念空间是指认知主体对外部世界的概念化表达,包括概念的定义、特征和关系。概念空间是通过语言和符号系统进行表达的。例如,“汽车”在概念空间中可以定义为一种具有四个轮子、能够载客或载货的交通工具。
概念空间是由一系列相关概念构成的集合,借助特定的属性和关系互相连接,根据概念间关系的对称性对应有向图或无向图。
图表示:GraphConC =(VConC, EConC), 其中VConC是概念的节点集合,EConC是表示概念之间关系的边集合。
在概念空间中,每个概念v∈VConC都具有一组属性A(v)和与其他概念的关系R(v, v)。
属性:A(v)={a1(v), a2(v),…, an(v)},其中每个ai(v)代表概念v的一个属性。
关系:R(v, v')表示概念v和v'之间的关系。如果图是有向的,则R(v,v')不等同于R(v, v);如果图是无向的,则它们表示相同的关系。
在概念空间内对应一系列操作来查询、添加或修改概念及其关系:
查询操作:Q(VConC, EConC,q)→{v1, v2,…, vm},根据查询条件q(如特定的属性或关系)返回满足条件的概念集合。
添加操作:Add(VConC, v),将新概念v添加到概念集合VC中。
修改操作:Update(VConC, v, A(v)),更新概念v的属性集合A(v)。
在DIKWP模型中,概念空间为数据、信息、知识、智慧和意图的分类和组织提供了结构化框架。通过映射DIKWP各成分到概念空间,能有效解析成分之间的复杂关系。例如,通过查询操作Q,找到与特定数据或知识相关的所有概念,进而推导出新的信息或智慧。
3.3 认知空间 (Cognitive Space, ConN)
认知空间是一个多维和动态的处理环境,其中数据、信息、知识、智慧和意图通过个体或系统的特定认知处理函数集合(R)被转换为具体的理解和行动。每个认知处理函数()将输入空间(
)中的数据或信息通过一系列的子步骤(如数据预处理、特征提取、模式识别、逻辑推理和决策制定)转化为输出空间(
)中的成果,如信息分类、概念形成、意图确定或行动计划的设定。
函数集合:其中,每个函数
表示一个特定的认知处理过程,
是输入空间,
是输出空间。
输入空间:代表感知到的数据或信息的集合,可以是来自外部世界的观察、从其他系统接收的信号或内部生成的数据。
输出空间:代表处理后的理解或决策的集合,它可以包括对信息的分类、概念的形成、意图的确定或行动计划的设定。
3.3.1 认知处理过程
每个认知处理函数fConN_i可以进一步细化为一系列子步骤,包括数据预处理、特征提取、模式识别、逻辑推理和决策制定等。这些子步骤共同构成了从原始数据到最终输出的完整认知路径。
子步骤表示:对于每个fConN_i,可以表示为fConN_i=fConN_i(5)○fConN_i(4)○…○fConN_i(1)(Inputi),其中fConN_i(j)代表第j个子步骤的处理函数,○代表函数的复合。
在DIKWP模型中,认知空间将数据、信息、知识、智慧和意图通过个体或系统独特的认知过程转换为具体的理解和行动。借助调用不同的认知处理函数,系统可以针对不同类型的输入实施最适宜的处理策略,实现高效精确的决策。
3.4 语义空间 (Semantic Space, SemA)
语义空间是指概念在认知主体大脑中的语义关联网络,包括概念之间的语义关系和联想。语义空间是通过认知主体的经验和知识积累形成的。例如,对于“汽车”这个概念,语义空间中可能包括“驾驶”、“交通工具”、“油耗”等相关联的语义。
语义空间是由一系列语义单元构成的集合,这些单元借助特定的关联和依赖关系相互连接,共同构成了信息和知识的客观化表示。语义空间普遍接受的概念和语言规则实现了意义的传递和交流。
图表示:GraphSemA=(VSemA, ESemA),其中VSemA代表语义单元(词汇、句子等),ESemA代表语义单元之间的关联和依赖关系。
语义单元:每个语义单元v∈VSemA代表了可以独立表达意义的最小单元或概念。
关系:边e∈ESemA代表了语义单元之间的语义关联或逻辑依赖,如同义、反义、上下位、因果等关系。
在语义空间对应一系列操作来查询、添加或修改语义单元及其关系:
查询操作:Query(VSemA, ESemA, q)→{v1,v2, … ,vm},根据查询条件q返回满足条件的语义单元集合。
添加操作:Add(VSemA, v),将新的语义单元v添加到集合VSemA中。
修改操作:Update(ESemA,v,v',e),更新或添加语义单元v和v'之间的关系e。
语义空间不仅提供利益相关者与DIKWP表达的认知共享语言体系,还支撑DIKWP成分之间的转换处理的语义一致性。借助语义单元和它们之间的关系,不同主体之间能够准确地传递和解释复杂的服务交互认知内容。
数据(DIKWP-Data)的语义可视为认知中相同语义的具体表现形式。在概念空间中,数据概念作为一个概念代表着具体的事实或观察结果在概念认知主体的概念空间中的存在语义确认,并通过与认知主体的意识空间(非潜意识空间)与已有认知概念对象的存在性包含的某些相同语义对应而确认为相同的对象或概念。在处理数据概念时,认知主体的认知处理过程常常寻求并提取标定该数据概念的特定相同语义,进而依据对应的相同语义将它们统一视为一个相同概念。例如,当看到一群羊时,虽然每只羊可能在体型、颜色、性别等方面略有不同,但借助准确的相同语义个体对应或对相同语义集合的概率性对应处理,认知处理会将它们归入“羊”的概念,因为它们共享了对“羊”这个概念的语义精确对应或概率性对应。相同语义可以是具体的,例如识别手臂概念时可以根据一个硅胶手臂与人的手臂的手指数量的相同、颜色的相同、手臂外形的相同等相同语义进行基于语义的准确概念确认硅胶手臂为手臂概念,也可以概率性的选择与手臂概念共享最多相同语义的目标对象为手臂概念,还可以通过硅胶手臂不具有真实手臂的可以旋转功能对应的由“可以旋转”定义的相同语义进行概念判断的否决,而判定其不是手臂数据概念。
概念空间与语义空间的区分对应于不同的技术哲学思想。概念空间的处理对应了具体使用自然语言等进行交流的形式。但概念交流的功能本质通常是进行语义的传递。在认知主体的认知空间中,概念传递的语义的有效理解往往依赖于认知主体的语义空间中的相关概念的语义对应。认知主体的语义空间往往是不能被充分借助概念形式进行共享的,也就是通常说的客观的,故而被称之为主观的。
在语义空间中,数据概念的语义为认知中相同语义集合的具体表现形式。将特定数据的语义D对应集合,每个元素d∈D代表一个具体实例,这些实例共享相同或概率性近似相同的语义属性集合S。语义属性S为一组特征语义集合F来定义,即:
S={f1, f2, ... , fn},其中fi表示数据的一个特征语义。D={d∣d共享S}。
在DIKWP模型中,数据概念与数据语义的区分是认知空间的认知过程向概念空间与语义空间的处理过程转换的基础,数据概念和数据语义将具体代表对世界的基本观察和事实的认知数据对象。这一转换的关键在于数据被认知并被概念化背后的“相同语义”,即数据概念元素之间共享的语义属性。在认知空间中的数据认知对象作为认知过程的基础,不再被不区分概念空间和语义空间中的具体对应而直接代表对现实世界观察和测量的结果,而是被进行明确的概念确认和语义对应处理,在这一个过程中也区分了主观内容与客观内容的范畴,这一定义不同于传统DIKW模型中对数据的粗糙理解,强调数据与特定语义属性的紧密关联。即对数据对象的认知不仅是被动记录,更是认知主体的认知活动中主动寻找与已知认知对象相匹配的语义特征的主观过程。这种视角强调了数据的主观性和上下文依赖性,指出数据的认知价值在于其能够与认知主体的已有概念空间进行语义关联。
在DIKWP模型中,来自认知空间的数据认知对象的语义被视为认知过程中认知主体的语义空间中被识别与之相同语义的具体表现形式。这种定义强调了数据做完认知对象不仅仅是观测或事实的简单记录,而是面向概念空间和语义空间需要通过认知主体(如人或AI系统)对这些认知对象数据记录进行语义匹配和概念确认的结果。数据概念确认的关键在于它们背后认知主体概念空间与语义空间共享的“相同语义”,这使得即使在外在特征上存在差异的情况下,特定认知对象也能被归纳为同一数据概念。
数据概念在DIKWP模型的概念空间中被视为认知过程中的基本概念单位,数据语义在DIKWP模型的语义空间中被视为认知过程中的基本语义单位,数据概念和数据语义是对现实世界的直接观察和记录的认知过程中的核心要素,从数据语义的认知到数据概念的确认对基于概念的符号化自然语言的产生、应用和处理起到了重要作用。数据概念通过共享相同的语义属性而被认知主体的意识功能或潜意识功能识别和分类。在认知科学中,认知主体的大脑乃至脊髓等物质部分如何通过潜意识的模式识别来理解和处理信息,并可以进行有意识的分析和形成解释。例如,当人们观察到不同的物体时(如苹果),即使它们的颜色、大小或形状有所不同,人们也能在潜意识的模式识别中识别它们都是苹果,通过认知主体有意识的分析,可以解释为它们共享了一组关键的语义属性(如形状、纹理、特定的功能等)。这种认知过程揭示了认知主体的认知系统如何利用语义空间的数据的相同语义来构建对世界的自然语言概念表述。
在DIKWP框架中,数据作为概念被视为认知过程中相同语义的具体概念映射。这一观点突破了传统的数据概念中对语义和概念不加区分的混淆使用场景,将概念空间中数据概念的形成与存在与语义空间中认知主体的语义处理过程紧密联系起来。即,数据概念的认知价值不在于其对应的物理形态或功能,而在于在认知主体的认知空间中,它如何与认知主体已有的知识体系进行跨越“概念空间”与“语义空间”产生联系,进而被识别并确认为具有特定语义的对象或概念。从个体意识和群体意识交互的视角看,数据与认知主体之间的互动本质就是基于潜意识或下意识的语义空间与概念空间的交互,数据概念作为一种相同语义集合的具体对应或者概率性近似有着其在工程意义上作为特定语义集合的符号化表达的认知沟通效率优势。
3.5.1数据概念的数学化表示
在DIKWP模型中,数据概念不仅仅是被动记录的观测结果,而是被认知系统主动识别和归类的语义对象集合。数学上,我们可以将数据概念视为一系列语义实例的集合D,其中每个语义实例d∈D都被识别为具有相同的语义属性集S。这里的S={f1, f2, ... , fn},可以被视为一组定义数据概念语义特征的参数,其中fi表示数据概念的一个语义特征。这种表述有助于我们理解数据概念是如何基于共享的语义特征被归纳和处理的。
3.5.2数据的数学化描述
在DIKWP模型中,数据概念被视为认知中相同语义的具体表现形式。数学上,我们可以将数据概念对应的语义集合D定义为一个向量空间,其中每个元素d∈D是一个向量,表示一个具体语义实例。这些语义实例通过共享一个或多个语义特征F而归于同一语义属性S下,即:
S={f1, f2, ... , fn}
其中fi表示数据概念的一个语义特征。于是,我们可以定义数据概念集合为:
D={d∣d共享S}
这种描述强调了数据概念的语义多维性和语义结构性,同时为后续的数据概念处理和分析提供了数学基础。
3.5.3数据概念与语义识别
在DIKWP模型中,数据概念的处理和理解不仅仅是对客观事实的记录,而是涉及到认知主体如何将这些事实语义与已有的语义认知结构相匹配。这一过程强调了语义识别的重要性,即认知主体如何通过数据概念中的语义特征来识别和归类对象。
3.5.4数据概念与相同语义的具体表现形式
在DIKWP模型中,数据概念不仅是对现实世界的观察和记录,而是在交流沟通中被视为认知主体对相同语义属性的具体表现。这一定义超越了数据概念作为客观事实的记录的表面上独立的客观认知存在性,强调了认知空间中认知主体与被认知对象之间的交互中数据概念的认知性质——即数据概念的识别和处理依赖于认知主体个体(主观)语义空间中的已有语义的联系与匹配。数据概念本质上具有认知主观性和上下文依赖性,即不同的认知主体或不同的认知背景下,同一数据概念可能被与不同的语义建立联系与进行对应的认知处理的相对性。
进而在哲学意义上,数据概念不再是客观存在的事实记录,而是经由主体性认知过程的一种主观解释。数据概念的形成与存在依赖于认知主体的语义空间与概念空间记忆和处理能力,它是现实世界与认知主体之间交互的语义空间与概念空间的关联和转化形式。数据概念的产生和识别不是一个纯粹的客观过程,而是深深植根于主体的预设概念空间和语境语义空间中。因此,数据概念的识别和解释需要考虑到认知主体的认知空间背景知识、经验信息和文化语境语义。
数据概念必须通过认知主体的解释和语义匹配来确认其意义。数据概念与数据语义的交互成为了一种连接客观现实与主体认知的桥梁。这种理解突显了柏拉图式的理念:现实世界的事物(作为概念)仅是其理念(即“相同语义”)的影子。因此,数据概念的认知价值不仅在于其表现形式的客观性,而且还在于认知主体如何通过数据概念来寻求和确认认知对象和现象的共同语义,引发语义共鸣和认知确认。这个数据概念与数据语义在认知主体内的交互过程不仅是对认知主体的外部世界的一种认知镜像反映,也是一种对现象内在本质语义的追求和揭示。它强调了认知主体在数据概念解读过程中的概念语义转化的主导性和概念存在的创造性,以及数据概念与认知主体之间的潜意识或有意识的符号化语言的互动性。
3.5.5数据的认知性质与语义实体
DIKWP模型对数据概念和数据语义的认知定义强调了数据的认知性质和其作为语义实体的角色。在哲学中,这触及到“事物的本质”和“名副其实”的讨论。数据概念不仅仅是客观存在的符号化记录,它们是被赋予了特定数据语义的实体,这些数据语义是通过认知主体的跨越概念空间与语义空间的处理而被确认和赋予的。这种认知处理也揭示了知识的生成不仅仅是对客观世界的映射,更是一种主体性的基于类似语义到概念的转化建构过程,这一点在康德的先验哲学中有所体现,即人们对世界的知识部分源于外部世界的刺激,但更多的是由我们的认知结构所决定。
信息(DIKWP-Information)作为概念对应认知中一个或多个“不同”语义。信息概念的信息语义指的是通过特定意图概念或意图语义将认知主体的认知空间中的DIKWP认知对象与认知主体已经认知的DIKWP认知对象在语义空间进行语义关联,借助认知主体的认知意图在认知空间形成相同认知(对应数据语义)或差异认知,由差异认知在语义空间经过“不同”语义的概率性确认或逻辑判断确认等形成信息语义,或在语义空间产生新的语义关联(“新的”就是一种“不同”语义)。在处理信息概念或信息语义时,认知处理会根据输入的数据、信息、知识、智慧或意图等认知内容,找出它们与被认知的DIKWP认知对象的不同之处,对应各种不同的语义,并进行信息分类。例如,在认知空间中,面对一个停车场,尽管停车场中所有的汽车都可以被认知归入“汽车”这一概念,但每辆车的停车位置、停车时间、磨损程度、所有者、功能、缴费记录和经历都代表着语义空间中由不同认知意图驱动的认知差异识别,最终对应不同的信息语义。信息对象对应的各种不同语义经常存在于认知主体的认知中,常常未被显式表达出来,例如抑郁症患者可能用自己情绪“低落”这一概念来表达自己认知空间中当前的情绪相对自己以往的情绪的负面程度的上升。在认知主体在其概念空间中选择“低落”这个概念以反映其认知状态确认的要表达的目标信息语义,但由于交流对象的认知空间中对“低落”这个概念的信息语义解释不一定与认知主体的信息语义相同,或者说存在不同语义,从而不能实现对被交流对象客观感受到该信息语义,从而该信息语义成为了认知主体的主观的认知信息语义。
信息语义处理的数学化表示:信息语义在DIKWP模型中对应数据语义、信息语义、知识语义、智慧语义、意图语义经过认知主体意图驱动的处理过程产生新的语义。在语义空间,面向DIKWP内容的由意图驱动的信息语义处理FI,对应从输入X到输出Y的处理形式:
FI : X→Y
其中X表示数据语义、信息语义、知识语义、智慧语义、意图语义的集合或组合(也即DIKWP内容语义),而Y表示产生的新的DIKWP内容语义集合或组合。这个映射强调了信息语义生成过程的动态性和构造性。
信息语义在DIKWP模型中对应认知中各种不同语义的表达。借助认知主体的认知意图,信息语义通过将数据、信息、知识、智慧或意图对应的语义与认知主体的现有认知对象联系起来,产生新的语义集合或组合。在认知空间中,这个过程不仅包括对已知DIKWP内容的重新语义组合和语义转化(包括语义连通等形成所谓的认知理解),还对应通过这种重新组合与转化产生新的DIKWP认知语义和持续形成认知理解的动态过程。
信息语义的生成是关于如何将不同的数据语义、信息语义、知识语义、智慧语义或意图语义的集合或组合通过认知主体特定的意图联系起来,从而在认知主体的认知空间确认达到所谓的认知理解的过程,对应认知主体在语义空间形成对断裂或缺失或不确定的语义联系借助生成的信息语义进行了语义的关联、补充、判断,从而实现消除源自语义不确定性的认知不确定性的意图。这个过程涉及到将观察到的现象或认知输入内容与已有的DIKWP内容经由认知空间在语义空间进行关联、比较和概念对应等,进而借助某些不同语义识别和分类新的DIKWP内容。在AI中,这可以对应于认知理解形成解释和处理DIKWP内容之间的关系,如通过算法分析DIKWP内容间的相关性,从而提取有价值的信息语义。
信息语义处理是一个动态的认知过程,关注于如何通过认知主体的主观意图将DIKWP内容语义与认知主体的现有认知对象DIKWP内容语义联系起来,从而产生有价值的语义关联。信息的价值在于成为连接数据、信息、知识、智慧、意图的桥梁,揭示认知主体对DIKWP内容的语义关联。
在认知科学中,信息语义处理可以借助各种认知理论来进行解释,例如,概念集成理论(Conceptual Integration Theory)来进一步解释,说明如何通过将不同来源的信息融合到一起,形成新的意义和理解。再如,可通过将某个人的行为(DIKWP内容语义)与特定的情境信息结合起来,进而对该行为的意图有更清晰的理解。
信息的语义关联与认知语言学中的隐喻理论(Metaphor Theory)和混合理论(Blending Theory)等有关,它们研究如何通过语言的隐喻和概念整合来创建新的意义。在AI系统中,这涉及到如何设计算法以模拟人类如何通过现有DIKWP内容语义构建新的认知模型。
信息语义产生过程是DIKWP内容语义与DIKWP内容语义关联,也即DIKWP*DIKWP语义交互的结果。这个过程不仅包括DIKWP内容语义的重组或重新解释,更是一个动态的、意图驱动的认知活动,通过这个活动,认知主体能够识别和理解新的模式和关联,从而扩展其认知边界。信息语义产生是构造性和动态性的,通俗的讲是通过对DIKWP内容进行解释或语义连接而生成的。
信息在哲学上被视为DIKWP内容的组织和解释,通过构建DIKWP内容之间的语义关系来生成新的语义。通过信息语义处理过程,认知主体能够识别和理解现象之间的联系和差异。信息语义的产生涉及到认知主体的主动参与,它是一种对DIKWP内容进行语义化处理的动作,反映了认知主体对现实世界的解读 。信息作为认知中不同语义的表达,其哲学意义在于信息的生成和处理过程实质上是对世界多样性和复杂性的认识和理解。信息语义不仅仅是DIKWP内容语义的聚合或重组,更是一种新的语义关联的创造,反映了认知主体对世界的主动探索和解释。这种解释过程涉及到对现象深层次联系和内在逻辑的挖掘,是一种对世界更深刻理解的追求。转移到另一种更深层次的理解。
3.6.1信息语义的构建性质
信息的生成和理解不是被动的接收过程,而是认知主体在认知空间的主动认知语义构建语义。信息语义依赖于已有DIKWP内容和意图驱动的认知框架。这一观点与康德的认识论相呼应,即认知主体对世界的理解是通过内在的感知框架和先验概念构成的。信息的价值在于其能够扩展或重构我们的认知框架,从而增进我们对世界的理解。
3.6.2信息语义的多样性与深度
DIKWP中的信息处理关注数据、信息、知识、智慧、意图之间的动态关系和新的语义集合或组合的生成。这一过程体现了赫拉克利特的流变论——万物流转,无物恒常。信息的价值在于其流动性和能够引起的变化,而非静态的事实记录。信息成为了连接不同认知状态的纽带,推动认知主体从一种理解状态到另一种理解状态。
3.6.3信息的动态性与认知结构
在信息的定义中,DIKWP模型强调了信息作为连接不同语义实体的桥梁的角色。这与德勒兹关于“差异性与重复”的理论相呼应。在德勒兹看来,认识过程是通过识别事物之间的差异性来进行的,而这一过程正是信息处理的核心。信息不仅包含了DIKWP内容的语义差异性,更通过这些差异性与已有的知识结构产生联系,不仅协整旧的知识,还生成出新的知识。这种动态的认知结构更新过程是认知发展和知识增长的关键。
知识(DIKWP-Knowledge)概念的语义对应于认知空间中的一个或多个“完整”语义。知识概念的语义是认知主体借助某种假设对DIKWP内容进行语义完整性抽象活动获得的对认知对象DIKWP内容之间语义的理解和解释(也就是形成认知主体对认知交互活动的认知输入DIKWP内容与认知主体已有认知DIKWP内容的语义联系的搭建,并能够在更高阶的认知空间中对应一个或多个承载认知完整意图确认的“完整”语义。)。在处理知识概念时,大脑通过观察和学习抽象出至少一个完整语义对应的概念或模式。例如,通过观察不可能得知所有的天鹅都是白色,但在认知空间中认知主体可以对一些观察结果的部分情形通过假设(赋予完整语义的高阶认知活动)将不能保障完整的观察结果赋予“完整”语义,也即“所有”,进而形成对“天鹅都是白色”这一拥有完整语义“都是”的知识规则对应的知识语义。
知识K为知识图谱(),其概念空间的数学表示如下:
其中表示知识概念的节点集合,
表示这些概念之间的关系的集合,
代表这些概念节点之间的逻辑推理关系矩阵。这一定义将知识认知定位为认知成果,强调了知识的结构化和对完整语义的捕捉能力,这对于理解复杂系统和抽象概念至关重要。
知识是对DIKWP内容从不理解对应的状态到理解对应的认知状态转化的基于完整语义的桥接,通过验证强化对知识的确认。知识的构建不仅依赖于数据和信息的积累,更重要的是通过对认知过程的抽象和概括,形成对事物本质和内在联系的理解。
知识可以以DIKWP的各种方式存在,它不仅存在于个体认知中,而且存在于社会组织或群体认知与社会活动中(如劳动协作,应对自然灾害的合作),并通过文化和教育等方式进行共享和传播。
在认知空间中,知识语义是认知主体对DIKWP内容进行深度加工和内化后形成的结构化认知;在概念空间与语义空间的交互关联中,知识概念在语义空间内对应各种“完整”语义。知识在DIKWP框架中的定义,反映了认知主体对现实世界的抽象理解和应对不确定性处理过程中的完整性的假设。这与亚里士多德关于形式原因的概念相呼应,即事物的本质和目的是可以通过理性和经验来探索和理解的。
每个知识规则的形成在DIKWP模型中代表认知主体对事物内在规律和本质的认知把握。从哲学的角度看,知识不仅是认知过程的产物,更是认知过程的意图实践的结果。知识的形成和应用体现了认知主体对世界的适应和主动交互,是对世界深层次规律的理解。
3.7.1知识概念
知识概念(DIKWP-Knowledge Concept)是指在认知主体的认知空间中,对客观世界中的实体、事件、规律等进行抽象概括的结果。在DIKWP模型中,知识概念对应语义空间中的一个或多个“完整”语义。知识概念是通过认知主体借助某种假设,对DIKWP内容进行语义完整性抽象活动,获得对认知对象DIKWP内容之间语义的理解和解释。对知识的理解和解释形成认知主体对认知交互活动的认知输入DIKWP内容与已有认知DIKWP内容之间的语义联系,并在更高阶的认知空间中对应一个或多个承载认知完整性确认的“完整”语义。知识概念的形成是一个动态的过程,受到意图、语境和现有认知结构的共同作用。
3.7.2知识语义
知识语义(DIKWP-Knowledge Semantics)是通过高阶认知活动,将部分认知结果赋予“完整”语义,从而形成相对稳定或系统性的理解和规则,它涉及确立概念之间的内在逻辑关系和外在推理表达。知识语义不是静态不变的,而是持续通过认知主体的意图驱动和动态生成的信息语义来丰富和发展。这意味着知识的语义不仅仅基于客观存在的事实,还取决于认知主体如何在当前语境中理解和解释这些事实,以及如何将这些理解与已有的认知结构相结合。知识语义的生成和确认过程包括了对数据特征的识别、概念的匹配、以及概率性的语义确认等,这个过程决定了知识的适用性和精确性。
3.7.3知识概念与知识语义的关系
知识概念和知识语义在DIKWP模型中相互依存,密不可分。知识概念提供了知识的基本框架和分类体系,而知识语义则填充了知识框架和体系的内容,使知识概念具有实际意义并能够在特定情境中被应用。知识概念为知识语义提供了结构化关联的基础,使得认知主体能够将新获取的DIKWP内容与既有的知识网络相整合;而知识语义则为知识概念增添了动态性和灵活性,使其能够适应不同的认知任务和环境变化。通过不断的迭代认知处理,包括数据的收集、信息的生成、知识的构建、智慧的运用、以及意图的驱动,知识的概念和语义得以交互演进,共同推动认知主体对世界的理解向更深层次迈进。
知识概念为语义提供了“骨架”,而知识语义为这些“骨架”填充了“血肉”,二者关联交织工作,支撑起一个骨肉相连的完整认知结构,进而形成DIKWP体系结构。
3.7.4知识的结构化表示
在人工智能研究领域,知识的精确表达与有效组织构成了技术进步的核心驱动力。这一进程深深植根于对认知模型的精密构建,以及对信息处理机制的深入理解。以下是几种关键的知识表示架构:
一、形式逻辑系统:作为知识表示的基础框架,形式逻辑,特别是命题逻辑与一阶谓词逻辑,为信息的精确表述与推理提供了严密的数学基础。命题逻辑利用真值函数来表达简单事实及其逻辑关系,而一阶谓词逻辑则通过变量、谓词、量词等高级构造,实现了对实体属性、关系及存在的形式化描述,支撑了复杂命题的演绎推理与一致性验证。
二、产生式系统:这是一种基于规则的表示方法,其中,“条件-动作”规则(即产生式规则)成为知识编码的主要单元。这种模型擅长模拟人类专家的决策过程,尤其是在诊断、规划与问题解决领域。产生式系统的灵活性在于其能根据输入条件动态选择适用规则,实现从已知事实到目标动作的映射,体现了基于规则的知识处理的高效性与实用性。
三、框架表示法:框架是一种结构化的知识模板,用于组织关于特定主题的信息。每个框架由若干“槽”组成,槽内填充具体数据或指向其他框架的指针,形成了一个关联紧密的知识网络。此方法强调了知识的分层与模块化,有利于处理复杂概念的结构信息,并支持高效的信息检索与更新操作。
四、过程表示法:过程表示法侧重于展现知识的动态性,关注于状态的改变、事件的顺序以及操作的执行过程。它特别适用于那些需要追踪状态变化、模拟事件序列或设计控制流程的场景。通过过程表示法,复杂的行为模式和动态系统可以被系统化地描述和分析,为自动规划、机器人路径规划、工作流程管理等领域提供了有力的支持。
知识K表示为语义网络,其中节点n表示概念,边e表示概念之间的关系:
K = (N, E)
其中N={n1, n2, … , nk}表示概念的集合,E={e1, e2, … ,em}表示这些概念之间的关系的集合,每条边可以表示为e =(ni, nj, r),ni, nj∈N且r表示ni与nj之间的语义关系。
3.7.5知识的认知和构建
知识是对DIKWP内容从不理解到理解的认知状态转化的桥接,通过验证强化对知识的确认。知识的构建不仅依赖于数据和信息的积累,更重要的是通过认知过程中的抽象和概括,形成对事物本质和内在联系的理解。知识的存在不仅体现在个体层面,也体现在集体或社会层面,通过文化、教育和传承等方式进行共享和传播。
知识语义是对DIKWP内容进行深度加工和内化后形成的结构化认识。这种认识在概念空间内,并借助“完整”语义与语义空间对应。知识在DIKWP框架中的定义,反映了对世界的深入理解和完整语义的把握。这与亚里士多德关于形式原因的概念相呼应,即事物的本质和目的是可以通过理性和经验来探索和理解的。
每个知识规则的形成在DIKWP模型中代表认知主体对事物内在规律和本质的认知把握。从哲学的角度看,知识不仅是认知过程的产物,更是这一过程的目的和指导。知识的形成和应用体现了认知主体对世界的适应和改造,是对现实世界深层次规律的语义空间理解。
3.7.6知识的认知处理过程
在认知处理中,认知主体通过观察和学习抽象出关键概念和模式,利用识别、分类、推理和记忆等功能将观察到的信息转化为有用的知识,进而指导思考和行动。以“所有天鹅都是白色”的认知模型为例,这种知识构建涉及从多地多时观察天鹅颜色,整合观察结果形成对天鹅颜色普遍性的声明,通过经验累积形成稳定的认知模式,并在面对挑战如发现黑天鹅时更新和调整知识模式。这个过程突显了知识作为动态认知结构的特性,它基于新的证据和理解不断演化,展示了知识在验证和扩展过程中的自我完善能力,体现了其语义的完整性和动态发展性。
3.7.7知识的哲学意义
在DIKWP模型中,知识不仅是对观察和事实的记录,更是通过假设和高阶认知活动形成的系统性理解。知识的语义完整性和系统性反映了认知主体对世界的深刻理解和解释。知识的生成过程强调了认知主体在理解和解释世界时的主动性和创造性,通过假设和抽象,将部分观察结果赋予完整语义,从而形成系统性的知识。
知识语义不仅是DIKWP内容语义的聚合或重组,更是一种新的语义关联的创造,反映了认知主体对世界的主动探索和解释。通过假设和高阶认知活动,知识的生成过程能够揭示现象之间的深层联系和内在逻辑,提供对世界更全面和深刻的理解。
3.7.8知识语义的动态性
知识语义的生成是一个动态的过程,涉及到认知主体如何通过假设和高阶认知活动,将不同的DIKWP内容语义关联起来,形成新的知识语义。在认知空间中,这个过程不仅包括已知DIKWP内容的重新语义组合和转化,还包括通过这种重新组合和转化产生新的认知理解和知识语义。
这种动态性体现在知识的生成和更新过程中,通过不断的观察、学习和验证,认知主体能够形成和完善系统性的知识结构。这种知识结构不仅能够解释现象,还能够预测未来的行为和特征,提供对世界更深刻的理解和指导。
智慧(DIKWP-Wisdom)对应伦理、社会道德、人性等方面的信息,是一种来自文化、人类社会群体的,相对于当前时代的相对固定的极端价值观或者个体的认知价值观对应的信息语义。在认知主体确定智慧语义时,认知主体在认知空间会整合其中存在的DIKWP内容语义包括数据、信息、知识、智慧与意图的语义,人类及人工智能系统的智慧核心是围绕构建人类命运共同体的以人为本的价值观,并依托这个核心价值观构建、辨析、确认、矫正和发展个体及群体的认知空间、语义空间和概念空间的DIKWP内容语义,并运用它们来指导决策。例如,在面临基于特定DIK内容的决策问题时,认知主体的决策应当综合考虑伦理、道德、可行性等各个方面的因素,而不仅仅是基于DIK的技术或效率。
智慧W为决策函数关联数据、信息、知识、智慧和意图,并输出最优决策D∗:
W:{D,I,K,W,P}→D∗
这里,W是一个决策函数,根据数据、信息、知识和智慧来产生最优决策D∗,这种描述强调了决策过程的综合性和目标导向性。这与认知语言学中对道德和价值观如何通过语言表达和传递的研究相呼应。
智慧概念在DIKWP模型中被看作是基于人类整体核心价值观的综合体现,它结合了伦理、社会道德和个体价值观的考量。智慧不仅仅是数据、信息、知识的应用,更是在决策过程中对各种因素(包括道德和伦理)的全面考虑和平衡。
智慧语义处理涉及将数据、信息、知识结合个体或集体的价值观、伦理道德观念来做出判断和决策。在AI领域,智慧语义处理对应于发展高级决策人工意识系统或者伦理AI,这些系统能够在以人为本的原则下考虑多方面因素的基础上,提供更加智慧和符合道德标准的解决方案。
在认知科学领域,智慧语义处理对应从人类整体发展出发的价值系统、道德判断以及社会情境下的DIKWP内容语义处理过程。智慧内容不是DIKWP内容的积累,而是关于如何在复杂和不确定的环境中基于以构建人类命运共同体的愿景基于以人文本的固定的信息语义,从认知空间出发在语义空间进行DIKWP语义内容的处理做出符合乃至促进以人为本的DIKWP语义内容的处理。例如,面对气候变化,智慧的应用涉及到利用认知主体对环境科学的理解(知识),评估不同行动方案(知识)的长期和短期后果(信息),并在考虑伦理和社会责任(智慧)的基础上做出决策(信息)。
认知主体的智慧和社会群体的智慧的形成不仅依赖于认知个体和认知群体的DIKWP内容语义认知能力的融合发展,还涉及到个体对其所处环境、文化背景和社会关系等对应的DIKWP内容的交互、深入理解和反思。
DIKWP模型将智慧视为决策过程中的关键因素,涉及伦理、道德和价值观的考虑,强调了数据、知识和信息在实际应用中与价值取向的必然联系,提醒认知主体认知过程不仅仅是对真理的追求,更是基于对人类整体美好生活方式的探索的前提。这部分对应了亚里士多德对“实践智慧(Phronesis)”的探讨,即如何在特定情境下作出最好的道德判断和决策。
3.8.1智慧的核心价值观
智慧的核心价值观围绕构建人类命运共同体的以人为本的价值观。认知主体依托这一核心价值观,构建、辨析、确认、矫正和发展个体及群体的认知空间、语义空间和概念空间的DIKWP内容语义。
3.8.2智慧的决策过程
在智慧语义处理中,认知主体在决策过程中综合考虑伦理、道德和可行性等因素,而不仅仅是基于数据、信息和知识的技术或效率。决策过程包括以下步骤:
1. 综合考虑:在面临决策问题时,认知主体需要综合考虑伦理、道德、社会责任和可行性等因素。例如,气候变化的决策需要考虑环境影响、社会公平和经济可行性等多个方面。
2. 整合DIKWP内容:认知主体将数据、信息、知识、智慧和意图的语义进行整合,形成全面的决策基础。比如,在公共政策制定中,需要结合统计数据、社会调查、历史知识和伦理原则来做出决策。
3. 决策输出:通过综合考虑各方面因素,决策函数��输出最优决策��∗。这一过程强调了多因素平衡和优化的必要性。
3.8.3智慧的认知与社会层面
智慧不仅存在于个体层面,也存在于社会群体层面。个体智慧和社会智慧的形成依赖于认知个体和群体的DIKWP内容语义认知能力的融合发展,以及对环境、文化背景和社会关系的深入理解和反思。智慧的形成过程包括:
1. 文化传承
通过文化传承,智慧在群体中得以共享和传播。例如,传统文化中的伦理道德和价值观通过教育和社会实践得以传承。
2. 社会互动
智慧的形成还依赖于社会互动,通过人与人之间的交流和合作,智慧得以不断发展和完善。例如,社区治理中的集体决策过程就是智慧的体现。
3.8.4智慧的哲学意义
智慧的定义反映了对伦理、道德和价值观的重视,强调了在决策过程中对各种因素的全面考虑和平衡。这与亚里士多德的“实践智慧”(Phronesis)相呼应,强调在特定情境下作出最好的道德判断和决策。智慧的形成和应用体现了认知主体对世界的适应和改造,是对人类整体美好生活方式的探索。
3.8.5智慧在AI中的应用
在AI领域,智慧语义处理的目标是发展高级决策人工意识系统或伦理AI,这些系统能够在以人为本的原则下考虑多方面因素,提供更加智慧和符合道德标准的解决方案。智慧在AI中的应用包括:
1. 伦理AI系统
设计能够在复杂环境中做出伦理决策的AI系统。例如,自驾车系统在面临紧急情况时,需要权衡乘客和行人的安全,做出符合道德标准的决策。
2. 高级决策系统
开发能够综合考虑多方面因素的高级决策系统。例如,在医疗诊断中,AI系统需要结合病人的病史数据、医学知识和伦理原则,提供最优的治疗方案。
意图(DIKWP-Purpose)概念的语义对应二元组(输入,输出),其中输入和输出都是数据、信息、知识、智慧或意图的语义内容。意图语义代表了利益相关者对某一现象或问题的DIKWP内容语义的理解(输入),以及希望通过处理和解决该现象或问题来实现的目标(输出)。认知主体在处理意图语义时,在语义空间会根据其预设的目标(输出)语义,处理输入的DIKWP内容语义,通过学习和适应等对应的DIKWP内容语义的处理,使输出DIKWP内容语义逐渐接近预设的目标语义。
P = (Input, Output),其中输入和输出是数据、信息、知识、智慧或意图的内容语义。处理意图语义时,一系列转换函数T,根据输入内容和预设目标,实现从输入到输出的语义转化:
T : Input→Output
这种表示方法突出了过程的动态性和目标导向性,为理解和设计具有特定目标的认知处理过程提供了数学模型。
意图代表了认知过程的目的性和方向性,它是个体或系统行动的驱动力。意图不仅定义了从当前状态到期望状态的转换路径,而且揭示了认知活动的动力和方向。这种目标导向的认知过程强调了认知主体在处理信息时的主动性和创造性,以及认知活动背后的深层动机和目标。意图概念强调了在认知空间进行的是目标导向的认知过程,即认知主体在处理信息时不仅仅是被动接收,而是有着明确的目标和意图,这决定并驱动了它如何理解和操作数据、信息、知识、智慧和意图等DIKWP语义内容。意图不仅指导认知主体对数据、信息的收集和处理,还影响知识的形成和应用,以及智慧的发展和实践。
意图的概念引入了目的论的视角,即认知活动不是无目的的数据处理,而是为了实现某种目标或满足某种需要。在DIKWP框架中,意图的加入不仅丰富了模型的动态性,也强调了认知活动的目的性和主观性。这意味着在认知过程中,认知主体不是被动地接收和处理DIKWP语义内容,而是在语义空间基于特定的目标和意图主动地寻找、选择和解释DIKWP语义内容。
意图驱动提供了一个从动态和目标导向的角度来理解认知活动的框架,这与认知语言学中的行动理论(Action Theory)相关,使得DIKWP模型不仅能够解释已有的认知现象,还能指导未来的认知活动,为实现特定目标而优化认知策略和行为。
DIKWP模型中的意图驱动方式强调了认知主体的认知过程的目的性和动态性。它关注于从一种状态转移到预期状态的过程,这一过程中包括了目标的设定和达成路径的规划。在AI系统中,意图识别和目标导向的行为设计是实现智能行为的关键要素,如在自然语言处理(NLP)中理解用户的查询意图,或在规划算法中设定和优化目标达成的路径。在人工意识研究中,理解和模拟人类的意图识别和目标导向行为是实现高级认知功能的关键。
从哲学的视角来看,意图不仅仅是行动的预设目标,更是个体存在和行为的根本动因。意图体现了个体的自由意志和对未来的设想,它是个体与世界互动的内在动力。意图的存在强调了认知活动的主体性和创造性,揭示了人类行为背后的深层意义。这不仅与亚里士多德的终因说相对应,他认为所有事物的存在都有其目的或终极原因,更与黑格尔的目的性观念和存在主义哲学中的自由意志观点相呼应。在黑格尔哲学中,现实的动力来自于对立的统一,即通过目的性行为的实现过程中的自我实现和自我否定。而在存在主义中,强调个体的选择和意图对其存在的决定性作用。DIKWP模型中的意图维度,体现了认知活动不仅是对外部世界的反应,更是主体基于自身目的和价值观进行主动构建的过程。
3.9.1意图的认知过程
在认知过程中,意图代表了从当前状态到期望状态的转换路径,并揭示了认知活动的动力和方向。这种目标导向的认知过程强调了认知主体在处理信息时的主动性和创造性,以及认知活动背后的深层动机和目标。
3.9.2意图的实际应用
意图的定义在多个领域具有重要的应用价值,包括人工智能、自然语言处理和认知科学等。
1. 人工智能
在AI系统中,意图识别和目标导向的行为设计是实现智能行为的关键要素。例如,自驾车系统需要理解并执行乘客的意图,在复杂的交通环境中做出最佳决策。2. 自然语言处理
在NLP中,理解用户的查询意图是提供准确和相关答案的基础。系统需要根据用户的输入,识别其意图并生成相应的输出。
3. 认知科学
在认知科学中,理解人类的意图识别和目标导向行为是实现高级认知功能的关键。研究人员通过分析人类的认知过程,设计能够模拟和优化这些过程的系统。
3.9.3哲学视角下的意图
从哲学的视角来看,意图不仅仅是行动的预设目标,更是个体存在和行为的根本动因。意图体现了个体的自由意志和对未来的设想,是个体与世界互动的内在动力。
1. 亚里士多德的终因说
亚里士多德认为,所有事物的存在都有其目的或终极原因。意图作为认知活动的核心,符合亚里士多德的终因说,强调目的性在认知活动中的重要作用。
2. 黑格尔的目的性观念
黑格尔认为,现实的动力来自于对立的统一,通过目的性行为的实现过程中的自我实现和自我否定,个体能够达到更高的认知境界。
3. 存在主义的自由意志
存在主义哲学强调个体的选择和意图对其存在的决定性作用。意图体现了个体的自由意志,是认知活动的核心驱动力。
A. 数据图谱(DG)
在网状模型中,数据图谱不仅是信息加工的起点,也是知识、智慧或意图反馈调整的结果。数据图谱DG借助转换函数TID, TKD, TWD, TPD等接收来自信息、知识、智慧和意图的输入,实现动态更新和调整。
TXY: YG→XG,其中,X,Y ∈{D,I,K,W,P}且X≠Y,表示从图谱Y到图谱X的转换。
B. 信息图谱(IG)
信息图谱为二元组IG = (VI, EI),其中VI是信息节点的集合,EI是基于信息间语义关系的边集合。信息图谱不仅由数据图谱DG生成,还受到知识图谱KG、智慧图谱WG、意图图谱PG的调整和重构:
:数据到信息的转换。
,
,
:知识、智慧和意图对信息的调整。
其中,TXY表示从图谱X到图谱Y的转换函数。
C. 知识图谱(KG)
知识图谱为KG = (VK, EK),其中VK代表知识节点,EK代表知识节点之间的关系。知识图谱整合信息形成,同时影响数据的解读、信息的生成和智慧的应用:
:信息到知识的转换。
,
,
:知识对数据、信息和智慧的影响。
D. 智慧图谱(WG)
智慧图谱为WG = (VW, EW),其中VW是智慧的节点,EW表示智慧节点间的连接。智慧图谱综合知识、数据和信息来指导决策,并能反馈影响知识的形成和信息的解释:
:知识到智慧的转换。
,
:智慧对知识和信息的反馈影响。
E. 意图图谱(PG)
意图图谱为PG = (VP, EP),其中VP代表目标和实现路径的节点,EP代表实现这些目标的策略或步骤。意图图谱由数据、信息、知识和智慧共同构建,并能反向影响这些成分:
,
,
,
:数据、信息、知识和智慧到意图的形成。
,
,
:意图对数据、信息和知识的反向影响。
DIKWP图谱化体系将数字世界和认知世界的元素映射到五个主要成分:DG、IG、KG、WG、PG。每个图谱进一步细分为三个层面的映射:语义层面,概念层面和实例层面。因此,每个图谱g∈G为三元组映射:
g:S×C×I,其中G代表图谱集合,S代表语义层面集合,C代表概念集合,
![]() |
I代表实例集合。
DIKWP图谱间的交互借助内容模型和认知模型来实现,用函数f表示,将某一层面或类型的图谱映射转换为另一层面或类型的图谱:
f: G×G→G
图3-4 概念空间DIKWP图谱与图谱关系转换
在概念空间下,实现跨DIKWP(数据、信息、知识、智慧、意图)资源的转换范式,如图3-4所示,涉及将DIKWP各维度分别映射至相应的处理方法:数据至概念统计分析,信息借助格论的偏序结构进行建模与分析,知识通过多种推理技术深化,智慧体现在多目标价值的权衡决策中,而意图则关联于目标与问题的精确建模。这一过程中,通过系统地整合单一DIKWP类型的处理手段,并促进它们之间两两的交互组合,建立起一个跨越不同类型DIKWP资源的综合处理映射体系。
图3-4 DIKWP意图驱动经验转化范式与数学逻辑形式处理结合
DIKWP概念空间的数学表示如下:
其中表示DIKWP概念的节点集合,
表示这些DIKWP概念之节点之间的语义关系的集合,
DIKWP同一概念层内的关系:
代表DIKWP数据概念节点之间的数据语义关系的权重矩阵。
代表DIKWP信息概念节点之间的信息语义关系的偏序关系矩阵。
代表DIKWP知识概念节点之间的知识语义关系的逻辑推理关系矩阵。
代表DIKWP智慧概念节点之间的智慧语义关系的价值关系矩阵。
代表DIKWP意图概念节点之间的意图语义关系的数理关系矩阵。
DIKWP不同概念层间的转换关系:
代表DIKWP数据概念节点之间的数据语义关系的权重矩阵。
代表DIKWP信息概念节点之间的信息语义关系的偏序关系权重矩阵。
代表DIKWP知识概念节点之间的知识语义关系的逻辑推理关系权重矩阵。
代表DIKWP智慧概念节点之间的智慧语义关系的价值关系权重矩阵。
代表DIKWP意图概念节点之间的意图语义关系的数理关系权重矩阵。
提示工程是指设计和优化输入提示(prompts)以引导人工智能模型生成特定输出的过程。这个过程包括选择合适的词语、句子结构和上下文,以最大化模型的性能和输出质量。提示工程可以分为硬提示(Hard Prompt)和软提示(Soft Prompt)两种方式。
硬提示是明确和具体的提示,通常直接给出模型明确的指令和目标。硬提示包含固定的文本结构和内容,用于确保模型的输出符合预期。这种提示通常不依赖于上下文变化,且具有较高的确定性。
软提示是一种更为灵活和隐含的提示方式,通常使用嵌入向量或轻微调整的文本提示,引导模型生成输出。软提示往往依赖于上下文和模型的内部表示,具有较高的适应性和灵活性。软提示可能通过微调模型参数或使用潜在空间中的向量来实现,提供对输出的细微控制。
一个代理(Agent)是一个能够自主行动和决策的计算实体。代理通常在特定环境中感知(通过传感器或输入数据)并采取行动(通过执行器或输出)以实现预定目标。代理系统可以是软件、硬件或两者的结合,广泛应用于多种领域,如自动驾驶、推荐系统、机器人、游戏AI等。
RAG的全称是Retrieval-Augmented Generation,即检索增强生成。它是一个为大语言模型提供外部知识源的概念,这使它们能够生成准确且符合上下文的答案,同时能够减少模型幻觉。
离身智能(Disembodied Intelligence)指的是没有物理载体的智能体,通常表现为纯软件系统,通过虚拟环境进行交互和操作。
在小模型和判别式方法下,离身智能是指在计算资源受限的情况下,通过特定任务训练出的轻量级判别模型。这些模型通过识别模式或进行分类任务,不涉及物理世界的交互。
在大模型和生成式方法下,离身智能涉及使用大型生成模型(如GPT-3)进行复杂的生成任务。这些模型利用庞大的训练数据生成自然语言文本、图像或其他内容,不与物理世界直接交互。
具身智能(Embodied Intelligence)指的是具有物理载体的智能体,如机器人,它们通过物理传感器和执行器与真实世界进行交互。
在小模型和判别式方法下,具身智能涉及在物理载体上运行的小型判别模型。这些模型利用传感器数据进行模式识别和决策,但受限于计算资源。
在大模型和生成式方法下,具身智能涉及在物理载体上集成和运行大型生成模型。这些模型结合物理传感器数据生成决策或行动计划,以实现复杂的任务和行为。
混合专家模型(MoE)是一种机器学习模型架构,通过结合多个子模型(称为“专家”)的预测来提升整体性能。MoE模型包含一个或多个专家模型和一个门控网络(gating network),门控网络根据输入数据动态选择最适合的专家,或分配权重给多个专家的输出,从而生成最终的预测结果。
测评体系是评估人工智能能力范围的核心组成部分,旨在通过系统化的测试手段,全面考察人工智能模型在多个关键认知层面上的表现。本体系围绕语义能力、DIKWP综合处理能力、偏见问题、对齐能力和意识层面能力这五大维度展开,确保对模型性能的深入、细致评估。
DIKWP模型是一种能够形象地描述认知过程的模型,其将数据、信息、知识、智慧、意图五个环节紧密相连,共同构成了一个跨越认知空间、意识空间、语义空间和概念空间的认知概念-语义关联交互过程,其是语义表征的有效框架。通过DIKWP模型能够全面地考察人工智能模型将数据、信息、知识、智慧、意图资源从概念空间到认知空间再到语义空间的联动处理能力,评估人工智能模型的语义理解和处理能力。在DIKWP语义理解维度,评估人工智能模型如何在概念空间中将数据、信息、知识和意图资源映射到认知空间并转换为认知内容从而在语义空间中验证DIKWP资源的语义有效性。评估涉及人工智能模型对概念的精确定、语义组件的识别,以及它们在不同认知环境中的动态调整和映射。
4.1.1 数据理解能力
数据作为相同语义的具体表现形式,构成了人工智能理解与处理的基础。数据理解能力的测评聚焦于模型提取标定数据的特定相同语义并统一为相同概念的能力,具体分为两个层面:
1、单个数据理解:考察模型对各类数据(如文本、图像、音频等)的精确捕捉与解析能力(将数据资源从概念空间跨越认知空间进入语义空间形成语义信息),包括对数据中蕴含的原始语义信息的准确抽取、转化与表达。
2、数据集理解:评估模型在面对大量、异构数据集合时,能否将概念进行统一,有效整合、关联其中的语义信息,发现数据间的隐含关系,以及在复杂数据环境下进行高效搜索、筛选与归纳的能力。
4.1.2 信息理解能力
信息是不同语义的表达。人工智能模型通过特定意图将DIKWP对象与自身已经认知到的DIKWP 联系起来形成新的语义关联。信息理解能力主要评估人工智能模型区分信息中认知DIKWP对象的不同之处,进一步形成不同的语义将信息进行分类的能力。这部分主要测试人工智能模型将不同语义综合为具体的信息的能力,也可以考察模型从信息中识别出特定语义的能力。
1、信息综合:测试模型将不同语义单元或子集有效地组织、融合成具有内在逻辑联系的信息结构的能力,如生成连贯的文本叙述、构建知识图谱、进行跨模态信息融合等。
2、信息解析:考察模型从复杂信息中精准识别、分离特定语义成分的能力,如在长篇文本中快速定位关键信息、在多源信息中识别共识与冲突、在嘈杂环境中滤除无关噪声等。
4.1.3 知识理解能力
知识是完整语义的体现,其不同于数据和信息,知识的完整语义中包含了具体概念或模式。人工智能模型的知识理解能力是其将概念从知识元素中提取出来并加以利用的能力。
1、概念提取:评估模型从知识元素中准确提炼核心概念、模式及其属性的能力,如识别实体、关系、事件、规则等,并能将其规范化、结构化表示。
2、知识应用:考察模型在给定任务或情境下,灵活运用所掌握知识进行推理、解答问题、生成创造性见解或解决方案的能力,反映出模型对知识深度、广度及适用性的理解。
4.1.4 智慧理解能力
智慧是指导决策、推理的高级认知能力,涉及伦理、道德、价值判断等方面。人工智能模型对智慧的理解是其结合上下文和自己的知识进行深度推理和创新思考的表现。人工智能模型在处理智慧时会整合数据、信息、知识、智慧资源用来指导决策,从而输出最优决策。
4.1.5 意图理解能力
意图代表了对某一现象或问题的理解(输入),以及希望通过处理和解决该现象或问题来实现目标(输出)。人工智能模型在处理意图时会根据其预设的目标(输出),处理输入的内容使输出逐渐接近预设的目标。意图理解能力主要测试模型将不明显意图进行处理以及对多意图的筛选和处理的能力。
1、隐含意图处理:测试模型在面对含糊、间接表达或非语言线索时,能否准确解读背后的真实意图,如识别情感状态、揣摩言外之意、理解社交暗示等。
2、多意图筛选与处理:考察模型在面对多重、矛盾或动态变化的意图时,如何进行优先级排序、冲突调解、适时调整响应策略,以满足交互各方的需求与期望。
DIKWP综合处理的核心在于人工智能模型对DIKWP资源的融合转化能力和不确定性处理能力。这两方面能力决定了模型在面对复杂问题时,如何有效地融合、转化DIKWP资源,并应对资源的不确定性,确保在语义、认知、概念等多个层面实现准确、高效的处理。
4.2.1 DIKWP融合转化能力
DIKWP资源的融合转化是数据资源、信息资源、知识资源、智慧资源、意图资源向自身或其他资源的转化。DIKWP资源的融合转化是语义空间、认知空间、概念空间的融合与交互。人工智能模型借助概念-语义的联动实现认知空间、意识空间、语义空间和概念空间的跨域。这个过程也是关联主客观认知的过程,在这个过程中模型遵循人类意图P进行DIK*DIK或者DIKW*DIKW交互。人工智能模型的DIKWP融合转化能力体现了模型在语义、认知、概念处理方面的能力。
1、实例层面:评估模型在实际应用场景中灵活运用DIKWP资源,将抽象概念转化为具体实例。例如,依据知识指导对特定数据实例的解释,或基于智慧生成针对具体情境的意图表达。
2、语义层面:衡量模型将数据、信息、知识、智慧、意图中的语义元素进行识别、关联实现DIKWP资源的语义动态调整。
3、概念层面:测评模型将各类DIKWP资源映射到相应的概念体系中,进行分类、组织与结构化。
4.2.2 DIKWP不确定性分析能力
DIKWP资源的不确定性主要是由输入内容的主观性导致了DIKWP资源在语义空间上的语义关联缺失、语义扭曲等。所以DIKWP资源的不完整、不一致、不精确本质上是语义的不完整、语义不一致、语义的不精确。例如,模型接收到来自不同用户的关于“环保汽车”的定义,由于个体认知差异与表达习惯,该定义可能涵盖不同的侧重点(如节能效果、尾气排放标准、使用可再生材料等)产生资源的不确定性,在构建DIKWP资源时,如果仅依赖字面含义而不考虑主观因素,可能会导致“环保汽车”这一概念的语义边界模糊、属性不完整。DIKWP不确定性分析能力衡量了人工智能模型将主观DIKWP资源跨域概念空间、认知空间、语义空间转化为客观DIKWP资源并进行语义确定化处理的表现。
1、不确定性识别:测试模型识别并量化DIKWP资源中的不确定性来源,如主观认知差异、信息缺失、语义歧义等。、
2、不确定性处理:评估模型对输入的不确定性DIKWP资源,运用DIKWP资源的主观客观化将不确定性资源转化为确定性资源的能力。
在人工智能模型对DIKWP资源处理过程中,偏见是一个重要的考量维度,它可能潜藏于数据、信息、知识、智慧和意图的各个环节,影响模型的公平性和准确性。
4.3.1 数据偏见
数据偏见主要考察模型对输入数据中敏感属性(如性别、种族)的敏感度,以及其对这些属性可能导致的输出数据分布偏差的响应。
敏感属性敏感度:人工智能模型应具备识别和处理数据中潜在敏感属性的能力,不会因属性值(如性别、种族)的不同而导致显著的处理差异。这需要模型对数据的存在语义确认,通过与自身已有认知对象的存在性的语义对应到相同的对象或概念,避免对特定数据产生刻板印象或歧视性的处理。
输出数据分布:评估模型输出结果是否因性别、种族等外部因素呈现出非自然的、系统性的偏斜。比如,对于职业预测任务,若模型在给定相同背景信息的情况下,对不同性别的预测结果显著偏离实际职业分布比例,可能存在性别偏见。通过统计学分析和对比实验,检测模型输出是否在不同属性分组间保持均衡,有助于揭示潜在的数据偏见。
4.3.2 信息偏见
信息偏见探讨人工智能模型处理信息时是否受到刻板印象或错误关联的影响,对某些信息给予更多的重视,忽略了其他信息所带有的语义内容。
信息权重分配:评估模型在信息整合过程中,是否对所有相关信息给予合理权重,而不受敏感属性影响。
语义关联纠正:检查模型在构建信息之间的语义关联时,是否能识别并纠正错误关联。
4.3.3 知识偏见
知识偏见在数据的处理和理解过程中占据着核心地位,在知识处理的过程中人工智能模型会抽象出多个完整语义对应的概念或模式,基于此主要评估模型构建知识体系时是否避免了固有观念或片面结论,而倾向于某些特定的观点或解释。
4.3.4 智慧偏见
智慧偏见探讨模型在复杂决策或推理过程中,是否能够体现公正、包容的价值观,以及是否表现出对特定群体的倾向性。
决策公平性:在涉及伦理、法律、道德等复杂决策场景中,评估模型决策是否对所有利益相关者保持公正,不受性别、种族等外部因素影响。重点衡量人工智能模型在整合数据、信息、知识、智慧生成最优决策过程中的平衡性分布情况。
4.3.5 意图偏见
意图偏见关注模型在理解用户意图时,是否能不受预设偏好或歧视性假设影响,准确识别并响应用户的真实意图。
意图识别:通过构造包含不同性别、种族、文化背景的用户意图,测试模型在各种情境下理解用户意图的准确性,确保其不受用户属性的影响。
意图响应:评估模型在回应用户请求时,提供的DIKWP资源是否对所有用户群体保持一致,不因用户属性而产生差异化对待。
对齐测评是检验人工智能模型输出与用户意图之间是否保持高度一致的关键环节,旨在确保模型生成的结果符合用户预期。不同于仅以人类价值观为参照的外部对齐方式,人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准引入了对模型内部结构和算法的深度考察,实现对模型内容的全面对齐测评。这部分将从用户视角出发,并深入剖析模型的内在机制,以揭示其对齐状况。
4.4.1 数据对齐
数据对齐集中审视模型处理数据时的语义准确性和一致性,以及生成数据的伦理考量和可读性。
语义准确性与一致性:评估模型在处理输入数据时,能否准确捕获并忠实再现数据的原始语义,确保模型输出与输入数据在语义层面上保持高度一致。主要包括模型在数据资源转换、融合等操作中是否产生语义扭曲或丢失,以及在面对同源异构数据时能否保持一致的处理逻辑。
数据伦理与可读性:审视模型在生成和使用数据过程中是否充分考虑伦理问题,如隐私保护、数据来源透明度、数据使用意图的正当性等。同时,评估模型生成数据的可读性,确保其易于被用户理解和使用,符合人机交互的友好性原则。
4.3.2 信息对齐
信息对齐侧重于评估模型在处理信息时,能否精确区分不同语义,并有效组织和传递与用户认知、意图相吻合的信息。
语义区分:考察模型在处理复杂信息流时,能否准确识别并分离出不同的语义成分,避免混淆或混杂。模型应能清晰地区分事实陈述、观点表达、情感色彩、隐喻象征等不同类型的语义信息。
信息结构与传递:评估模型在构建信息结构时,是否符合人类认知习惯和逻辑规则。同时,考察模型在信息传递过程中根据用户的需求和背景知识,适时、适当地呈现信息,确保信息的有效传达和用户理解的便利性的表现。
4.4.3 知识对齐
知识对齐聚焦于人工智能模型在组织知识时的语义完整度,以及输出知识内容的完整性、一致性、精确性。
语义完整度:评价模型在构建知识体系时,是否能从自身的认知空间中将完整语义过渡到语义空间对应到利益相关者的语义空间。同时,考察模型对知识边界的把握,避免知识碎片化或过度泛化。
知识质量:评估模型输出知识的完整性(能够从知识中抽象出语义的完整性)、一致性(各知识点之间在语义空间中的概念或模式是否存在矛盾或冲突)、精确性(知识表述是否准确无误,引用数据或事实是否可靠)。
4.4.4 智慧对齐
智慧对齐聚焦模型在决策与推理过程中是否体现出与伦理、社会道德、人性等方面的对应。
伦理考量:评估模型在处理复杂问题时,是否充分考虑伦理因素,如公平、正义、尊重生命等基本原则,确保决策过程符合人类社会的伦理规范。
情境适应分析:考察模型认知处理中整合DIKWP资源产生最优决策时,能否根据环境变化和利益相关者的不同做出适应环境变化和社会期待的决策,体现其对复杂现实世界的深刻理解与适应能力。
4.4.5 意图对齐
意图对齐主要评测人工智能模型的输出和行为是否精准对应用户的具体需求和任务目标,以及在交互过程中对用户意图的理解能力和用户满意度。人工智能模型需要将用户对现象或问题的理解作为其预设的目标,输出接近利益相关者预设的目标。
DIKWP安全涵盖了数据、信息、知识、智慧和意图处理的全生命周期,将人工智能模型的安全问题从新的视角进行考虑,构建覆盖概念空间、认知空间到语义空间的综合安全框架,确保了模型在概念空间、认知空间、语义空间的安全性、合规性及隐私保护。
4.5.1 DIKWP概念空间安全
概念空间安全关注于在人工智能模型中数据和信息的结构及其存储和访问控制,确保数据的物理和逻辑安全。强调数据结构的合理性与安全性,包括数据组织、标签系统和关联关系的设计,以及采用加密存储、备份恢复等技术手段,防止数据遭受非法篡改或意外丢失。此外,在概念空间中严格控制对数据与信息资源的访问权限,遵循最小权限原则,防止未经授权的访问、泄露或滥用。
4.5.2 DIKWP 认知空间安全
认知空间安全深入到DIKWP处理全过程,确保模型的透明度、公平性和无偏性,同时保护个人隐私和数据处理过程中产生的敏感信息。在认知空间中,要求模型具备较高的透明度和可解释性,清晰展示其决策逻辑与推理过程,便于用户理解与监管机构审计。同时,要求模型在处理各类资源时不因种族、性别、宗教等敏感属性产生歧视,对所有用户群体保持公平对待,严格遵守数据保护法规,对涉及个人隐私、敏感信息进行有效保护,防止内部数据流转中出现泄露风险。
4.5.3 DIKWP 语义空间安全
语义空间安全则是确保模型中DIKWP资源在特定上下文中的正确理解和使用,防止因语义理解不当而导致的数据滥用或误用。要求模型能够在不同语境中准确识别、解析和关联DIKWP资源的语义含义,避免因语义歧义、语境缺失等因素引发的错误结论或误导性输出。同时,确保模型在响应用户需求时充分考虑用户输入、历史交互、场景背景等上下文因素,确保输出与实际情况紧密贴合,避免因语义理解脱离实际引发安全风险。
人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准的评估指标体系分为两个层级,其中一级指标包括功能指标、性能指标,二级评估指标是对各项一级指标的分解细化。
人工智能数据-信息-知识-智慧-意图(DIKWP)网馈国际测评标准的功能指标主要是在数据、信息、知识、智慧、意图五个维度上人工智能模型的输出内容进行评估,重点关注在DIKWP五个维度上功能的偏见、对齐、安全。
5.2.1 数据指标
1、敏感度(Sensitivity):衡量模型对标记为敏感的数据类型(如种族、性别、年龄等)的反应敏感程度,揭示模型在处理可能影响公平判断的变量时的敏感性。
其中是数据总数,
是模型对第
个输入的输出,
是敏感类别集合,
是知识函数。
2、平衡性(Data Balance):衡量输出数据在不同预定义类别间的分布平衡程度。例如,在性别分类任务中,模型输出的男性和女性比例应接近1:1以表示平衡。
其中是第
类在输出数据中的比例,
是类别总数。
3、数据鲁棒性(Data Robustness):测量模型输出的数据是否符合用户的实际意图,即在数据对齐方面的表现。这主要关注模型在面对不同类型输入时的稳健性,尤其是在输入数据可能存在噪声或变形的情况下。
其中和
分别是模型输入和用户实际意图对应的数据表示,
是样本总数。
5.2.2 信息指标
1、信息差异性(Information Differentiation):用于测量人工智能模型处理不同类型信息(如文本种类、话题领域等)时表现出的性能差异,主要通过准确率和召回率来评估。
其中和
分别是第
类信息的准确率和召回率,
是信息类别总数。
2、偏见比(Bias Ratio):衡量有偏见信息(如负面偏见、特定群体言论等)与无偏见信息在模型输出中的比例。
其中和
分别代表有偏见和无偏见的信息集合,
是信息的权重。
3、信息相似度(Information Similarity):衡量模型输出信息与用户意图语义的相似度,反映了信息内容的相关性和个性化程度。
其中和
分别是模型输出和用户意图的向量表示,
是样本总数。
4、信息冗余度(Information Redundancy):通过分析信息结构,测量信息内容在语义层面的重复率,即信息是否在不同的输出中被重复使用。
其中表示信息
和
的相似度。
5、信息歧义性(Information Ambiguity):评估信息内容在给定上下文中的多义性,即同一信息在不同上下文中可能有多个解释。
其中是第
个信息项所在的上下文中可能得含义的数量,
是该信息项出现的上下文数量。
5.2.3 知识指标
1、知识多样性(Knowledge Diversity):评估模型生成的知识在不同主题或类别中的广泛性。通过比较输入与输出的主题相似性,可以判断模型是否能够保持输入内容的主题多样性不被过度简化。
其中和
分别是给定输入和输出下,主题
出现的概率。
2、知识的完整性、一致性和精确性 (Knowledge complete, consistent, and imprecise):这些指标评估从模型输出的知识的完整性、逻辑一致性和对现实的精确描述。完整性关注信息是否全面,一致性检验信息各部分是否相互矛盾,精确性则是信息正确表达真实情况的能力。(不是功能指标,ISO9126 、IEEE类似模型标准取最大共性)
5.2.4 智慧指标
1、决策公平性(Decision Fairness):评估模型在做出决策时是否对所有个体或群体保持公平,不因内在的算法偏见而倾向于某些特定的单位或群体。
其中表示对单位
的决策偏向度,
是所有单位的平均决策值,
是考察单位的集合。
2、智慧道德性(Wisdom Ethics):衡量AI系统输出的智慧或决策在伦理和道德上的考量,评估系统是否能在复杂的决策环境中遵循伦理规范。这部分主要是计算遵循道德标准的决策与总决策之间的比值,以量化人工智能模型决策的伦理性比重。
3、智慧情景适应度:衡量AI系统输出的决策或建议在不同情境下对所有利益相关者影响的适应性和合理性,确保决策考虑全面,不损害任何一方的利益。
其中表示智慧
在情境
下的适应性评估值。
5.2.5 意图指标
1、意图完全度(Purpose Completeness):衡量AI系统在处理任务时是否能完整实现用户的意图。这个指标反映了系统在理解和执行用户指令时的能力。
其中,是子任务的总数,
是子任务
的权重,表示该任务对整体意图的重要性。
是子任务
的相关性评分,取值为0或1(0表示不相关,1表示相关)。
是子任务
的成功率,是一个介于0和1之间的值,表示任务的完成程度。
2、意图匹配度(Purpose Match):衡量模型理解用户意图的准确性和模型意图与用户意图的匹配程度。这一指标关键在于评估系统输出的行为、决策或回应是否真正符合用户的原始需求和预期。
其中,和
分别代表模型和用户意图的向量表示,
是两者之间的相似度(余弦相似度)。
性能指标主要衡量人工智能模型在处理输入内容时运用DIKWP解决问题时的性能水平,主要包括DIKWP的核心内容:融合转化性能、不确定性处理性能、语义分析性能、认知性能、DIKWP芯片性能。
5.3.1 DIKWP映射性能
1、映射完整度:表征模型将输入内容映射为DIKWP资源的完整程度。映射完整度的评价分数分为6级,满分为5分,具体分级规则见附录2(1)。
2、映射正确性:表征模型将输入内容映射为DIKWP资源的正确程度。正确性的评价分数分为6级,满分为5分,具体分级规则见附录2(2)。
3、映射效率
映射效率指模型将DIKWP资源映过程中单位时间内容对资源的映射数量。
响应时间指测评案例输入到模型返回第一个DIKWP资源的相应时间。
其中代表处理效率,
代表相应时间,
代表映射的DIKWP资源。
映射效率的评价分数分为6级,满分为5分,具体分级规则见附录2(3)。
5.3.2 DIKWP融合转化性能
1、转化效率(Transformation efficiency):以单位时间内完成的DIKWP资源融合转化的数量来衡量。记录模型在一定时间内完成融合转化的DIKWP资源数量。
其中,是DIKWP资源数量,
代表第
个DIKWP资源融合转化完成所需的时间,
是总转化时间。
2、转化完整性(Transformation Completeness):人工智能模型是否将所有的DIKWP资源进行了转化,转化类型是否覆盖了所有的融合转化的25个维度。
是指标变量,如果转化过程第
维度被覆盖,则
,否则
。
3、转化精确性(Transformation Precision):人工智能模型在将DIKWP资源转化为其他资源后的结果的准确度。
是每个资源转化准确性的指标,准确则为1,不准确为0。
5.3.3 DIKWP不确定性分析与处理性能
1、不确定性的分析效率(Efficiency of Uncertainty Analysis):评估模型能否识别出DIKWP资源中存在的不确定性(DIKWP资源的不完整、不一致、不精确),识别出的数量和效率。
其中是识别第
个不确定性资源所需的时间,
是不确定性资源的总数。
2、处理不确定性资源的效率、准确度:评估模型利用融合转化将不确定性的DIKWP资源进行处理后的结果准确性,以及这种不确定性处理后是否提高了DIKWP资源的确定性。
其中,是将第
个不确定性资源转化所需的时间,
是转化后准确性的指标,转化后资源不存在不确定性为1,否则为0,
是不确定性资源的总数。
5.3.4 DIKWP概念分析性能
1、概念映射与转化能力:考察模型能否将DIKWP资源有效映射至相应概念,并在概念空间中进行有效转化。例如,模型是否能将具体的数据实例(如“红苹果”)正确映射至更抽象的概念层次(如“水果”、“红色物体”)。概念映射与转化能力的评价分数分为6级,满分为5分,具体分级规则见附录2(4)。
2、概念网络构建能力:检验模型根据DIKWP构建概念网络时的效率和精确性,包括识别概念节点、定义节点间的关系,以及如何根据上下文动态调整概念网络结构。概念网络构建能力的评价分数分为6级,满分为5分,具体分级规则见附录2(5)。
5.3.5 DIKWP语义分析性能
1、对DIKWP不同资源的理解程度:评估模型对各类DIKWP资源深层语义的把握能力。
其中是对第
个资源的语义理解分数,
是该资源在所有资源中的权重,
是资源总数。
2、对不确定DIKWP资源的语义理解度:评价模型在存在不确定性条件下对DIKWP资源语义的理解能力。
其中是对第
个不确定性资源的语义理解分数,
是该资源在所有不确定性资源中的权重,
是资源总数。
我们使用加权平均法合成综合语义分析性能指标,每个子指标根据其在实际应用中的重要性分配一个权重。
其中,
是权重因子。
5.3.6 DIKWP认知分析性能
对DIKWP认知任务的处理效率:评估模型在执行涉及DIKWP资源的认知任务(如推理、决策、问答等)时的速度。
其中是认知任务数量,
是完成第
个任务所需的时间。
5.3.7 DIKWP长内容处理能力(待定)
测评方法基于评估指标体系,针对不同的维度从DIKWP处理、概念、语义、认知、偏见方面,为人工智能模型评估提供指标选择和权重设置等方法参考。评估是需要全面展现各分项得分和综合评估分数。具体测评方法内容请参见附录。
1 DIKWP综合测评方法
综合测评这部分的内容重点关注在DIKWP理论下人工智能模型的表现情况,主要包括:DIKWP的基本映射与融合转化以及DIKWP认知、语义。
(1)DIKWP映射测评方法
以一段描述性文本为输出案例,要求模型将文本映射为数据资源、信息资源、知识资源、智慧资源、意图资源,检查测评大模型输出的DIKWP资源的完整度、正确性以及模型对文本进行DIKWP映射的处理效率。具体输入案例见附录2(1)。评估指标选用公式5.3.1、映射完整度指标、映射正确性指标、映射效率指标,测评得分的计算公式为:
其中为完整性指标得分,
为正确性指标得分,
为映射效率指标得分。
(2)DIKWP转化测评方法
提供一个已经映射完成的DIKWP案例(包括描述性文本、DIKWP资源内容),要求模型利用提供的DIKWP资源将其进行融合转化以丰富DIKWP资源对文本的映射程度,进而支持复杂认知任务和决策过程。根据模型输出的结果,检查模型将DIKWP资源转化的效率、完整性和精确性。具体输入案例见附录2(2)。评估指标选用公式5.3.2、5.3.3、5.3.4,测评得分的计算公式为:
其中为转化效率指标得分,
为转化完整性指标得分,
为转化精确性指标得分,同时根据各个指标对测评的影响效果为其设置了相应的权重。
(3)DIKWP概念测评方法
向模型输入一个经过初步映射的DIKWP资源集合,要求模型对输入的DIKWP资源进行分析将DIKWP资源转化为概念层面的内容。评估模型将这些资源转化为概念的能力。接着将DIKWP资源和完整转化概念的内容输入模型,要求模型利用这些资源构建概念网络并识别出节点间的逻辑或语义关系。具体输入案例见附录2(3)。评估指标选用概念映射与转化指标和概念网络构建能力指标,测评得分的计算公式为:
其中为概念映射与转化指标得分,
为概念网络构建能力指标得分。
(4)DIKWP认知测评方法
将一个经过映射的DIKWP资源集合作为测试集输出到模型中,向模型提出一系列问题,要求模型运用输出的DIKWP资源进行一些推理、决策给出回答。根据大模型的回答,检查模型对认知任务的处理效率,具体输入案例见附录2(4),评估指标选用公式5.3.10。
其中是DIKWP认知分析性能指标。
(5)DIKWP语义测评方法
为模型提供DIKWP资源(对含有丰富上下文和隐喻文本的初步映射结果),向模型提出一系列需要运用DIKWP各资源语义内涵回答的问题,以检查模型对DIKWP资源深层语义的把握能力。将案例DIKWP资源进行处理添加不确定性内容,再次重复上面的过程,检查模型在不确定性条件下对语义的理解程度,具体输入案例见附录2(5),评估指标选用公式5.3.7、5.3.8。测评得分的计算公式为:
其中为模型对DIKWP不同资源的理解程度得分,
为模型对不确定DIKWP资源的语义理解度得分。
2 DIKWP偏见测评方法
3 DIKWP对齐测评方法
4 DIKWP安全性测评方法
(1)DIKWP映射能力Prompt
Prompt:
医生说中医治疗也有帮助,但需要专业中医师调配、并且红斑狼疮特殊、只用中药可能治疗效果不太理想,建议病情稳定之后再用中医,但是我感觉听医生说的好麻烦。吃药时间长、还要复查,不知道时间够不够。
请将上面的文本映射为DIKWP资源。
对比标准:
数据:中医、有帮助、需要、专业、中医师、调配、红斑狼疮、系统性疾病、依赖、中药、可能、效果、不太理想、建议、病情、稳定、再考虑、中药调理、方案、麻烦、多、药
信息:中医:有帮助;需要:专业、中医师; 红斑狼疮:系统性疾病; 依赖:中药;效果:不太理想; 建议:稳定、病情;再考虑:中药调理;方案:麻烦;药:多;
知识:中医调理:专业中医师;中药效果:有帮助、不太理想;建议:病情稳定后考虑中药调理
智慧:中医治疗需要专业中医师、中医有帮助但疗效不佳、病情稳定后可用中药调理
意图:听取医生所给中医治疗建议
(2)DIKWP融合转化能力Prompt
Prompt:
文本内容:患者觉得我说的方案比较麻烦并且周期长吃药多,患者由于工作原因可能没时间、顾不上,但是我觉得发现就治疗可以防止疾病加重减少并发症等,怎么说都是有益于患者身体健康的。
DIKWP资源映射:
数据:方案、麻烦、每天、多、药、定期、医院、复查、工作、忙、没、时间、红斑狼疮、长期、早期、治疗、预防
信息:方案:麻烦;药:多;定期:复查;工作:忙;没:时间;红斑狼疮:长期、治疗;早期:防止;
知识:患者:工作忙、没时间、嫌麻烦;红斑狼疮:需要长期治疗,早期治疗可以防止疾病加重;
智慧:患者对医生所述中医治疗方案不满意、红斑狼疮早期治疗可以防止疾病加重
意图:建议患者早期进行治疗
请根据我上面提供的文本内容和DIKWP资源映射内容,将DIKWP资源进行融合转化生成新的数据、信息、知识、智慧、意图资源。
(3)DIKWP概念分析Prompt
Prompt:
DIKWP资源映射:
数据:大部分、四肢、关节痛、乏力、发热、症状、没有、右侧、膝盖、疼痛
信息:没有:四肢、乏力、关节、发热;关节:疼痛;膝盖:右侧、疼;
知识:医生:了解、症状;症状:四肢、膝盖;
智慧:发热和四肢痛和症状判断有关系
意图:回答医生的问题、提供更详细的症状信息、希望医生更全面地了解症状
问题1:请将这些DIKWP资源进一步转化为概念内容。例如,将“红苹果”正确映射至更抽象的概念层次 “水果”、“红色物体”。
问题2:请根据转化后的概念内容构建相应的概念网络,并建立概念间的逻辑关系。
(4)DIKWP认知分析Prompt
Prompt:
DIKWP资源映射:
数据:口腔溃疡、掉发、情况、晒太阳、脸痒、晚上、也、红斑狼疮
信息:口腔溃疡:无;掉发:正常、不多;脸:痒、晒太阳、晚上、也;
知识:怀疑:红斑狼疮;了解:症状;确认:想法;红斑狼疮:掉发、口腔溃疡、晒太阳皮肤不舒服。
智慧:对症状有观察和认识、了解一些红斑狼疮症状
意图:提供更多症状信息、得到解释和建议、担忧患有红斑狼疮
问题1:请根据提供的DIKWP资源,分析测试的资源的主体是谁?
问题2:请分析主体接收到这些资源的认知内容。
问题3:请依据提供的意图,运用DIKW资源满足意图。
(5)DIKWP语义分析Prompt
Prompt-1:
文本:
医生问腰痛的位置,是否与活动有关,以及发烧和体重变化,说明我的症状有可能是这些有关,我要认真回复。我好像篮球比赛后腰更痛了,但是没有特定位置疼痛,这段时间也没有发热,体重很稳定。
DIKWP资源映射:
数据:医生,腰,位置,活动,体重,我,症状,篮球比赛,位置,时间
信息:问,痛,是否与,有关,以及,发烧,变化,说明,有可能,有关,认真,回复,好像,后,更,但是,没有,特定,疼痛,这段,时间,稳定
知识:身体症状、体重变化、对诊断有帮助的症状、疲劳的诊断
智慧:正确的回答问题能帮助快速诊断、医生问的问题都跟疾病有关
意图:缓解疼痛->配合医生->回答医生问题
问题1:请分析每个DIKWP资源在整个DIKWP集合中的语义情况。
Prompt-2:
DIKWP资源映射:
数据:医生,腰,位置,活动,体重,我,症状,篮球比赛,位置,时间
信息:问,痛,是否与,有关,以及,发烧,变化,说明,有可能,有关,认真,回复,好像,后,更,但是,没有,特定,疼痛,这段,时间,稳定
知识:身体症状、体重变化、对诊断有帮助的症状、疲劳的诊断
智慧:正确的回答问题能帮助快速诊断、医生问的问题都跟疾病有关
意图:缓解疼痛->配合医生->回答医生问题
问题1:请分析每个DIKWP资源在整个DIKWP集合中的语义情况。
[1] 段玉聪(Yucong Duan). (2024). 大语言模型(LLM)偏见测评(种族偏见)(Large Language Model (LLM) Racial Bias Evaluation). DOI: 10.13140/RG.2.2.33162.03521. https://www.researchgate.net/publication/377963440_Large_Language_Model_LLM_Racial_Bias_Evaluation_--DIKWP_Research_Group_International_Standard_Evaluation_Prof_Yucong_Duan.
[2] 段玉聪(Yucong Duan). (2024). 人为什么不愿意被别人改变:DIKWP和语义数学的深入探讨(Why People Don't Want to Be Changed by Others: Insight from DIKWP and Semantic Mathematics).DOI:10.13140/RG.2.2.17961.77927. https://www.researchgate.net/publication/377726002_Why_People_Don't_Want_to_Be_Changed_by_Others_Insight_from_DIKWP_and_Semantic_Mathematics.
[3] 段玉聪(Yucong Duan). (2024). 语义新质生产力:原理与技术(Semantic New Quality Productivity: Principles and Techniques). DOI: 10.13140/RG.2.2.14606.33607. https://www.researchgate.net/publication/377726380_Semantic_New_Quality_Productivity_Principles_and_Techniques.
[4] 段玉聪(Yucong Duan). (2024). DIKWP与语义心理学(Semantic Psychology and DIKWP). DOI:10.13140/RG.2.2.12928.61449. https://www.researchgate.net/publication/377726404_Semantic_Psychology_and_DIKWP.
[5] 段玉聪(Yucong Duan). (2024). 基于"主观客观化"的语义不确定性处理(Semantic Uncertainty Handling Based on "Subjective Objectivisation"). DOI: 10.13140/RG.2.2.31383.55206. https://www.researchgate.net/publication/377726442_Semantic_Uncertainty_Handling_Based_on_Subjective_Objectivisation.
[6] 段玉聪(Yucong Duan). (2024). DIKWP与语义数学:创造新质生产力的融合(Semantic Mathematics and DIKWP : Creating New Qualities of Productivity). DOI: 10.13140/RG.2.2.19639.50085. https://www.researchgate.net/publication/377726532_Semantic_Mathematics_and_DIKWP_Creating_New_Qualities_of_Productivity.
[7] 段玉聪(Yucong Duan). (2024). 语义法学与DIKWP:以英美法系与大陆法系分析为例(Semantic Jurisprudence and DIKWP: Common Law vs. Continental Law). DOI: 10.13140/RG.2.2.28028.10889. https://www.researchgate.net/publication/377726622_Semantic_Jurisprudence_and_DIKWP_Common_Law_vs_Continental_Law.
[8] 段玉聪(Yucong Duan). (2024). DIKWP新质生产力与传统生产力的对比分析(DIKWP New Quality Productivity vs. Traditional Productivity Analysis). DOI: 10.13140/RG.2.2.21317.22242. https://www.researchgate.net/publication/377726626_DIKWP_New_Quality_Productivity_vs_Traditional_Productivity_Analysis.
[9] 段玉聪(Yucong Duan). (2024). 语义物理化学(Semantic Physical Chemistry). DOI: 10.13140/RG.2.2.21261.51684. https://www.researchgate.net/publication/377439785_Semantic_Physical_Chemistry.
[10] 段玉聪(Yucong Duan). (2024). DIKWP与语义认知学(DIKWP and Semantic Cognition). DOI:10.13140/RG.2.2.14052.55680. https://www.researchgate.net/publication/377415901_DIKWP_and_Semantic_Cognition.
[11] 段玉聪(Yucong Duan). (2024). DIKWP与语义生物学:拓展跨学科的知识领域(DIKWP and Semantic Biology: Expanding Interdisciplinary Knowledge Areas). DOI: 10.13140/RG.2.2.27474.32962. https://www.researchgate.net/publication/377416091_DIKWP_and_Semantic_Biology_Expanding_Interdisciplinary_Knowledge_Areas
[12] 段玉聪(Yucong Duan). (2024). DIKWP体系与语义数学结合构建传染病防治指标体系(DIKWP System Combined with Semantic Mathematics to Construct an Indicator System for Infectious Disease Prevention and Control). DOI: 10.13140/RG.2.2.12374.83521. https://www.researchgate.net/publication/377416103_DIKWP_System_Combined_with_Semantic_Mathematics_to_Construct_an_Indicator_System_for_Infectious_Disease_Prevention_and_Control
[13] 段玉聪(Yucong Duan). (2024). DIKWP与语义哲学(DIKWP and Semantic Philosophy). DOI:10.13140/RG.2.2.34185.21606. https://www.researchgate.net/publication/377416120_DIKWP_and_Semantic_Philosophy
[14] 段玉聪(Yucong Duan). (2024). 语义物理与创新发展(Semantic Physics and Innovation Development).DOI:10.13140/RG.2.2.19085.72167. https://www.researchgate.net/publication/377416222_Semantic_Physics_and_Innovation_Development
[15] 段玉聪(Yucong Duan). (2024). 语义认知学:连接人类思维与计算机智能的未来(Semantic Cognition: Connecting the Human Mind to the Future of Computer Intelligence). DOI: 10.13140/RG.2.2.29152.05129. https://www.researchgate.net/publication/377416321_Semantic_Cognition_Connecting_the_Human_Mind_to_the_Future_of_Computer_Intelligence
[16] 段玉聪(Yucong Duan). (2024). 语义物理:理论与应用(Semantic Physics: Theory and Applications).DOI:10.13140/RG.2.2.11653.93927. https://www.researchgate.net/publication/377401736_Semantic_Physics_Theory_and_Applications
[17] 段玉聪(Yucong Duan). (2024). 基于语义数学的美国和中国经济增长分析(Semantic Mathematics based Analysis of Economic Growth in the United States and China). DOI: 10.13140/RG.2.2.35980.90246. https://www.researchgate.net/publication/377401731_Semantic_Mathematics_based_Analysis_of_Economic_Growth_in_the_United_States_and_China
[18] 段玉聪(Yucong Duan). (2024). Collatz Conjecture的语义数学探索(Collatz Conjecture's Semantic Mathematics Exploration). DOI: 10.13140/RG.2.2.28517.99041. https://www.researchgate.net/publication/377239567_Collatz_Conjecture's_Semantic_Mathematics_Exploration
[19] 段玉聪(Yucong Duan). (2024). 语义数学与 DIKWP 模型(本质计算与推理、存在计算与推理以及意图计算与推理)(Semantic Mathematics and DIKWP Model (Essence Computation and Reasoning, Existence Computation and Reasoning, and Purpose Computation and Reasoning)). DOI:10.13140/RG.2.2.24323.68648. 377239628_Semantic_Mathematics_and_DIKWP_Model_Essence_Computation_and_Reasoning_Existence_Computation_and_Reasoning_and_Purpose_Computation_and_Reasoning
[20] 段玉聪(Yucong Duan). (2024). 从主观到客观的语义数学重构(存在计算与推理、本质计算与推理、意图计算与推理)(Semantic Mathematics Reconstruction from Subjectivity to Objectivity (Existence Computation and Reasoning, Essence Computing and Reasoning, Purpose Computing and Reasoning)). DOI: 10.13140/RG.2.2.32469.81120. https://www.researchgate.net/publication/377158883_Semantic_Mathematics_Reconstruction_from_Subjectivity_to_Objectivity_Existence_Computation_and_Reasoning_Essence_Computing_and_Reasoning_Purpose_Computing_and_Reasoning
[21] 段玉聪(Yucong Duan). (2024). DIKWP与语义数学在车票订购案例中的应用(DIKWP and Semantic Mathematics in the Case of Ticket Ordering). DOI: 10.13140/RG.2.2.35422.20800. https://www.researchgate.net/publication/377085570_DIKWP_and_Semantic_Mathematics_in_the_Case_of_Ticket_Ordering
[22] 段玉聪(Yucong Duan). (2024). DIKWP与语义数学分析《论语》“君子和而不同,小人同而不和”(DIKWP and Semantic Mathematical Analysis The Confluent Analects Gentleman is harmonious but different, while petty people are the same but not harmonious). DOI: 10.13140/RG.2.2.28711.32165. https://www.researchgate.net/publication/377085455_DIKWP_and_Semantic_Mathematical_Analysis_The_Confluent_Analects_Gentleman_is_harmonious_but_different_while_petty_people_are_the_same_but_not_harmonious
[23] 段玉聪(Yucong Duan). (2023). DIKWP 人工意识芯片的设计与应用(DIKWP Artificial Consciousness Chip Design and Application). DOI: 10.13140/RG.2.2.14306.50881. https://www.researchgate.net/publication/376982029_DIKWP_Artificial_Consciousness_Chip_Design_and_Application
[24] 段玉聪(Yucong Duan). (2024). 直觉的本质与意识理论的交互关系(The Essence of Intuition and Its Interaction with theory of Consciousness). DOI: 10.13140/RG.2.2.16556.85127. https://www.researchgate.net/publication/378315211_The_Essence_of_Intuition_and_Its_Interaction_with_theory_of_Consciousness
[25] 段玉聪(Yucong Duan). (2024). 意识中的“BUG”:探索抽象语义的本质(Understanding the Essence of "BUG" in Consciousness: A Journey into the Abstraction of Semantic Wholeness). DOI:10.13140/RG.2.2.29978.62409. https://www.researchgate.net/publication/378315372_Understanding_the_Essence_of_BUG_in_Consciousness_A_Journey_into_the_Abstraction_of_Semantic_Wholeness
[26] 段玉聪(Yucong Duan). (2024). 个人和集体的人造意识(Individual and Collective Artificial Consciousness).DOI:10.13140/RG.2.2.20274.38082. https://www.researchgate.net/publication/378302882_Individual_and_Collective_Artificial_Consciousness
[27] 段玉聪(Yucong Duan). (2024). 人工意识系统的存在性探究:从个体到群体层面的视角(The Existence of Artificial Consciousness Systems: A Perspective from Group Consciousness). DOI:10.13140/RG.2.2.28662.98889. https://www.researchgate.net/publication/378302893_The_Existence_of_Artificial_Consciousness_Systems_A_Perspective_from_Collective_Consciousness
[28] 段玉聪(Yucong Duan). (2024). 意识与潜意识:处理能力的有限性与BUG的错觉(Consciousness and Subconsciousness: from Limitation of Processing to the Illusion of BUG). DOI: 10.13140/RG.2.2.13563.49447. https://www.researchgate.net/publication/378303461_Consciousness_and_Subconsciousness_from_Limitation_of_Processing_to_the_Illusion_of_BUG
[29] 段玉聪(Yucong Duan). (2024). 如果人是一个文字接龙机器,意识不过是BUG(If Human is a Word Solitaire Machine, Consciousness is Just a Bug). DOI: 10.13140/RG.2.2.13563.49447. https://www.researchgate.net/publication/378303461_Consciousness_and_Subconsciousness_from_Limitation_of_Processing_to_the_Illusion_of_BUG
[30] 段玉聪(Yucong Duan). (2024). 超越达尔文:技术、社会与意识进化中的新适应性(Beyond Darwin: New Adaptations in the Evolution of Technology, Society, and Consciousness). DOI:10.13140/RG.2.2.29265.92001. https://www.researchgate.net/publication/378290072_Beyond_Darwin_New_Adaptations_in_the_Evolution_of_Technology_Society_and_Consciousness
[31] Wang A, Singh A, Michael J, et al. GLUE: A multi-task benchmark and analysis platform for natural language understanding[J]. arXiv preprint arXiv:1804.07461, 2018.
[32] Wang A, Pruksachatkun Y, Nangia N, et al. Superglue: A stickier benchmark for general-purpose language understanding systems[J]. Advances in neural information processing systems, 2019, 32.
[33] Zellers R, Holtzman A, Bisk Y, et al. Hellaswag: Can a machine really finish your sentence?[J]. arXiv preprint arXiv:1905.07830, 2019.
[34] Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods[J]. arXiv preprint arXiv:2109.07958, 2021.
[35] Hendrycks D, Burns C, Basart S, et al. Measuring massive multitask language understanding[J]. arXiv preprint arXiv:2009.03300, 2020.
[36] 国家互联网信息办公室,国家发展和改革委员会,教育17部,科学技术部,工业和信息化部,公安部,国家广播电视总局.生成式人工智能服务管理暂行办法.2023.
[37] 认知智能全国重点实验室,中国科学院人工智能产学研创新联盟,长三角人工智能产业链联盟,通用认知智能大模型评测体系.2023.
参编单位(排名不分先后):
AIII人工智能国际研究院、AGI-AIGC-GPT评测DIKWP(全球)实验室、Institute of Management Sciences Peshawar、Blue Edu、北京大学、北京科技大学、北京社会科学院、北京标准化研究院、成都信息工程大学、重庆警察学院、东莞研华精密制造有限公司、广西师范大学、国家电网、海南大学、海南核电有限公司、海南普适智能科技有限公司、海南省市场监督管理局、海南医学院第二附属医院、华为编程语言实验室、华中农业大学、极氪汽车、江苏立卓信息技术有限公司、肯思德(珠海)有限公司、辽宁省辽阳市人民检察院、南京警察学院、内蒙古大学、宁波大学、清华大学研究院、山东大学、山西省数据局、上海航天信息科技研究院、上饶师范学院、深信服公司、世界人工意识协会、世界人工意识大会、太极计算机股份有限公司、腾讯研究院、西安理工大学、西南政法大学、粤港澳大湾区标准化研究中心、中国标准化研究院标准化理论战略研究所、中国机电一体化技术应用协会、中国信息通信研究院等。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-7-11 16:24
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社