断裂、张力与建构：图文叙事四维整合研究

摘要：图文叙事研究中，既有理论多聚焦于单一维度的效果分析或修辞策略，缺乏可对传播过程、文本结构与意义生成进行机制性统观的整合分析框架。本文从多模态话语分析与认知叙事学出发，结合多模态话语分析中对语言外模态及模态间关系的研究（视觉语法为视觉元素意义构建的核心理论框架）、多模态语篇图文关系解构与模式研究成果，提炼出“语境内在逻辑的连续性”“结构的稳定性与策略性张力”“传播的整体性”“意义的建构性”四个相互生成的分析维度，并论证其从认知基础到结构组织、从传播效果到文化意义的递进转化关系。

Abstract: In the field of visual-textual narrative studies, existing theories predominantly focus on single-dimensional effect analysis or rhetorical strategies, lacking an integrated analytical framework that provides a mechanistic overview of communication processes, textual structure, and meaning construction. Drawing on multimodal discourse analysis and cognitive narratology—particularly research on extralinguistic modalities and intermodal relationships (with visual grammar serving as the core theoretical framework for meaning construction of visual elements), as well as findings on the deconstruction of text-image relationships and discourse patterns in multimodal contexts—the paper identifies four mutually reinforcing analytical dimensions: "intrinsic logical continuity within the context," "structural stability and strategic tension," "comprehensiveness of communication," and "constructive nature of meaning." It further demonstrates their progressive transformational relationship spanning from cognitive foundations to structural organization, and from communicative effects to cultural significance.

关键词：图文叙事；多模态话语；认知连续性；结构张力；意义建构

图文叙事是当代传播中最为普遍也最为复杂的表意形态——从新闻摄影到数据可视化，从绘本到社交媒体信息流，图与文的交织构成了我们感知与理解世界的基本方式。对这一现象的学术回应，已积累了相当丰厚的理论资源：作为法国当代著名文艺理论家和符号学家，同时也是结构主义代表人物和后结构主义开启者的罗兰·巴特，其“锚固—接力”说揭示了图文修辞的基本机制，Kress与van Leeuwen于1996年在《图像识读：视觉设计的语法》一书中提出视觉语法，将Halliday的系统功能语法扩展到了视觉模式，构建了以“再现意义”“互动意义”“构图意义”为核心的解析图像的视觉语法体系，为多模态话语分析提供了理论依据，该理论还被应用于电影海报、宣传画广告、图画书等多领域的意义解析；格式塔心理学为理解视觉完形提供了认知基础。

然而，这些理论工具往往聚焦于单一维度——或研究修辞策略，或分析版面结构，或关注接受效果——尚缺乏一套能够统摄文本组织、认知加工、传播效果与文化意义的整合性分析框架。这一缺憾导致了至少三个问题：其一，形式分析与意义批判长期处于分离状态，难以窥见形式特征如何“生成”为意识形态内容；其二，对实验性、反常规的图文叙事缺乏足够的理论包容，往往以“混乱”“断裂”斥之；其三，图文叙事何以产生整体性传播效果的深层机理未能得到充分揭示。

本文尝试提出一个四维整合的分析框架，从“语境内在逻辑的连续性”“结构的稳定性与策略性张力”“传播的整体性”“意义的建构性”四个层面展开论证，并特别关注这四个维度并非并列关系，而是存在从认知基础到文化意义的生成性转化。正如Clare Painter、Jim Martin、Len Unsworth三位著名系统功能语言学者历时十年，在Kress&van Leeuwen（1996)单个图像分析框架基础上，提出了系统分析由多个图像组成的视觉叙事的元功能框架这类学术实践所展现的，合理的分析框架构建往往需要基于已有研究进行拓展与深化，且具备清晰的维度层级与转化逻辑。

图文叙事的第一个根本特征是：它天然存在断裂。图像是空间化的“顷刻”，依赖相似性进行表意，具有具象化特点，属于虚指的符号；文字是时间化的“绵延”，依赖象征性进行推演，具有抽象化特点，属于实指的符号。读者必须在这两种差异显著的符号系统间持续切换，这便构成了认知过程中的潜在断点。因此，语境内在逻辑的连续性，并非文本自身具备的客观属性，而是读者在认知层面主动建构的结果——这亦是本分析框架与初稿的核心差异所在。

在文本层面，图文叙事的连续性依赖两类衔接机制。其一是“锚固”，即文字通过指称性功能锁定图像中的多义性，使注意力聚焦于特定信息点。比如在重阳殿这类叙事性绘画中，榜题文字就承担着这样的作用，它能引导观看者精准把握壁画形象的表意；再如一幅人群的图像，若配以“愤怒的抗议者”或配以“欢庆的节日游行”，也会引导读者选取截然不同的视觉线索加以整合。其二是“接力”，即图文分别承担叙事链条中不同环节的信息供给：图像呈现动作的结果或关键瞬间，文字补充前因；图像呈现环境氛围，文字推进心理活动。文本端提供的是“衔接信号”，它为后续的认知加工划定了基本路径与方向。

读者接收到图文信号后，并非对信息进行被动拼接，而是在认知层面展开积极的连贯建构。认知语言学的心理空间理论与概念整合理论提供了有力的解释工具：读者建立“图像空间”（视觉场景、人物关系、空间布局）与“文字空间”（命题内容、时间标记、因果说明），并通过类推、递归与合成操作，生成一个既非单纯图像表意、也非单纯文字内涵、而是整合二者意指的复合层次结构。这一层次结构正是逻辑连续性得以实现的心理表征。换言之，连贯性存在于读者的心智模型中，图文元素在此被重新组织为具有因果、时空与情感一致性的意义整体。

这一区分的理论价值在于：它为分析实验性叙事中的“表面断裂”现象预留了研究空间。某些图文作品故意在文本端制造衔接中断（如错乱的时间标记、图不对文），但如果读者仍能在深层认知端（通过调动互文知识或隐喻推理）建立起连贯的理解，那么逻辑连续性并未真正瓦解，它只是以“延迟”或“高加工难度”的方式实现。

现有研究中，学者将“结构的稳定性”视为叙事结构的常态和目标，这一预设无法容纳大量实验性图文作品中“有意味的不稳定”。本研究将此维度修正为“结构的稳定性与策略性张力”，将图文结构视为两种力量持续博弈的动态场域。

任何叙事文本若要达成基本的可读性，都需与读者缔结一种结构“契约”——即预设某些可被读者预期的组织规律。在图文叙事中，这种稳定性的建立依赖两条路径。其一是空间维度的“版面句法”：通过网格系统、信息层级、视觉区隔等手段，构建清晰可循的阅读路径。其二是时间维度的“叙事语法”：图序遵循“起承转合”或“问题—解决”等深层结构模式，文字则以连接词与标点的形式串联其间，让时间流的脉络清晰可辨。

这种结构稳定性的核心功能，在于有效降低读者的认知负荷。当读者能预判信息出现的位置、形式与大致节奏时，注意力便能更多地倾注于内容本身，而非耗费在结构的解码之上。

支持单位：