跨语言交际中联合语言控制的作用：来自跨频率耦合的证据

 

01 研究背景

①世界上一半以上的人口是双语者。如何控制语言不使用的干扰是双语者日常所面临的一个课题。

尽管大多数研究已经探讨了独立的跨语言产生或理解过程中的语言控制机制，但其中一个重要的方面是：在跨语言交际过程中，语言控制在互动模式中的作用。在双语生产建模中，抑制控制（IC）模型提出，语言控制在从一种语言切换到另一种语言时起到抑制/抑制跨语言干扰的作用。

不平衡的双语者更精通他们的第一语言（L1），而不是第二语言（L2）。L1总是更容易激活，但更难抑制，导致当切换到第二语言时更多的跨语言抑制。为了成功地产生L2，更占优势的L1需要被抑制(即抑制控制)。然而，在L2生产过程中，克服L1上的残留抑制控制的成本要高于其他方向。因此，切换到L1通常比切换到L2的成本更昂贵。然而，IC模型只考虑了独立双语生产的跨语言干扰，而没有考虑最近文献中显示的跨水平因素的干扰。为了解决跨语言交流过程中对话者的干扰，交互式对齐模型提供了对跨语言交流过程的洞察。该模型认为，在说话人的语言生成过程中，不同层次的语言表征(如语音、词汇和语义)被激活，这种激活将启动听话者的语言系统。在听话者的理解过程中，语言激活会无意识地与说话者的激活相一致，并导致听话者在随后的对话中产生类似结构的语言输出。因此，讲话者使用的语言(例如L1)可能会在听话者中启动同一语言，但会干扰目标语言(例如L2)的产生。这种干扰来源于跨人项目层面，即听者试图与说话者保持一致。重要的是，这种效应得到了超扫描脑电研究的支持。

②语言加工中的跨频耦合（CFC）

在语言转换过程中，产生和理解之间的耦合可能是相当复杂的，我们尝试使用跨频率耦合(cross-frequency Coupling, CFC)来进一步揭示信息从大规模大脑网络向快速的、在一起完成一项任务时，讲话者和听话者之间的局部皮层加工需要有效的协调。

③到目前为止，很少有研究研究语言转换过程中的δ、θ、α和β振荡，其中振荡的认知意义可能表明更多的领域一般认知过程。基于文献，delta振荡对于大规模的皮层整合以及注意和句法过程。θ波振荡似乎对各种认知功能都很重要。在抑制控制方面，研究发现θ波振荡的增加与不相关任务的抑制有关。alpha振荡通常与注意力有关、工作记忆和任务无关的皮层区域抑制，振荡与运动的计划和执行有关。总的来说，振荡的重要性取决于认知任务，一个任务可能需要在不同频带同时工作。为了了解联合语言转换过程中的神经振荡，CFC是一种研究语言处理的新方法，它能够证明不同/相同的振荡如何相互协调。

本研究旨在研究当抑制跨语言和跨人干扰时，联合语言切换中语言控制的增加/减少是否伴随着相同/不同频率振荡的相位振幅耦合的增加/减少。如果能观察到当被试抑制来自语言和人两种来源的干扰时，相同/不同频率振荡的耦合。这样我们可以得出结论：在交互跨语言交际中，语言控制需要多次振荡来协调。

02 研究方法

2.1、实验被试

34名中-英文双语被试（L1为中文）。

表1 .被试基本资料信息

2.2、实验材料

从Snodgrass和Vanderwart 图片库中选择48张素描图片(15厘米915厘米)作为刺激变量。这些图片由Zhang和Yang（2003）标准化以适应中国的被试。单词的熟悉度在两者中都有评分（1=“非常陌生”，5=“非常熟悉”）。L1和L2取自40名没有参加实验的中国人被试中，鼓励被试以5分制报告他们是否熟悉所选图画的L1和L2名称。

2.3、实验流程

在完成语言背景调查后，让被试在一个声音减弱的房间里执行联合语言转换任务。他们并排坐在同一个电脑屏幕前，整个实验过程中没有明显的非语言交流（如具体化的视觉语言）。并告知被试两种类型的信息会在任务中提示他们的反应：形状和颜色。线索的形状（三角形或圆形）表面谁是说话人；颜色（红色或蓝色）表示目标语言（L1或L2）。

当发言人点名时，另一名被试需要保持安静。为了确保两组电极之间的同步，两个相同的ANT放大器被光耦合到计算机上，并通过相同的软件接口记录。每个被试用两个麦克风记录两个应激反应盒连接的反应时间。

有三个实验阶段：线索阶段，词汇阶段，输出阶段。

在线索加工阶段，提示被试作为说话者或听者的角色，以及为即将出现的图片命名的语言。例如，当线索出现蓝色三角形则表示被试A需要在L2阶段命名图片。在词汇阶段，说话者通过图片的呈现检索出目标的引理。例如，“apple”的引理需要在这个阶段被检索出。在输出阶段，说话者用选定的语言明显地命名图片。例如，如果是蓝色的圆圈提示，被试B需要用英语说出“apple”。另一个被试，即听者，保持沉默，直到得到适当的线索指示说出名字。在命名之前，听者的目标语言图式可能被说话者的话语启动或激活，从而引发跨-人项目水平干扰。实验流程下图1所示。

图1 实验流程图

2.4、数据采集和处理

超扫描记录和预处理分析：

采样64通道（ANT Neuro）记录脑电信号，根据10-20系统放置。采样频率为1kHz，在线采集时的参考电极为CPz，离线分析时转换为双侧乳突的平均值，阻抗设置在5KΩ以下。

由于被试之间存在过多的伪迹，头部周围的20个电极被去除，然后对40个电极进行后续分析（F5, F3, F1, FZ, F2, F4, F6, FC5, FC3, FC1, FCZ, FC2,FC4, FC6, C5, C3, C1, CZ, C2, C4, C6, CP5, CP3, CP1,CPZ, CP2, CP4, CP6, P5, P3, P1, PZ, P2, P4, P6, PO5,PO3, POZ, PO4, PO6），采样频率被降低到500Hz。滤波范围：0.1-100Hz，低通滤波为30Hz，ICA去除眼电伪迹。

连续的录音被分割成线索锁定：-100 ~ 600ms，刺激锁定-150 ~ 650ms。相应的，每个epoch参考100ms前的基线和150ms刺激前基线。任何给定时间内超过±80μVd的信号会被剔除。数据分析在MATLAB软件中进行。

跨-脑跨频耦合分析：

以往的研究分析了刺激开始后全时间窗的CFC。因此，我们计算了位于提示后600 ms的全时间窗和刺激后650 ms的时间窗(即图片)的CFC。此外，我们只分析了相位振幅耦合(PAC)，因为这种类型的CFC是最合适的认知-神经过程的测量方法。

为了估计振幅是如何被节律调制的，我们根据Canolty等人(2006)先前描述的标准测量方法计算调制指数(MI)。MI可以反映我们感兴趣的不同频率之间的耦合。我们计算了当说话者调制听者的振幅时的相位，反之亦然。频率范围在1-30Hz之间。基于标准实践，我们将频率分为4个频段：delta (1-3 Hz)、theta (4-7 Hz)、alpha (8-13 Hz)和beta (14-30 Hz)。

高频和低频的分类是相对的：与alpha和beta频率相比，delta和theta频率相对较低。我们分析了低频相位和高频振幅之间的脑间耦合(例如相位和振幅之间的耦合)，以及说话者和听者之间的同一波段的耦合(例如，说话者的δ相位和听者的δ振幅之间的耦合)或听者和说话者之间的耦合(例如，听者的δ相位和说话者的δ振幅之间的耦合)。

分别用f1 A(高频幅值)和f2 P(低频相位)表示每个频率范围的幅值和相位。MI计算的过程描述如下: 以听者与说话者的振幅相耦合为例：首先在EEGLAB中eegfilter的功能(FIR滤波)进行滤波，经过带通滤波器产生不同的频率信号的时间序列：低频信号是听者的，高频信号是说话者的。为了减少滤波器的干扰，将低频和高频周期数据点的三分之一去除。

其次，为了得到说话者的瞬时振幅和听者的相位，我们使用了Hilbert变换。

第三，将一个频率的幅值时间序列与另一个频率的相位时间序列相结合，构造一个复合的复值信号，得到调制指标。

第四，为了测量概率密度函数的不对称程度，计算了平均矩，为两个时间序列之间的耦合提供了一个有用的度量。然后给出均值向量的绝对值。

第五，我们将MI归一化。可以使用替代数据方法为MI原始附加显著性值。

然后比较不同条件下的MI值。通过三因素重复测量方差分析：语言(L1/L2)×语言序列(重复/切换)×个人序列(跨人/人内)，在每个电极对的耦合频带，计算各条件下的归一化MI值。最后，我们将来自说话人(40个电极)的电极对与来自听者(40个电极)的电极对相乘。因此，在每个耦合频带共进行了1600次三因素重复测量方差分析。为了避免假阳性结果，采样FDR校正(q=0.05)计算各条件、各耦合频带各对电子点的方差分析的p值。

03 实验结果

行为结果：

图1 不同条件下的平均命名延迟

上图结果表明，重复命名潜伏期(1001±20 ms)比切换命名潜伏期(1017±22 ms)快，表现为语言序列的主效应，F(1,27)=8.53, p=.01,ηp2 = 0.24。

跨频率耦合结果：

表2 线索锁定交叉频率耦合的主要效应和相互作用

表2的分析是基于两种类型的耦合：生产阶段的节奏调节理解的幅度和理解阶段的节奏调节生产的幅度。

图3  交叉频率耦合电极对

（图解：A为P4-F4(红色线)、P4-F2(黄色线)、P2-F6(紫色线)、F4-P6(绿色线)的锁定电极对。B为F6-P6(红线)和P4-P2(蓝线)的刺激锁定电极对。红头发代表发言者；蓝色的头代表听众）

在图3中给出的是CFC中cue-locked和stimulus-locked阶段的聚焦电极对。

 图4 在线索锁定阶段的跨频率耦合

a-c显示，在跨-人条件下比在人内条件下，β节律对L2试验的α振幅的调节更强。D-f表明，在L2实验中，同一相位的调制在跨人条件下比人内条件下更强。a、b、d和e中的红线框表示聚焦频带。

刺激：

表3. 刺激-锁定交叉频率耦合的主要效应和相互作用

类似地，表3概述了刺激锁定阶段相同或不同频带上CFC的主要效应和相互作用。

图5 刺激锁相的交叉频率耦合

a-c表明，在人内条件下，δ节律在θ相位中调节振幅，表明L2转换试验比L1转换试验中调节更强。d-f代表人内条件的α相位振幅，表明L2开关试验比L1开关试验调制更强。a、b、d和e中的红线框表示聚焦频带。

04 实验结论

（1）研究结果表明，在交互式双语交流模式中存在着重要的语言控制机制。当前的双语模型（如抑制控制模型）应通过联合语言控制同步抑制来自语言和人的干扰（即跨语言和跨人项目级干扰）。

具体表为：

①说话者和听话者通过跨频耦合协同抑制跨语言干扰，表现为切换到L2时δ / θ相位幅值和δ / α相位幅值耦合比切换到L1时增加。②说话人和听者都能同时抑制跨人项目水平的干扰，这表现在跨人条件下的跨频耦合比人内条件下的强。

②本研究不仅为利用CFC模拟双语对话研究语言控制提供了新途径，同时也为动态跨语言交际研究奠定了实证和理论基础。

05 文献名称及DOI号

Liu, H. ,  Li, B. ,  Wang, X. , &  He, Y. . (2021). Role of joint language control during cross-language communication: evidence from cross-frequency coupling. Cognitive Neurodynamics, 15(3).

DOI：10.1007/s11571-020-09594-6