基于脑磁图的智能脑机交互关键技术

　　【摘要】脑机交互(BCI)是一种变革性的人机交互，旨在绕过外周神经和肌肉系统直接把脑神经的感知觉、表象或思维活动转化为动作，以进一步改善或提高人类的生活质量。脑磁图(MEG)测量神经元电活动产生的磁场，具有非接触式测量、时空分辨率高和准备方便等独特优势，是一种新的BCI驱动信号，基于脑磁图的脑机交互(MEG-BCI)研究具有重要脑科学意义和潜在应用价值。迄今为止，少有文献阐述MEG-BCI涉及的关键技术问题，为此本文聚焦MEG-BCI关键技术，详述了实用MEG-BCI系统中涉及的信号采集技术、MEG-BCI实验范式设计、MEG信号分析和解码关键技术、MEG-BCI神经反馈技术及其智能化方法。最后，本文还讨论了MEGBCI存在的问题和未来发展趋势，期望本文为MEG-BCI创新研究提供更多有益思路。

　　【关键词】脑磁图;脑机交互;智能脑机交互;基于脑磁图的脑机交互实验范式设计;脑磁图特征提取

　　引言

　　脑机交互/接口(brain-computerinteraction/interface，BCI)是一种颠覆传统人机交互的技术，通过采集并解码脑信号中编码的意图，绕过外周神经和肌肉，以全新的方式实现大脑与外部世界的直接通信和控制[1-2]。BCI目的在于改善或提高人类的生活质量，其在医学和非医学领域具有潜在应用价值，并且BCI正逐步走向实用化，缩小了研究与实际应用之间的差距[3-4]。

　　用于BCI的大脑神经信号采集方式有很多种，它们的时间和空间分辨率各不相同，比较了脑电图(electroencephalogram，EEG)、脑磁图(magnetoencephalogram，MEG)、实时功能磁共振成像(real-timefunctionmagneticresonanceimaging，rtfMRI)、功能性近红外光谱(functionalnear-infraredspectroscopy，fNIRS)、皮层脑电(electrocorticography，ECoG)、颅骨内脑电(intracranialEEG，iEEG)的时空分辨率。其中MEG可测量神经元电活动产生的磁场，该采集方法时间和空间分辨率高(MEG的时间分辨率优于1ms，且空间分辨率仅为数毫米[5])。

　　如今，MEG成像方法已有许多应用。若干研究也表明可从MEG表征的磁场变化特征解码大脑意图[6-7]。2019年，Chholak等[8]采集了无训练受试者进行运动想象(motorimagery，MI)时产生的MEG信号，采用基于多层感知器的人工神经网络(artificialneuralnetwork，ANN)模型对MI进行分类，以区分视觉MI和动觉MI，该方法的平均准确率和最高准确率分别为70%和90%。

　　2021年，Rathee等[9]报道了对figshare数据集中MI和认知想象的MEG数据分类效果，采用滤波器组共空间模式(filterbankcommonspatialpattern，FBCSP)生成时空特征并用支持向量机(supportvectormachines，SVM)进行分类，所用的两种不同频率组合方法分别取得了69.35%和66.65%的准确率。2021年，Belkacem[10]报道了实时MEG-BCI系统的研究，采用基于径向基函数核的二元非线性SVM在线对4种手部运动(双手握拳、双手打开、左手握拳右手打开、左手打开右手握拳)进行解码，分类准确率在60%～80%之间。2021年，Feng等[11]提出了一种听觉诱发磁场(auditoryevokedmagneticfields，AEFs)的识别方法，通过利用MEG中包含的空域信息增强颞叶听觉区域的信号强度，从而使ANN能够自动及时地识别出AEFs。

　　以上这些研究表明了MEG-BCI的可行性，但MEG-BCI走向实用化仍然面临极大的挑战，有许多关键科学和技术问题需要解决。虽然已有不少文献报道了MEG-BCI的实验研究，但迄今为止国内外鲜有文献评述MEG-BCI涉及的关键技术问题。为此本文查新了与MEGBCI相关的文献进行分析总结，并论述了MEGBCI涉及的信号采集、实验范式、信号分析和解码等关键技术以及MEG-BCI的神经反馈(neurofeedback，NF)及其智能化方法，并分析了MEG-BCI存在的问题和未来发展趋势。

　　1 基于MEG的BCI关键技术

　　MEG-BCI是一种新型且具有潜在应用前景的BCI，其关键技术包括面向实用的MEG-BCI信号采集技术、MEG-BCI实验范式设计、MEG信号分析和解码技术以及MEGBCI的NF技术等，下面将进行详细的论述。

　　1.1 面向实用的MEG-BCI信号采集技术

　　脑信号采集技术是BCI系统实用化关键技术之一，在很大程度上决定了BCI系统性能、用户可接受性和体验感[12]。BCI中的脑信号采集系统要求尽可能采集到高质量的脑信号，同时，必须以用户为中心，提高用户体验感和满意度，确保BCI传感器的安全性、舒适性、美学性和易使用性[13]。面向实用的MEG-BCI信号采集技术也需要尽可能满足上述要求，MEG作为一种无创探测大脑电磁生理信号的脑功能检测方式，已存在近50年，因其成像清晰易辨，对脑部损伤的定位诊断能力优于其他大多数脑成像方法，在脑部疾病诊断中具有优势。此外，MEG具有以下优点：

　　①在确定MEG信号源时，几乎不需要头部组织内的电导率信息，就可以准确、清楚地判断出大脑内部产生活动的位置及过程;②由于非接触检测的特性，不需要使用导电凝胶或生理盐水来降低头皮和电极之间的阻抗，因此数据采集所需的前期准备较少;③MEG信号通过颅骨及头皮传导时所受影响小，能够检测到脑内活动引起的微小磁场变化;④MEG对肌肉活动产生的伪迹敏感性较低;⑤大多的MEG信号采集设备支持较多的导联(现代全头MEG系统中传感器数量可达275～306个)，具有较高的空间分辨率。由于以上优点，MEG成像方法安全且能够采集到较高质量的脑信号，但目前其舒适性、美学性和易使用性还有待提高。

　　1.2 MEG-BCI范式设计

　　BCI范式是BCI系统的核心和关键技术之一，是为到达某种BCI功效或目的(如通信或控制、神经调控等)所采用的编码方法，即把用户的意图“写入”脑信号中，通过脑信号特征表征用户意图[14]。基于不同脑信号采集方法(如EEG、MEG、fNIRS、fMRI、ECoG和Spikes等)的BCI其范式往往不同，在设计BCI范式时，需要充分考虑所采用的脑信号获取方式特点，并根据不同心理任务的神经机制，优化组合不同的心理任务以提取可分性好或容易识别的脑信号模式。 迄今为止，主要有诱发和自发MEG，其中诱发MEG包括体感诱发磁场、AEFs、视觉诱发磁场[15]以及事件相关磁场(event-relatedmagneticfields，ERFs)。

　　因此，MEG-BCI范式可以是触觉、听觉以及视觉等刺激，也可以是动觉MI、视觉MI[8]或视觉想象等心理活动产生的自发MEG。此外，MEGBCI还能够检测受试者情绪或疲劳等变化。值得注意的是，在设计MEG-BCI范式时也要考虑受试者/用户的自身条件、心理任务的难易程度、疲劳性以及自然性等因素，尽可能选择可分性好、简单容易、自然且不易疲劳的范式。

　　1.3 MEG信号分析和解码关键技术

　　脑信号分析和解码是BCI系统的关键技术之一，下面将阐述MEG-BCI系统中MEG信号预处理方法、MEG信号特征提取方法、MEG信号特征选择方法和MEG信号解码方法。

　　1.3.1 MEG信号预处理方法

　　由于大脑活动所产生的信号是非线性非平稳信号，随机性强，且采集的原始信号中存在着许多噪声/伪迹，磁噪声来自远场环境源(电线、车辆等)和近场生物源(例如肌肉、心脏、任务外的脑信号等)，原始MEG信号中夹杂着这些噪声使得信号很难直接反映出受试者的意图。因此在提取MEG信号特征前，需要对其进行预处理以提高信噪比。

　　目前消除环境噪声主要通过磁屏蔽室(magneticshieldingroom，MSR)，MSR可以使得磁介电常数在室内处处相同，包括头皮和传感器之间的空气。因此，与相同脑源产生的EEG信号相比，MEG在空间上能较好地保留原始信息，这有助于从包含各种生物噪声的原始信号中将有用的MEG信号分离出来，能更清晰地了解不同信号源所处的脑解剖位置。常用的预处理方法主要分为时域、频域、时频域以及空域上的预处理，在时域上通常采用幅值过滤方法，异常波动的过高幅值将被视为噪声过滤掉，在频域上常使用带通或陷波滤波器对信号在特定频率范围进行处理(常采用0.5～80Hz的带通滤波器对信号进行过滤)。

　　此外，通过对MEG信号进行频谱分析，分析其不同频段所包含的信息，可据此对信号进行带通滤波去除无用频段。快速傅里叶变换(fastFouriertransform，FFT)是信号时频分析的典型方法，能够将信号在时域和频域之间转换。此外希尔伯特(Hilbert)-黄(Huang)变换(Hilbert-Huangtransform，HHT)也属于时频分析方法中的一种[16]，其中的经验模态分解是通过特征时间尺度来识别信号中所包含的局部特征信号，将时域信号分解为本征模函数(intrinsicmodefunction，IMF)。然后对每一个IMF进行Hilbert变换，得到相应的Hilbert谱，即将每个IMF表示在联合的时频域中。

　　最后，汇总所有IMF的Hilbert谱就会得到原始信号的Hilbert谱。在空域上去除伪迹一种常见的方法是采用独立成分分析(independentcomponentanalysis，ICA)，通过利用与伪迹特性有关的信息，如心跳和呼吸等，将独立的MEG信息和与大脑活动无关的伪迹的信号进行直接比较，从而剔除MEG中存在的其他生理信号伪迹。除了以上方法，MEG的源估计也能够用于MEG-BCI系统的去噪，其旨在识别传感器在空间中观察到的对MEG信号有贡献的活动源，并对其进行溯源，推算出其特性、源的位置、方向和大小的分布。2020年，Roy等[7]对MEGBCI的通道选择方案进行了研究，筛选出对分类具有贡献的通道，不仅提升了分类准确性而且显著减少实验所需的通道数量。

　　1.3.2 MEG信号特征提取方法

　　MEG反映了大脑磁场变化，包含着丰富的神经元活动信息，不同活动所导致大脑产生的MEG信号也不尽相同，大脑状态或事件可以由MEG表征，提取MEG特征是后续分类的基础。MEG信号的特征提取方法主要有时域分析、频域分析、时频分析、空域分析。时域分析以时间为自变量描述磁场变化，是最基本、最直观的信号表达形式。通过MEG信号时域波形的峰值以及时间点等信息来确定目标活动所产生的MEG信号的变化，采用对波形进行峰值检测、方差分析、直方图分析、幅值反应时间或过零率等方法来提取不同心理任务的MEG信号特征。频域分析主要是根据信号在频域上的能量变化，提取相应特征。功率谱估计是频域分析中常用的方法[17]，分为经典谱估计及现代谱估计。

　　其中经典谱估计将随时间变化的时域MEG信号或其自相关函数进行FFT，转化为随频率变化的MEG功率谱图，具有计算简便、复杂度低等优点，但其频率分辨率较低有可能丢失信号谱峰。现代谱估计是一种基于自回归模型的方法，相比于经典谱估计具有更高的分辨率且功率谱密度更为平滑，同时，通过调自回归模型的阶数能够更有效地观测信号谱峰。在受试者执行心理任务时，MEG信号的功率或能量相比静息态会有明显变化，从而可以对信号各频段的分量进行定量分析来提取其中的变化特征。

　　MEG信号是复杂的非线性信号，单一方面的分析往往会丢失许多重要的特征信息，因此同时对信号的时、频域进行分析能够得到更好的特征提取效果。时频分析方法能够清楚地观测到信号频率随时间变化的关系，更全面地掌握信号的潜在特征。常用的时频分析包括短时傅里叶变换、魏格纳-维尔(Wigner-Ville)分布以及小波变换等。2018年，Shahid等[18]采用傅里叶变换对MEG信号进行时频转换，将小波包变换和离散小波变换结合进行特征提取。小波技术的主要优势在于可以将信号分解为许多分量，具有时频定位、多重滤波和尺度分析的特点，能够发现原始信号中隐藏的信息。

　　由于大多数分类算法只需要几个明显的相关特征即可准确区分不同类别，因此要在不丢失有用判别信息的情况下减小特征空间的维数。空域特征提取可以使用空间过滤方法进行数据降维，如共空间模式(commonspatialpattern，CSP)在对MEG进行特征提取方面已取得了不错的成果[7]，尤其对多通道的数据有着稳定的解码效果。CSP算法采用有监督方法创建一个最优的空间滤波器，并且最大化一类方差的同时最小化另一类方差，通过将两类任务的协方差矩阵同时对角化，进而得到区分程度最大的特征向量。为了提高CSP的鲁棒性，研究者们也提出了许多改进方法[19-20]。

　　1.3.3 MEG信号特征选择方法

　　特征选择能够对数据降维，减少特征数量和过拟合及后续计算的复杂程度，使模型泛化能力更强。因此，需要在不影响分类精度的情况下将冗余信息去除，选择最优的特征，优化分类效果。Roffo等[21]提出了无限潜在特征选择(infinitelatentfeatureselection，ILFS)，ILFS能够考虑所有可能的特征子集并进行排序，其最吸引人的特点是它旨在使用概率潜在语义分析对相关性建模。

　　通过对特征元素进行加权，评估每个特征与其他所有特征的相关性，该研究通过采用SVM分类器对五种不同的特征子集进行分类，平均准确率达到了98.25%。另外，2020年，Kim等[22]采用了一种结合特征相关的费希尔(Fisher)判别比(Fisher’sdiscriminantratio，FDR)技术，以ERFs的P300振幅作为特征，应用FDR准则和互相关性对特征进行排序，选择排名最高的10个特征，利用穷举法进行搜索，找出具有最大分类精度的特征组合。该研究在融合三方面特征(行为数据特征、传感器特征、源特征)的情况下分类最高准确率达到100%，平均准确率也达到了90%以上。

　　2 MEG-BCI的智能化方法

　　如上文所述，BCI系统能够使得受试者通过脑信号直接与外部设备进行通信。目前多数MEGBCI系统通常只能提供识别、传递和执行等基础操作。但这并不智能，系统不会根据当前环境以及使用者的操作习惯来对指令进一步完善，有可能会导致指令识别错误率较高，难以满足用户在现实生活环境中的使用需求。为此，需要将人工智能(artificialintelligence，AI)引入BCI系统，增强BCI系统对当前环境以及用户操作的适应能力，拓宽BCI系统的适用环境。即示意了将适当的AI技术引入MEG-BCI系统[13]。目前可以采用的智能化方法如下：

　　(1)引入智能环境识别技术以减轻用户负担并提升系统效率。目前，多数MEG-BCI系统仅能够识别简单指令，当需要使用者在复杂环境中进行精密操控时很可能会出现与预期不符的结果。为此可将环境识别技术与MEG-BCI系统相结合，让计算机视觉系统对环境进行识别，来减少受试者参与控制过程的复杂程度，减缓受试者的视觉疲劳，有助于使用者长时间使用系统[34]。同时能够增强MEG-BCI系统的识别能力，更高效地完成使用者发出的指令。

　　(2)引入智能信号处理和模式识别技术以提高解码精度。在MEG-BCI系统中，要想得到对多类别以及跨受试者进行分类的准确结果通常较难。迁移学习具有很好的泛化能力，因此在针对跨受试者分类方面可以引入迁移学习[35]。此外与传统的机器学习方法相比，深度学习不仅能够从大脑信号中自动学习识别复杂的特征，而且对领域知识的依赖性较少[36]。因此，将深度学习与MEG信号的解码进行结合[37]，可以提高对复杂特征或多类别、跨受试者的分类准确率。

　　(3)引入共享控制技术避免意外发生。

　　随着BCI系统的日益完善，人们对其分类精度及控制精度的需求也随之提高，但传统MEG-BCI系统受传输速率及特征复杂程度的限制难以满足多分类、高精度的系统要求。在使用MEG-BCI系统控制计算机或机械设备出现识别错误产生紧急状况时，需要受试者快速发出补救指令。人机共享控制系统利用先进的人机交互技术，在收到用户的指令后，结合自动控制、计算机视觉以及导航定位等技术。

　　将共享控制技术与MEG-BCI系统相结合，实现对系统安全高效的控制，从而应对一些复杂的突发情况[38]。有研究团队开发了一种基于共享控制的BCI避障轮椅[39]，轮椅配备了距离传感器和两个用于检测障碍物的摄像头，将环境识别技术引入共享控制来实现自动避障。当使用者发出错误指令使轮椅会撞到障碍物时，避障系统会自动触发轮椅旋转来规避障碍，从而避免意外情况发生，提高了系统的智能化程度。

　　(4)引入虚拟现实技术增强沉浸感和交互性。在典型的MEG-BCI系统当中，进行试验时需要受试者尽量避免头部移动保持平躺或坐在固定的椅子上才能进行数据采集。由于受试者所处的环境非常不自然，导致部分与现实环境进行交互的MEG信号难以被采集。此外，在进行视觉刺激或心理任务时，提示信号通常以二维的形式展示给受试者，使受试者潜意识难以融入到试验当中。虚拟现实(virtualreality，VR)可以为受试者提供一个身临其境的环境，将其与MEG-BCI系统结合能够提升采集信号的种类及质量[40-41]。于是，Roberts等[41]通过将MEG-BCI系统与VR技术相结合，成功检测到了睁眼和闭眼产生的α频段信号，并且检测到了来自VR给予受试者的视觉诱发磁场。

　　3 MEG-BCI存在的问题和未来的发展趋势

　　3.1 BCI共性问题

　　目前，有部分受试者属于“BCI盲”，在MIBCI试验中难以产生相应的脑信号，也有部分受试者对动觉MI以及视觉MI存在混淆[8]，且视觉刺激范式可产生稳态视觉诱发电位、P300等，易引起受试者的视觉疲劳。因此，需设计准确率高、指令多且易识别的新范式，使受试者能够轻松自然地完成试验。目前，在使用BCI系统时大都需要受试者在试验过程中不间断地进行心理活动，但现实世界中使用特定功能的BCI难以一直保持实验状态。因此研发能够辨别空闲状态的异步BCI系统是实现BCI自然化的关键环节。

　　其次，因个体脑信号差异使得BCI系统在使用之前都需要采集受试者的脑信号来训练分类模型，在跨受试者分类方面往往难以达到理想的分类效果。未来需要不断完善通用学习及迁移学习等算法，以使BCI系统在不同受试者之间可以免训练直接使用。此外面向实用的BCI系统需要灵敏的操控系统，如BCI操控的轮椅和汽车，需及时地识别并执行使用者的指令避免指令执行延迟产生危险，因此需要进一步开发简便高效的信号解码算法。

　　3.2 MEG-BCI个性问题

　　MEG-BCI的非接触性及准备阶段方便等特点在未来BCI领域中极具竞争力。因其相对于湿电极来说，可以保持长时间稳定采集信号的能力;而相对于干电极来说，能够保持佩戴时更舒适的体验感。然而，MEG-BCI也面临若干技术挑战，首先在信号采集期间受试者头部位置发生变化，可能会影响信号解码能力。有研究表明，可以使用光泵磁强计(opticalpumpingmagnetometer，OPM)来对MEG-BCI系统进行优化[42]。OPM与超导量子干涉设备(superconductingquantuminterferencedevice，SQUID)相比可以更好地匹配不同头部模型、传感器与头皮之间的距离更短、传感器处的MEG信号更强且OPM不需要传统的MSR。虽然OPM的部分技术还没有得到足够的完善，但为未来的MEGBCI提供了更广阔的发展方向。

　　其次，目前的MEG信号采集需要在MSR利用SQUID进行，且SQUID需要大量液氦维持超低温下的超导状态，这些因素使设备体积过大且价格昂贵。采集信号时还需使用MEG设备的椅子，便携性不好，长时间进行试验会令人感到不适[22]。最近部分研究提出的便携式小型化设备和无低温MEG传感器[42]，以及避免使用MSR[43]的一些方法将有望为MEG-BCI发展提供实际解决方案，并通过增加MEG的便携性及舒适性，进一步扩展MEG-BCI系统的使用场景。

　　随着MEG技术不断改进，MEG-BCI系统中的传感器数量逐渐增加，使得MEG-BCI系统在空间分辨率上表现更为出色，但大量的传感器可能会难以找到合适的空间滤波器。最佳的通道选择对每个试验及使用者来说都不同，减少通道数有助于降低计算成本并在试验次数较少的情况下保持运算结果的稳定。有研究表明，无论特征类型如何，对MEG-BCI进行正确的通道选择，系统性能都有显着提高[7]，因此可以将通道选择应用于BCI的实际应用。同时软件方面的数据分析包括伪影检测和去除噪声，也需要进一步改进，以适应这些高密度记录的数据。

　　4 结束语

　　本文主要评述MEG-BCI的关键技术，首先概述了MEG-BCI的原理及特征，然后阐述了MEGBCI系统信号采集、实验范式、信号分析及解码方法，以及MEG-BCI的NF技术和其智能化方法，最后讨论了MEG-BCI存在的共性与个性问题及未来发展趋势。尽管MEG-BCI是一种较新的BCI，在BCI领域发展时间较短，但其独特优势会给未来BCI的发展提供许多新思路。研究者将不断开发新的MEG信号重构计算模型，这些模型可能有助于更深入地理解与特定脑功能相关的MEG信号，进一步理解大脑活动信号的特征，推动MEG-BCI的进一步发展。

　　参考文献

　　伏云发,郭衍龙,张夏冰,等.脑-机接口——革命性的人机交互.北京:国防工业出版社,2020.

　　1GraimannB,AllisonB,PfurtschellerG.Brain-computerinterfaces:revolutionizinghuman-computerinteraction.SpringerPublishingCompany,2013.

　　2RamseyNF,MillánJDR.Brain-computerinterfaces.Elsevier,2020.

　　3伏云发,丁鹏,罗建功,等.脑-计算机接口.北京:国防工业出版社,2022.

　　4CetinO,TemurtasF.Acomparativestudyonclassificationofmagnetoencephalographysignalsusingprobabilisticneuralnetworkandmultilayerneuralnetwork.SoftComput,2021,25(3):2267-2275.

　　5OvchinnikovaAO,VasilyevAN,ZubarevIP,etal.MEG-baseddetectionofvoluntaryeyefixationsusedtocontrolacomputer.FrontNeurosci,2021,15:

　　619591.6RoyS,RatheeD,ChowdhuryA,etal.AssessingimpactofchannelselectionondecodingofmotorandcognitiveimageryfromMEGdata.JNeuralEng,2020,17(5):056037.

　　7ChholakP,NisoG,MaksimenkoVA,etal.Visualandkinestheticmodesaffectmotorimageryclassificationinuntrainedsubjects.SciRep,2019,9(1):9838.

　　作者：徐浩天1,2，龚安民3，丁鹏1,2，罗建功1,2，陈超4综述伏云发1,2审校