传统的脑机接口(Brain Computer Interface, BCI)有许多不足, 如基于运动想象的BCI需要受试者进行大量练习; 基于P300位的BCI需要多次重复闪烁; 基于SSVEP的BCI上的控制命令数量受刺激频率及其他因素影响. 为此, 研究人员提出了混合脑机接口(hybrid Brian Computer Interface, hBCI). 本文主要讨论了hBCI的研究进展, 综述了常见的三种hBCI类型, 分别是基于多种大脑模式的hBCI、基于多种感官刺激的hBCI、基于多种信号的hBCI, 通过分析最新的hBCI系统的一般原理、刺激范式、实验结果、优点和应用, 发现利用hBCI技术可以提高BCI的分类准确率, 增加控制命令的数量, 明显优于单一模态的BCI.
Traditional Brain-Computer Interface (BCI) systems have many shortcomings, such as BCI based on motor imaginary requires a large number of exercises; BCI based on P300 requires multiple repetitions of flicker; the number of control commands of BCI based on SSVEP is affected by stimulation frequency and other factors. To this end, researchers have proposed a hybrid Brian-Computer Interface (hBCI). This paper mainly discusses the research progress of hBCI, and reviews three common types of hBCI, such as hBCI of multiple brain models, hBCI of various sensory stimuli, and hBCI of various signals. By analyzing the general principles, stimulation paradigms, experimental results, advantages and applications of the latest hBCI system, we find that using hBCI technology can improve the classification accuracy of BCI and increase the number of control commands, which is obviously better than single mode BCI.
脑机接口(Brain-Computer Interface, BCI)是一种无需外周神经和肌肉的参与, 将大脑活动产生的信号转换成控制信号, 并使用这些信号控制外部设备的技术[
脑机接口系统的信号处理流程
单一模态的脑机接口系统在范式设计、脑信号处理算法和控制系统方面已经取得了重大进展, 然而依然存在不足. 如基于运动想象的BCI需要受试者进行大量练习, 这会使得患者容易疲惫, 从而影响患者的思维集中, 影响脑信号质量; 基于P300位的BCI需要多次重复闪烁, 长时间的重复闪烁, 也对患者的脑信号产生影响; 基于SSVEP的BCI上的控制命令数量受刺激频率及其他因素影响, 特别是当脑机接口的命令数增加时, 分类精度下降. 此外, 这些脑机接口系统还面临着一些挑战, 包括低信息传输速率、多方面/功能控制、人机适应性、鲁棒性和稳定性.
解决上述挑战的潜在方法是使用新开发类型的脑机接口系统, 即混合脑机接口. 正如Allison研究团队所描述的[
本文主要介绍hBCI的类型及其应用. 首先介绍了hBCI的概念, 然后主要讲述几种代表性hBCI的一般原理、刺激范式、实验结果、及其应用, 最后讨论了hBCI的应用前景和研究方向.
Pfurtscheller等人[
近年来, 符合这些标准的hBCI着重于提高活动检测的准确性, 增加控制命令的数量, 对健康受试者和患者以更好地通信和控制. “混合BCI”和“多模式BCI”是两个高度相关的概念. Li等人[
本文提到的hBCI主要分为3大类, 如
hBCI结合了多种大脑模式, 例如P300、SSVEP和MI. 此类hBCI已经被设计用于各种应用, 例如拼写器[
本文所讨论的混合脑机接口类型
混合脑机接口的代表性应用研究
引用 | 混合模式 | 应用 | 分类方法 | 命令 | 准确率 |
Bi等人(2014)[ |
SSVEP, P300 | 光标控制 | SVM | 9 | >90% |
Choi和Jo[ |
SSVEP, P300,MI | 仿人机器导航 | CCA | 6 | P300:84.6%, SSVEP:84.08% |
Allison等人[ |
SSVE, P300 | 多选项选择 | CCA, LDA | — | P300:99.9%SSVEP:67.2% |
Li等人[ |
MI, SSVEP | 轮椅控制 | SVM | 6 | — |
Yin等人[ |
P300, SSVEP | 拼写器 | SW-LDA | 36 | 93.85% |
Xu等人[ |
SSVEP, P300 | 目标选择的拼写器 | SW-LDA | 9 | 93.3% |
Soekadar等人[ |
EEG+EOG | 辅助康复的应用程序 | 敏感性指数 | 4 | 62.28% |
Ma等人[ |
EEG+EOG | 移动机器人控制 | LDA | 9 | 87.3% |
Pan等人[ |
视觉+听觉 | 意识障碍患者意识检测和康复 | SVM | — | — |
Ju等人(2014)[ |
视觉+触觉 | 机器人手势 | FGMMs,SVM | — | 92.75% |
Buccino等人[ |
EEG+fNIRS | 手部运动及识别 | LDA | 2 | 94.2% |
柏林工业大学研究
|
EEG+NIRS | 心理状态识别 | Meta | — | 65.6% |
Duan等人[ |
SSVEP+MI | 识别人类意图并生成控制命令 | CCA | 5 | MI: 93.3%SSVEP: 89% |
Alexander等人[ |
EEG+NIRS | 一个移动的、模块化的、多模态的生物信号采集装置 | — | — | — |
Lee M H等人[ |
EEG+EOG | 拼写系统 | LDA | — | 100% |
Wang等人[ |
MI+SSVEP | 实际环境中使用脑电图(EEG)信号
|
LDA | — | — |
Chiarelli等人[ |
EEG+fNIRS | 左右手运动图像引导任务 | Deep learning | — | — |
Jaeyoung Shin等人[ |
EEG+NIRS | 对由心算、运动表象和空闲状态引起的三种大脑激活模式进行分类 | sLDA | — | 82.2±10.2% |
2014年Bi等人[
Pan等人[
将SSVEP和MI结合的原因有4个: (1) SSVEP和MI相关的大脑模式同时产生. (2) SSVEP是一种可以在经过少量训练的不熟悉受试者中稳定检测到的诱发电位, 而对于大多数新用户来说, 比较难适应去完成MI任务这个过程. (3) SSVEP可以基于脑电数据的单个试验来检测, 这种检测不需要平均过程. (4)非视觉训练会挫败受试者, 而SSVEP为吸引受试者参与MI任务, 提高受试者的表现提供了可能解决方案.
Yu等人[
基于EEG的BCI系统的一个重要方面是多维控制, 它涉及多个独立的控制信号. 这些控制信号可以从多个脑模式获得, 例如MI和P300. 一方面P300表示的是用于产生离散控制输出命令的可靠类型的脑模式. 另一方面MI对于产生连续控制命令更为有效.
MI和P300相关的任务在现实环境中已广泛应用. Long等人[
hBCI的GUI结合了MI和P300电势的2D光标控制和目标选择, 其中一个光标(黑色小圆), 目标(灰色小正方形), 和8个闪烁按钮(3个“Up”, 3个“Down”和2个“Stop”).
人类拥有的多个感官为处理来自现实世界的信息提供路径. 多感官刺激的融合可加强自上而下的注意力, 这些增强的效果可能有助于改善BCI系统的性能. 基于这一考虑, 基于视-听觉和视-触觉的hBCI被提出来, 其中用于提高系统性能的是双峰刺激.
Belistk等人[
目前, DOC患者, 比如植物人状态或最低意识状态的临床诊断和意识评估主要依赖于行为观察量表, 如昏迷恢复量表. 由于这些患者不能提供足够的行为反应, 因此存在很高的误诊率(范围从37%到43%). 检测这些患者的意识是非常具有挑战性的. 2018年, Pan等人[
上述的hBCI需要视觉上的交互来关注刺激和反馈, 这限制了它们对具有良好视力和完整注视控制的用户的适用性. 由于用户在操作听觉或触觉BCI时不需要视觉交互, 基于听觉/触觉的双峰刺激方法可能允许视觉扫描无关的BCI. 在之前的研究中, Yin等人[
听-触觉BCI研究仍处于研究开发的初期阶段. 例如, Rutkowski和Mori研究的针对视力和听力受损的用户的触觉和听觉BCI[
构建hBCI系统可以使用多个信号, 包括EEG, MEG, fMRI, EOG, NRIS和EMG. 不同脑信号具有不同的信号特征, 因此可用于不同的功能. 常见的hBCI如基于EEG和EMG的hBCI, 基于EEG和EOG的hBCI, 基于EEG和fMRI的hBCI, 基于EEG和MEG的hBCI和基于NIRS和fMRI的hBCI.
Leeb等人[
单独EEG活动的准确率73%, EMG活动为87%. 然而, 在hBCI中, 精度提高到91%. 此外, 为了模拟疲劳的肌肉, 肌电通道的振幅在运行期间降低(从10%衰减到100%), 使得EEG活动在融合数据中变得越来越重要, 因为肌电肌肉变得更加疲劳. 结果表明, 肌肉疲劳增加导致性能中度退化. 受试者可以独立于其肌肉疲劳水平来实现对其hBCI的良好控制. 这代表了EEG和基于EMG的BCI系统的明显优势.
由于许多残疾人仍然控制着他们的眼睛运动, 所以对于许多用户来说, EOG信号是BCI系统输入信号的适当选择. 最近, 一些研究已经结合EEG和EOG来构建hBCI, 如前面所提到Pan等人[
本文主要讨论了几种hBCI类型和不同的刺激设计以及他们的性能分析. 为了提高系统性能, 研究人员设计了新的刺激模式, 可以得出, 对于系统性能来说, 刺激范式是一个重要的因素. hBCI将为解决脑机接口领域的问题提供途径, 比如在速度和实用性提高上, 不仅提供了多个独立的控制命令, 而且提高了准确率.
考虑到3类hBCI及其各自的应用, 我们可以总结出hBCI的2方面优势. (1) 提高目标检测性能. hBCI已被证明能够改善目标检测性能, 如前面所述. 带来这些改善的2个主要策略如下: ① 多种大脑模式(例如MI、P300和SSVEP)的组合, 或者多种信号(例如EEG、EMG、EOG或NIRS)的融合可以在特征级执行. ② 通过呈现多感觉刺激(如视听刺激)增强大脑模式. (2) 多维功能控制. 文中给出了基于混合BCI的多维或功能控制的实现方法和若干应用系统. 可以采用3种主要方法: ① 结合多种大脑模式以获得多个独立的控制信号, 例如基于MI和P300的2D光标控制和基于MI和SSVEP的矫形器控制; ② 使用不同的信号特性来执行不同的功能, 例如基于EEG和EOG的机器人控制. hBCI系统可以涉及多脑模式、多感觉模式、或多信号输入. 为了确保这些成分在hBCI系统中的有效协调, 需要研究相关的脑机制. 然而, 迄今为止对hBCI的脑机制研究很少.
此外, 未来的研究应该集中在hBCI的设计和实现上, 在设计开发一个hBCI时, 应考虑以下6个方面: (1)由至少一种大脑信号获取模式组成; (2)多模态系统应同时处理和检测不同的生理信号; (3)该范式应该能够使用多种模式获得多个大脑活动; (4)为了提高分类精度和生成额外的控制命令, 需要实时/在线获取作为分类的特征; (5)分类输出应具有与外部设备(如轮椅和机器人)连接的潜力; (6)它还应该为用户的康复和控制目的提供反馈. 当设计一个基于多脑模式的hBCI时, 一个挑战是确定脑模式的最佳组合, 该组合在用户中可以考虑不同, 以完成期望的目标. 在设计多感觉混合型脑机接口时, 一个挑战是确保所需的大脑模式通过多感觉刺激得到增强. 在未来, 我们可以考虑涉及视觉, 听觉和触觉方式的更多的组合多感官刺激. 对于基于多个信号的hBCI, 一个挑战是确保充分利用不同信号的优点, 从而改善系统性能. 此外, 还应考虑基于EEG和fMRI的实时hBCI, 因为以下因素: EEG数据(由fMRI扫描仪产生)中的高噪声、慢响应、高维数和fMRI数据的低时间分辨率. hBCI的一个潜在应用是脑机制研究. 在设计用于共享控制的hBCI时, 必须考虑人机适应/学习的范式, 以优化用户和机器的耦合, 并建立能够有效地融合用户意图和机器决策的模型. 未来的研究应该集中于这些问题. 到目前为止, 大多数hBCI系统, 如本章所讨论的BCI浏览器和BCI轮椅, 都是基于健康受试者设计的. 考虑到健康受试者和患者之间的主要差异, 这些系统需要扩展供患者使用.
将来, 研究人员将研究和设计一个更重要的刺激机制, 从而提高混合系统的性能, 附加的控制信号也会得到实现, 研究人员也会探索可以提高分类器的因素. 当前的混合BCI依然需要时间去训练分类器的参数, 以及减少时间的需求. 近几年的多模态脑机接口越来越多的应用到临床中,如偏瘫病人[
Wolpaw JR, Birbaumer N, McFarland DJ, et al. Brain– computer interfaces for communication and control. Clinical Neurophysiology, 2002, 113(6): 767–791.
Fazli S, Mehnert J, Steinbrink J, et al. Enhanced performance by a hybrid NIRS-EEG brain computer interface. Neuroimage, 2011, 59(1): 519–529.
Farwell LA, Donchin E. Talking off the top of your head: Toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology, 1988, 70(6): 510–523.
Muller-Putz GR, Scherer R, Neuper C, et al. Steady-state somatosensory evoked potentials: Suitable brain signals for brain-computer interfaces? IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2006, 14(1): 30–37.
Pfurtscheller G, Da Silva FHL. Event-related EEG/MEG synchronization and desynchronization: Basic principles. Clinical Neurophysiology, 1999, 110(11): 1842–1857.
Pfurtscheller G, Allison BZ, Brunner C, et al. The hybrid BCI. Frontiers in Neuroscience, 2010, 4: 42, doi: 10.3389/fnpro.2010.00003.
Li J, Ji HF, Cao L, et al. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. International Journal of Neural Systems, 2014, 24(4): 1450014.
Bi LZ, Lian JL, Jie K, et al. A speed and direction-based cursor control system with P300 and SSVEP. Biomedical Signal Processing and Control, 2014, 14: 126–133.
Choi BJ, Jo SH. A low-cost EEG system-based hybrid brain–computer interface for humanoid robot navigation and recognition. PLoS One, 2013, 8(9): e74583, doi: 10.1371/journal.pone.0074583.
Allison BZ, Jin J, Zhang Y, et al. A four-choice hybrid P300/SSVEP BCI for improved accuracy. Brain-Computer Interfaces, 2014, 1(1): 17–26.
Yin E, Zeyl T, Saab R, et al. A hybrid brain-computer interface based on the fusion of P300 and SSVEP scores. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2015, 23(4): 693-701.
Xu MP, Qi HZ, Wan BK, et al. A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature. Journal of Neural Engineering, 2013, 10(2): 026001, doi: 10.1088/1741-2560/10/2/026001.
Soekadar SR, Witkowski M, Vitiello N, et al. An EEG/EOG-based hybrid brain-neural computer interaction (BNCI) system to control an exoskeleton for the paralyzed hand. Biomedical Engineering, 2015, 60(3): 199–205.
Ma JX, Zhang Y, Cichocki A, et al. A novel EOG/EEG hybrid human-machine interface adopting eye movements and ERPs: Application to robot control. IEEE Transactions on Biomedical Engineering, 2015, 62(3): 876–889, doi: 10.1109/TBME.2014.2369483.
Pan JH, Xie QY, Huang HY, et al. Emotion-related consciousness detection in patients with disorders of consciousness through an EEG-based BCI system. Frontiers in Human Neuroscience, 2018, 12: 198.
Ju ZJ, Liu H. Human hand motion analysis with multisensory information. IEEE/ASME Transactions on Mechatronics, 2014, 19(2): 456–466.
Buccino AP, Keles HO, Omurtag A. Hybrid EEG-fNIRS asynchronous brain-computer interface for multiple motor tasks. PLoS One, 2016, 11(1): e0146610.
Shin J, von Lühmann A, Blankertz B, et al. Open access dataset for EEG + NIRS single- trial classification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(10): 1735–1745.
Duan F, Lin DX, Li WY, et al. Design of a multimodal EEG-based hybrid BCI system with visual servo module. IEEE Transactions on Autonomous Mental Development, 2015, 7(4): 332–341.
von Lühmann A, Wabnitz H, Sander T, et al. M3BA: A mobile, modular, multimodal biosignal acquisition architecture for miniaturized EEG-NIRS-based hybrid BCI and monitoring. IEEE Transactions on Biomedical Engineering, 2017, 64(6): 1199–1210.
Lee MH, Williamson J, Won DO, et al. A high performance spelling system based on EEG-EOG signals with visual feedback. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, 26(7): 1443–1459.
Wang ZH, Yu Y, Xu M, et al. Towards a hybrid BCI gaming paradigm based on motor imagery and SSVEP. International Journal of Human-Computer Interaction, 2019, 35(3): 197–205.
Chiarelli AM, Croce P, Merla A, et al. Deep learning for hybrid EEG-fNIRS brain-computer interface: Application to motor imagery classification. Journal of Neural Engineering, 2018, 15(3): 036028.
Jaeyoung S, Jinuk K, Chang-Hwan I. A ternary hybrid EEG-NIRS brain-computer interface for the classification of brain activation patterns during mental arithmetic, motor imagery, and idle state. Frontiers in Neuroinformatics, 2018, 12:5
Panicker RC, Puthusserypady S, Sun Y. An asynchronous P300 BCI with SSVEP-based control state detection. IEEE Transactions on Biomedical Engineering, 2011, 58(6): 1781–1788.
Pfurtscheller G, Solis-Escalante T, Ortner R, et al. Self-paced operation of an SSVEP-based orthosis with and without an imagery-based " brain switch”: A feasibility study towards a hybrid BCI. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2010, 18(4): 409–414.
Li YQ, Pan JH, Wang F, et al. A hybrid BCI system combining P300 and SSVEP and its application to wheelchair control. IEEE Transactions on Biomedical Engineering, 2013, 60(11): 3156–3166.
Li YQ, Long JY, Yu TY, et al. An EEG-based BCI system for 2-D cursor control by combining Mu/Beta rhythm and P300 potential. IEEE Transactions on Biomedical Engineering, 2010, 57(10): 2495–2505.
Long JY, Li YQ, Yu TY, et al. Target selection with hybrid feature for BCI-based 2-D cursor control. IEEE Transactions on Biomedical Engineering, 2012, 59(1): 132–140.
Yu TY, Li YQ, Long JY, et al. Surfing the internet with a BCI mouse. Journal of Neural Engineering, 2012, 9(3): 036012.
Yu TY, Li YQ, Long JY, et al. A hybrid brain-computer interface-based mail client.Computational and Mathematical Methods in Medicine, 2013, Article ID 750934.
Pan JH, Xie QY, He YB, et al. Detecting awareness in patients with disorders of consciousness using a hybrid brain–computer interface. Journal of Neural Engineering, 2014, 11(5): 056007, doi: 10.1088/1741-2560/11/5/056007.
Yu TY, Xiao J, Wang FY, et al. Enhanced motor imagery training using a hybrid BCI with feedback. IEEE Transactions on Biomedical Engineering, 2015, 62(7): 1706–1717.
Long JY, Li YQ, Wang HT, et al. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012, 20(5): 720–729.
Belitski A, Farquhar J, Desain P. P300 audio-visual speller. Journal of Neural Engineering, 2011, 8(2): 025022.
An XW, Höhne J, Ming D, et al. Exploring combinations of auditory and visual stimuli for gaze-independent brain-computer interfaces. PLoS One, 2014, 9(10): e111070.
Wang F, He YB, Pan JH, et al. A novel audiovisual brain-computer interface and its application in awareness detection. Scientific Reports, 2015, 5: 9962.
Yin EW, Zeyl T, Saab R, et al. An auditory-tactile visual saccade-independent P300 brain-computer interface. International Journal of Neural Systems, 2016, 26(1): 1650001.
Rutkowski TM, Mori H. Tactile and bone-conduction auditory brain computer interface for vision and hearing impaired users. Journal of Neuroscience Methods, 2015, 244: 45–51.
Leeb R, Sagha H, Chavarriaga R, et al. A hybrid brain–computer interface based on the fusion of electroencephalographic and electromyographic activities. Journal of Neural Engineering, 2011, 8(2): 025011.
Hassan M, Kadone H, Ueno T, et al. Feasibility of synergy-based exoskeleton robot control in hemiplegia. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, 26(6): 1233–1242.
Kato K, Takahashi K, Mizuguchi N, et al. Online detection of amplitude modulation of motor-related EEG desynchronization using a lock-in amplifier: Comparison with a fast Fourier transform, a continuous wavelet transform, and an autoregressive algorithm. Journal of Neuroscience Methods, 2018, 293: 289–298.
Wang F, He YB, Qu J, et al. Enhancing clinical communication assessments Using an audiovisual BCI for patients with disorders of consciousness. Journal of Neural Engineering, 2017, 14(4): 046024.