Nature Communications|用于监测困倦状态的无线入耳式可穿戴设备（健康监测/柔性传感/可穿戴电子/柔性电子）
加州大学伯克利分校的 Rikky & Ryan Kaveh 研究团队在《今日心理学》杂志上发表了一篇题为《耳部脑电图对人的影响》的论文。论文内容如下：
一、总结
神经可穿戴设备可以为飞行员和驾驶员提供挽救生命的疲劳和健康监测。虽然现有的机舱传感器可以提供警报，但可穿戴设备可以在更复杂的环境中实现监测。当前的神经可穿戴设备前景广阔，但大多数都需要湿电极和笨重的电子设备。这项工作展示了一种使用紧凑硬件进行疲劳监测的入耳式干电极耳塞。该系统使用集成干式、用户友好的耳机增材制造技术、现有作者使用的无线电子设备和离线分类算法的系统。从执行睡眠诱导任务的九名受试者那里记录了 35 小时的电生理数据。使用用户特定、留一试验和留一用户排除方法训练了三个模型。分类器模型。支持向量机分类器在评估以前见过的用户时达到 93.2% 的准确率，在评估从未见过的用户时达到 93.3% 的准确率。这些结果表明，使用无线、新型、通用用户耳塞可以对疲劳进行分类，其准确率可与现有的最先进的入耳式湿电极和头皮系统相媲美。此外，该研究表明，分类的小组训练可能对未来的电生理应用有用。可行性。
2. 背景
操作重型机械时犯困和疲劳可能会危及生命。据估计，美国超过 16.5% 的致命车辆事故与驾驶员疲劳有关，导致 8,000 多人死亡和 1,090 亿美元的经济损失。除了私人和商业（卡车运输）事故外，美国国家安全委员会还将疲劳驾驶列为建筑和采矿业最严重的危害。虽然这些死亡可以通过常见的风险评估来预防，但疲劳的人往往无法意识到自己受到了损害，直到为时已晚。困倦监测解决方案使用基于摄像头的眼动追踪、转向传感器或电生理记录设备。虽然它们可能适用于汽车场景，但眼动追踪会被太阳镜和其他障碍物阻挡，而转向传感器在崎岖不平的道路上可能会发生误报。以用户为中心的记录模式，例如随身摄像机、光电容积描记法 (PPG)、皮肤电活动、心电图 (ECG)、眼电图 (EOG) 和脑电图 (EEG) EEG 因其高便携性和对专业工作环境的适应性而越来越受欢迎。这些模式已被纳入各种外形尺寸，例如眼动追踪眼镜、PPG/ExG 追踪头盔和入耳式 ExG 传感器。在这些方法中，ExG 通常能实现最高的困倦检测准确率。
表面脑电图（EEG）是一种安全、无创的从头皮监测脑电活动的方法。临床上，EEG最常见的用途是监测和诊断与睡眠和癫痫有关的典型神经系统疾病。全身性疾病。
耳道内离散多通道脑电图 (EEG) 记录已被证明是可行的，最近的研究重点是耳机设计、电极材料和多传感器阵列。耳道是理想的传感器位置，因为它具有固有的机械稳定性和丰富的电位记录方法。耳内传感器和电极非常适合记录颞叶活动、血氧饱和度、头部运动和咬肌活动，如果不需要高空间覆盖，则是多模态感测的理想选择。虽然某些应用中的肌肉活动或耳道变形可能被视为干扰信号，但这些信号可能对其他一般生物电信号 (ExG) 工作负载有用。此外，值得注意的是，内耳对噪声的敏感度高于更宽的头皮阵列。许多成功的设计利用水凝胶涂层柔性印刷电路板阵列或用户定制的耳机来记录生物电信号特征。例如眼电图 (EOG)、低频脑电图 (1-30 Hz) 和诱发电位 (40-80 Hz)。
最近，配备湿电极、干电极、光电容积描记法 (PPG) 和/或化学传感器的通用用户耳机在对大脑状态和活动进行分类方面已实现高精度。此外，基于干电极的耳内生物电信号 (ExG) 记录的低频神经节律、诱发电位和眼电图 (EOG) 性能与湿电极相当。电极只是信号采集的一部分。神经信号采集电路用于将神经信号数字化，并将其传输到处理单元或基站进行离线处理。面向消费者的神经信号采集电路通常针对特定需求进行定制，具有低带宽、噪声和功耗规格。这些设备的带宽通常在100 Hz左右，可以实现超低功耗运行（当现有的电子设备适应可穿戴干电极时，增加的电噪声、系统噪声和干扰敏感性对功率要求和后续的机器学习算法产生重大影响。轻量级经典算法（例如逻辑回归、支持向量机、随机森林）是未来传感器和功率优化的重要第一步。为此，本研究利用现有的高通道数、高带宽系统来调查采用的ExG电极技术与睡意检测之间的关系。
这项工作首次集成并演示了用于睡意分类的无线干电极入耳式生物电传感器。在此基础上，提出了一种制造入耳式脑电图 (EEG) 传感器的新方法，该方法与现有的无线数据采集兼容。该研究与开源机器学习分类方法相结合，并在 9 名受试者身上进行了验证。还介绍了一种适用于可重复使用、舒适、低阻抗耳机的干金电极制造工艺，并以数字格式进行了测试和演示。这些电极在 12 个月的使用期内进行了测试。这种电极技术提供了一种独特的方法，可以快速制作可重复使用的金电极原型，这些电极在使用 12 个月后仍能保持稳定。这些电极可以代替耳塞，然后与无线、分离式电子设备相结合，能够实现超过 40 小时的不间断、低噪音聆听。由此产生的入耳式 ExG 系统在一项针对 9 名受试者的睡意监测研究中得到了展示。从记录的生物电数据中提取低复杂度的时间和光谱特征，并用于训练多个离线机器学习模型，以实现自动困倦检测。使用支持向量机的最佳模型在评估用户看到模型后的表现良好。平均困倦事件检测准确率为 93.2%，在评估从未见过的用户时，准确率为 93.3%。该系统及其离线分类器的应用为未来隐蔽、完全无线、长期和纵向的脑监测奠定了基础（图 1）。
图 1. 设想中的入耳式 ExG 可穿戴设备。设想中的系统可以全天候谨慎佩戴，以舒适地记录耳道内的神经信号、进行疲劳检测并提供反馈。
3. 内容详解
3.1 耳部ExG疲劳监测平台模块化电极的设计、制造和组装 3.1.1 耳机设计
易于使用的神经可穿戴设备需要用户通用的耳机和电极解决方案，该解决方案可以在多个人群中进行记录，并且可以舒适地长时间佩戴。为了最大限度地增加电极在个体之间的表面积，最终的“中型”耳机包含四个60 mm²的电极，放置在耳道内，两个3 cm²的电极放置在耳廓的舟骨和耳腔内（图2a）。入耳电极是一种悬臂结构，可施加轻微的向外压力，以实现比以前版本更低的电阻抗（从370 kΩ到50 Hz时的120 kΩ）并提高机械稳定性耳外电极充当参考引导点，确保电极每次佩戴时都接触相同的表面。此外，由于耳外电极与大脑或任何肌肉的距离较远，因此它们是参考和接地的良好候选者。为了组装并进一步提高舒适度，使用透明甲基丙烯酸酯光聚合物 3D 打印了一个具有歧管入耳式设计的柔软耳机主体（图 2a）。每个刚性电极都连接到这个柔软的弹性基底上，可以独立于其他电极移动以贴合受试者的耳朵（图 2b）。这种新的模块化组装充分展示了分流耳机制造工艺的优势。
3.1.2 电极准备
开发了一种低成本的全电化学电镀工艺，可快速制作任意形状的电生理传感器原型。使用透明甲基丙烯酸甲酯聚合物（图 2c）对电极进行 3D 打印，并进行喷砂处理。然后将样品浸入不同的催化剂浴中以形成铜、镍和金金属层。最后，将镀锡铜线直接焊接到电极表面，以便与神经记录前端集成。最终表面至少包含 0.5 μm 铜、0.5 μm 镍和 0.25 μm 金，适合干电极记录。
图 2 耳机组装、安装和制造过程。a 最终的耳机由四个入耳电极和两个外耳电极组成。多孔 3D 打印耳机是通过将刚性镀金耳机插入柔软、灵活的骨架来组装的。b 外耳电极与耳廓的耳甲和耳碗接触，而入耳电极与耳道开口接触。入耳电极仅进入耳道的前 10 毫米。c 电极制造示意图和照片：i) 电极是 3D 打印或模制的 ii) 裸电极经过喷砂和清洁。iii) 通过依次将电极暴露于表面活性剂、催化剂和硫酸铜溶液中，在电极上化学镀铜。iv) 涂上化学镀镍层。v) 最后，化学沉积一层金层。
3.2 涂装工艺表征 3.2.1 材料酸浸试验及胶带试验
最终的电极表面表现出良好的物理和化学稳定性。酸浸试验和随后的显微镜检查（图 3a）未发现可能影响电极表面或电性能的微裂纹或纳米裂纹。
3.2.2 表面粗糙度表征
使用光学显微镜和触针轮廓仪评估电镀工艺各个步骤之间单个平面样品的表面粗糙度。图 3b 绘制了样品在每个电镀步骤中的归一化表面形貌。报告的 Rp 值是绘制线的标准偏差。虽然表面粗糙度随着每个后续电镀步骤略有下降，但最终的金表面仍然比简单的平面粗糙得多。这增加了电极的表面积，促进了更好的薄膜附着力并降低了 ESI。
3.2.3 薄膜电阻器
电镀后立即用四探针法测量薄层电阻。对镀铜、镀镍和镀金样品分别进行了 40 次薄层电阻测量。平均薄层电阻分别为 177.9 ± 109、95.5 ± 13 和 30.3 ± 3.7 mΩ^−1（图 3c）。随着每一层金属的添加，薄层电阻趋于稳定，表面导电性也增强。
3.2.4 多用户入耳电极的生物阻抗
阻抗谱用于评估耳电极-皮肤阻抗。四名受试者接受了阻抗测量（共20次测量），以测量耳电极和外耳鼓膜电极之间的阻抗。所有阻抗结果均拟合到等效电路模型（图3d所示的频谱，图3e所示的电路模型）中，以更好地理解与电极-皮肤界面处的相位元件相关的运动伪影稳定时间，并为未来的模拟前端设计提供参考。在50 Hz时，界面的平均阻抗为120 kΩ，相位为-33°。
图 3. 涂层表面特性。a 涂层表面的代表性光学显微镜图像，显示喷砂后产生的粗糙度。b 在每个涂层步骤之后对平面样品进行探针表面粗糙度测量。c 涂层后立即进行。绝对薄层电阻测量，平均值（红色圆圈）和标准偏差（误差线）。d 入耳电极-皮肤阻抗幅度、相位和振幅拟合。电极幅度的标准偏差显示在绿色阴影区域中。e 用于拟合的恒相位元件电极模型。
3.3 轻量级ExG录音系统
ExG 是使用现有的紧凑型无线记录平台记录的，该平台连接到头带上（图 4a）。该系统由定制的神经记录电路（，Inc.）、微控制器和无线电模块组成。系统的微控制器和无线电模块将数字化的神经数据打包并通过低功耗蓝牙 (BLE) 将其传输到连接到主机的基站（见图 4a）。系统的功耗主要由微控制器决定。NMIC 和的功耗分别为 700 μW 和 46 mW，因此 3.7 V、550 mA 电池可以提供约 44 小时的运行时间。
图 4 实验设置、记录和标记方案。a 受试者坐在一台显示基本反应时间测量游戏的笔记本电脑旁边。头戴式设备安装在 3D 打印外壳中，通过 BLE 传输对侧耳机的声音。受试者玩游戏时，ExG 会被记录并传输到基站。所有捕获的 ExG 都可以实时绘制给试验主管，而游戏会记录受试者的反应时间和调查反应。b 记录的 ExG、反应时间和物品使用情况当受试者的反应时间和反应超过某个疲劳阈值时，会识别出用绿色阴影标记的疲劳事件。使用反应时间和分数可以创建不受用户暂时错误影响的稳健标签。
3.4 脑电图特征及用户友好的疲劳检测 3.4.1 疲劳研究
为了表征整个系统的性能，在一项针对 9 名受试者的嗜睡研究中记录了 35 小时的耳部 ExG 数据。受试者佩戴两个耳机，耳机的电极以对侧单极组合排列。结果表明，单个耳机上的电极之间的距离足以测量生物电信号，但将电极放在两个耳朵之间可以记录更大的信号幅度。
3.4.2 疲劳分类过程
ExG 数据的训练过程包括后处理、特征提取和模型训练步骤（见图 5a）。为了检测与睡意检测相关的标准 EEG 频带中的眼部伪影和活动，我们利用基于 ExG 的睡意检测实现了时间相关模型。和频谱特征：δ波（0.05-4 Hz）、θ波（4-8 Hz）、α波（8-13 Hz）、β波（13-30 Hz）和γ波（30-50 Hz）。低复杂度逻辑回归、支持向量机 (SVM) 和随机森林分类器模型用于二元分类（清醒/睡意）。
使用了三种交叉验证技术来评估模型在不同使用场景下的性能：用户特定交叉验证、留一试验法和留一用户法。使用亮窗口 FIR 滤波器对图像进行滤波，并进行阈值处理，以获得最终的二进制输出（图 5b）。
图 5 疲劳检测器训练和验证图。a 重新引用、过滤和清除耳朵 ExG 实验记录中的运动污染，然后进行特征提取和模型训练。b 以类似的方式进行交叉验证，并将特征化的耳朵 ExG 时期输入到三个分类模型中。然后将模型输出输入到事件检测器中，在其中执行移动平均，然后对得到的分类进行阈值处理以估计警觉性和疲劳状态。
3.5 困倦分类结果 3.5.1 Alpha调制比率
阿尔法波 (8-12 Hz) 是自发神经信号，可反映个人的放松状态，因此它们成为基于 ExG 的嗜睡分类中的重要频谱特征。图 6a 显示了来自单个用户的阿尔法波样本。样本记录显示了阿尔法波的调制。这种调制在时间频谱图中清晰可见（图 6a）。为了更定量地评估调制率，图 6a 还绘制了受试者每 30 秒睁眼和闭眼的时间。闭眼时阿尔法波段的平均功率。呈现的样本数据的调制率为 2.001。
3.5.2 比较验证方案之间的分类器
在所有模型和特征窗口大小中，用户特定分类结果的总体平均值在 77.9% 到 92.2% 之间。在用户通用留一法测试案例中，经过 34 次试验的交叉验证后，平均分类准确率为 99.9%。留一法用户验证方案在所有用户、窗口大小和模型中实现了 88.1% - 93.3% 的准确率。图 6b-g 显示了平均模型准确率和标准差（如适用）。
3.5.3 10 秒和 50 秒窗口
研究了两种特征窗口方案，即 10 s（图 6b-d）和 50 s（图 6e-g）窗口。
3.5.4 分类器架构比较
为了提高疲劳检测平台的可扩展性和可用性，采用了三种低复杂度的机器学习模型。所有模型均在3.8环境中使用-learn包实现。逻辑回归模型采用随机平均梯度下降求解器实现。使用L1正则化添加等于特征系数绝对值的惩罚项。支持向量机使用径向基函数（RBF）核来处理可能无法线性分离的数据信息。训练后的模型使用400个支持向量，并设置正则化参数C = 1。随机森林模型采用100棵树，最大深度为5，以防止过度拟合。
由于这三种模型都实现了高精度，因此很明显，可以通过耳内脑电图记录来分类困倦。没有一个模型表现出明显更好的性能。逻辑回归模型的计算效率更高，需要的内存更少。计算量明显更少，并且可以更轻松地使用较小的数据集进行训练/部署。验证逻辑回归是否在更大的人口统计数据上继续表现良好非常重要，这是未来研究的主题。
图 6 脑电图测量和分类器性能。a 频谱图显示受试者闭眼时的 alpha 调制。闭眼时，alpha 波段功率（8–12 Hz，通过 2 秒滚动平均值过滤以提高清晰度）的振幅被调制了 4 倍。b 使用 10 秒特征窗口的逻辑回归事件检测。c 使用 10 秒特征窗口的支持向量机事件检测。d 使用 10 秒特征窗口的随机森林事件检测。e、f、g 使用 50 秒特征窗口的困倦事件检测。标准偏差 (Std Dev) 显示来自 9 位用户的结果。
4. 总结
作者报告了入耳式干电极的设计和制造，以及用于离线检测未见过用户的睡意的无线可穿戴入耳式 ExG 平台的组装和评估。该平台的各个方面可以适应不同的 3D 打印和化学镀金电极，可以快速增强任何解剖优化的可穿戴设备以供长期/可重复使用，可以支持多日电生理监测，并且所提出的离线分类器展示了未来基于干电极的脑的潜力与其他最先进的入耳式记录平台（表 2）相比，所提出的电极、无线电子设备和轻量级算法为未来大规模部署使用多种机器学习算法的用户通用无线耳塞提供了有希望的机会。ExG 为脑机接口奠定了基础。
五、文献信息
Kaveh, R., , C., Pu, L. 等人。耳朵脑电图到。国家 15, 6520 (2024)。