【行业动态】面向智能座舱的情感计算框架及其交互设计研究

作者：张双烨，董占勋^*，李亚鸿，傅炯

上海交通大学 设计学院，上海

在人工智能、大数据、物联网等技术飞速发展的背景下，汽车座舱逐渐从传统驾乘空间转变为多功能智能终端，座舱交互体验成为行业关注的焦点。在未来的智能座舱中，增强对用户的感知能力和意图预测能力，从声音、面部表情、生理测量和情境知识中识别情感将是提高交互自然性的关键因素^[1]。本文将介绍情感计算在智能座舱中进行应用的研究现状，提出基于驾驶员情感识别的交互系统，并以调节新手驾驶员负面情绪的场景为实例，对交互系统的设计过程进行应用实践。

情感计算在智能座舱中的应用

驾驶员监测系统（DriverMonitoringSystems，DMS）逐渐得到广泛应用，现有DMS主要功能为疲劳和分心驾驶监测，各厂商致力于提升座舱用户感知能力，设计情绪识别和智能交互场景，情感计算应用成为趋势，本章总结了情感计算在智能座舱中的应用框架。

情绪是人对客观事物或环境产生反馈所形成的心理和生理状态，在驾驶中影响重大。离散情绪模型和维度情绪模型是情绪分类的两种主要方法。Ekman^[2]认为情绪由悲伤、恐惧、厌恶、惊讶、高兴和愤怒共6种基本情绪组成，而复杂情绪由这些基本情绪组合而成。Russell^[3]提出的效价-唤醒度二维情感模型使用最为广泛，将情绪映射在二维坐标空间中，目前情绪研究和应用主要集中于对多个离散情绪的识别。研究表明，低效价情绪会降低驾驶水平，优先级高的必要驾驶任务受影响最大，如保持车道、转向、加速和制动^[4]，高唤醒度情绪在高脑力负荷的驾驶任务中会对驾驶表现产生负面影响^[5]。因此从驾驶安全角度考虑，中等唤醒度被认为是最佳唤醒水平^[6]，而积极效价一般被认为是获得良好用户体验的标志^[7]。

情感计算旨在通过赋予计算机识别、理解和表达情感的能力，实现自然的人机交互。情绪识别技术基于生理特征、行为表现特征、情绪之间的映射关系，对情绪进行监测和分析。根据特征数量可分为单模态和多模态两种。其中，多模态情绪识别基于多种信号融合，因为决策提供更多信息从而具有更高的准确度^[8]。从安全性角度出发，情感计算能及时干预危险驾驶行为，并主动提供安全支持。从舒适性和娱乐性角度出发，识别驾乘人员的情绪状态并智能地调节座舱环境，能够使其更加人性化。例如，起亚汽车在 2019年国际消费电子产品展（CES）上展出的 R.E.A.D.实时情绪适应座舱，通过面部表情和心率识别驾驶员情绪，调节灯光、声音、温度和气味以打造个性化交互体验。

将情感计算应用于智能座舱中，能够根据用户情绪实现更丰富的交互场景。视觉、声音、触觉等传感技术增强了座舱的用户感知能力，深度学习算法实现了人脸、语音、表情识别等功能，使座舱能够处理复杂信息并理解用户需求。多模态交互技术实现了触控交互、语音助手、声纹识别等功能，为座舱提供了丰富灵活的交互方式。各领域技术的整合使智能座舱的可用性和用户体验得到提升。

表情是表达情绪最直观的特征，通过监测面部肌肉运动可以推测特定的情绪状态。面部表情识别可分为传统方法（如几何特征、纹理特征、光流法）和基于深度学习的方法（如 CNN），具有采集方式简单、成本低、非接触的优点，但易受光照变化及姿态的影响，且面部表情会因驾驶任务的认知负荷受到抑制，具有应用局限性。为解决这些问题，提出了高纯度特征分离（HPFS）^[9]和认知特征增强模型 CogEmoNet^[10]等方法。驾驶员面部识别一般通过 DMS 摄像头实现，位置通常在 A 柱、方向盘或仪表盘上，而乘客监测系统（OMS）则采用 RGB 和红外光双模式摄像头。

语音情绪识别技术利用情绪状态与声音特征的关联提取情绪信息，主要采用韵律、音质、频谱等特征，如音高、能量、梅尔频率倒谱系数（MFCC）。语音信号在座舱中采集方便，且其成本低、不干扰用户，应用难点在于从嘈杂和动态的行驶环境中提取和处理人声。研究者对此提出了不同方案，如融合全局声学特征与局部频谱特征的驾驶员语音情感识别网络（GL-DSED）^[11]。语音信息通过车载麦克风阵列采集，声源定位技术定向拾音以增强对语音的理解。

神经生理信号具有客观、不易伪装的特点，能够衡量生理激活水平并反映情绪的唤醒状态，皮肤电活动（EDA）、心率变异性（HRV）、呼吸频率（BR）、脑电（EEG）常用于情绪识别任务。不同脑电频段与意识状态相关，呼吸频率与情绪的效价和唤醒度有关，在座舱中监测生理信号变化有助于关注驾驶员状态。由于硬件和用户接受度等限制，神经生理信号情绪识别技术目前主要用于研究，但未来有望应用于座舱健康监测和安全提醒。

单模态情绪识别易受数据噪声影响，稳定性差；多模态情绪识别则更适用于座舱，融合包含上述模态的多种特征，识别各类情绪，见图 1。研究者提出了不同特征及融合方式，如 Du 等^[12]提出一种卷积双向长短期记忆神经网络（CBLNN），融合面部几何特征和 RGB 分量变化提取的心率以识别 5 种驾驶员情绪。从周期性面部亮度的变化中提取心率，弥补了面部特征的不足，克服了生理信号采集需穿戴设备的限制。

基于情感计算的智能座舱交互系统

设计智能座舱情感化交互系统的流程可分为3个步骤，见图2。

首先，确定情绪感知和识别方法。不同情绪在不同模态中的识别效果各异。例如，疲劳难以通过语音识别，因为疲劳状态下驾驶员的语音模态可能缺失，但面部表情和头部运动可作为有效的疲劳检测指标^[1]。根据目的和技术特点恰当地融合多模态，可提升识别效果和交互系统的稳定性。其次，形成情感调节策略和交互原则。交互设计应以提高驾驶性能和增强驾驶乐趣为目标，选择情感调节策略，扭转或适应驾驶员的情感状态，并考虑驾驶场景和用户个体差异，复杂交互任务可能增加驾驶员的认知负荷，影响安全性和用户体验，设计时需关注驾驶任务和交互方式的干扰程度。多模态交互和情感反馈旨在提供更丰富的情感体验，个性化调整和文化差异则需考虑用户需求和接受程度。最后，设计情感化交互流程，主要通过语音、HMI界面和自适应座舱环境实现，从视觉、听觉、触觉等感官通道达成多模态交互。根据用户知识库预测用户意图，推荐相关功能，构建场景化的智能交互流程。

识别用户身份并提供个性化服务是提升座舱用户体验的关键。通过情感识别采集的语音和表情信息、情绪识别结果和交互行为，建立用户情绪知识库，这有利于系统地适应用户的差异，例如通过部分交互行为预测用户可能需要的其他功能和情绪状态，从而主动提供便捷方式以快速进入交互场景，而知识库在交互中不断学习和发展，用户信息相互独立，在提供个性服务的同时保护数据隐私。

识别驾驶员情感状态后，选择恰当的情感调节策略，以平衡安全性和用户体验。愤怒、紧张、烦躁等情绪会降低驾驶员的车辆控制能力。悲伤、疲劳等低唤醒度情绪会降低反应能力，对驾驶安全不利，适合采用扭转负面情绪^[1]的策略。在愉悦、放松等积极或中性的情感状态下，则可采用使汽车功能适应驾驶员情绪^[1]的策略，调整汽车功能以适应驾驶员情绪。通过调节语音交互、灯光、音乐等环境，提供丰富的交互体验。适应情感调节策略的交互方式结合以下6个交互原则进行设计。

1）驾驶任务。处理复杂交互任务可能增加认知负担，在复杂驾驶场景下应减少完成交互任务所需的动作，确立不同交互任务的优先级，保证驾驶任务占据主导地位。

2）多模态交互。结合视觉、听觉、触觉等多种感知模态，实现丰富的情感传达，提高用户对座舱系统的亲和感。在一些场景下，多模态比单模态的交互方式更具优势。例如，对于警告类信息，视觉与听觉结合或视觉与触觉结合的方式比单一感官的警告能够更快得到用户的响应[13]。

3）干扰程度。不同交互方式对驾驶的干扰程度存在差异，交互设计中需对各种交互方式在驾驶环境中的适用性和效果进行深入研究，确保合理运用。

4）情感反馈。座舱系统应在交互中传递对用户情感的理解，提供积极反馈和情感支持，包括正面引导（如鼓励、赞美），以及对负面情感的理解和缓解，从而增加信任感和驾驶愉悦感。

5）个性化调整。避免“家长式”风格，允许用户根据偏好调整，动态地适应用户的习惯和情感需求，以提供更“懂”用户的交互体验。

6）文化差异。考虑用户的多元性和文化背景，确保设计元素能够被广泛理解，避免文化误解，提供本土化的交互体验。

语音交互是智能座舱交互系统的重要环节。在情感化交互中，语音应具有情感表达功能，实现自然、 人性化的互动。为避免情感和角色的突变，语气转换应渐进平缓，避免因快速变化而引起用户的困惑，从而影响信任感。系统应保持前后一致的角色和语境， 确保对话内容的连贯性。

智能座舱HMI界面一般包括仪表盘、中控屏、副驾屏、后座屏、抬头显示（HUD）及方向盘，见图3。

大屏一体化是主流设计方向，智能表面、AR、VR等技术的发展使座舱交互界面的形式有了更多可能^[14]。HMI设计应减少认知负荷，降低操作难度，通过颜色、形状、动效等视觉元素与用户进行互动。多屏显示需避免信息冗余，关键在于适时、适地显示合理信息，确保多屏互动的同步化，提升交互流畅性。

座舱环境智能调节是多模态交互的关键，通过灯光、温度、气味、音乐等方面的自适应调节，各感知通道相互协调地影响用户情感，营造舒适的环境和驾乘体验。设计时需明确各通道在座舱环境下对情绪的影响方式。例如，柔和暖色调的灯光一般使人放松， 而明亮强烈的灯光则会增强用户的警觉和活力。

各交互模块通过用户情绪知识库相互联系，系统地学习用户不同情感状态与交互行为之间的关联，从而具备场景预测功能。在识别用户情绪和行为后推测交互场景并推荐相关功能，实现智能化交互。例如，当用户情绪愉悦且提及“旅游”“音乐”相关内容时， 系统推测用户可能处于自驾旅游场景，询问用户是否进入娱乐模式，提供灯光、界面调节等快捷操作（如图 4 所示）。当有紧张情绪，用户关闭音乐并切换为导航界面时，系统则推测用户可能处于高度集中的紧张驾驶状态，智能调节座舱温度和导航语音，帮助用户缓解负面情绪（如图 4 所示）

新手驾驶员情绪调节座舱交互设计

新手驾驶员由于缺乏实际驾驶经验和驾驶安全意识，容易产生紧张、害怕、焦虑等负面情绪，影响驾驶表现，识别这类情绪并引入适宜的交互方式有利于帮助新手驾驶员保持良好的驾驶状态，提高安全性。根据情绪特点选择识别技术，恐惧和焦虑效价低，紧张情绪的效价接近中性，三者均具备高唤醒度。面部表情识别常用于识别高兴、愤怒、中性、恐惧等情绪，但对同类聚集情绪识别效果一般，结合其他特征进行识别更为有效。研究表明，心率可以反映唤醒度^[15]，心率平缓表明情绪放松，而高唤醒度情绪时心率较高，紧张时心率显著升高。呼吸频率与效价和唤醒度相关，每分钟通气量可衡量唤醒度，恐惧时呼吸频率增加最显著^[16]。因此，通过面部表情识别和毫米波雷达监测心率、呼吸频率是新手驾驶情绪调节的有效识别技术。

为减少紧张、害怕、焦虑等低效价情绪对新手驾驶安全的影响，采用扭转负面情绪的情感调节策略，结合新手驾驶员的特点，在一般交互原则的基础上补充以下原则。

1)简化交互，避免增加认知负荷。新手驾驶员欠缺熟练的驾驶技术和应对复杂情况的经验，交互过程应尽量简单，减轻认知负担和操作复杂度，避免过多变化。

2）提供陪伴和情绪支持，帮助建立信心。命令式和机械化的语言风格不利于为新手驾驶员提供情感支持和安全感，应给予积极反馈和适当帮助，帮助新手驾驶员逐渐熟悉驾驶操作并培养信心。

3）关注特殊场景。新手驾驶员缺乏对驾驶状况的感知，难以应对复杂驾驶任务，在选择情感化交互设计场景时需结合用户群体的特点和共同关注的问题，以确保设计更贴近用户需求，发挥更大的作用。

将视觉、听觉和嗅觉从感知范围和干扰性两个维度进行描述，见图 5。听觉对驾驶员的干扰一般不如视觉，人对环境的舒适度评价受声音影响较大，其情绪感知范围较高，视觉的情绪感知范围一般。而嗅觉的干扰程度和情绪感知范围都较小，需要随时间被逐渐感知。结合以上特点和不同驾驶场景进行设计，平衡不同感官的交互效果和对驾驶操作的影响。

在超车或变道等需要进行较多驾驶操作的情况下，新手驾驶员可能会感到紧张或恐惧，操作需在短时间内完成，设计情感化交互时应使交互任务简洁明了，确保驾驶员能集中精力地完成驾驶任务。嗅觉调节作用需要一定时间，而车载香氛的效果有限。因此，建议采用视觉与听觉相结合的交互方式，如图6所示。完成超车或变道后，一体屏界面出现彩色光点动效，通过颜色等界面元素给予正向反馈，使用语音助手鼓励新手驾驶员，提升信心。若驾驶员暂时放弃超车且仍处于紧张状态，则使用灯光和语音缓解情绪。当处于车速较高的行驶状态时，蓝色灯光能帮助驾驶员保持镇定^[17]。情感可视化语音助手有利于增加AI助手的可信度和亲近感，反映驾驶员当前的情绪状态并适应界面风格。在语音交互中以动效的形式配合（如6图所示），蓝色表示安慰、愉悦，用于舒缓情绪；黄色表示鼓励；红色表示警示。另外，共情式语音采取减少说教感的语言风格，使用第一人称，例如将“您”和“你”换成“我们”，与驾驶员产生情感共鸣。此外，还可增加积极性词语的使用，提升新手驾驶员的信心。

在雨、雾等恶劣天气下驾驶时，无复杂驾驶操作，主要驾驶任务是保持车道、变速、制动等，且持续时间较长，可采用视觉、听觉和嗅觉结合的方式，如图7所示。

识别驾驶场景和紧张情绪后，在视觉上，一体屏配合天气产生变化，开启蓝色氛围灯，通过舒缓的动效和色彩帮助驾驶员保持平静；在嗅觉上运用车载香氛，例如根据芳香疗法，洋甘菊、佛手柑的气味可以唤醒积极意象，具有安神效果；在听觉上播放自适应音乐，根据音乐流派风格与情绪的关系，以及音乐平台的歌曲标签，从用户歌单中选择适合的歌曲并向驾驶员推荐。“家长式”交互风格可能使用户感到不被重视，不利于激发正向情绪，因此通过简单的操作使用户可快速反馈，选择采用或拒绝推荐的交互，保留自定义调节空间。

结语

情感计算和相关人工智能领域的技术革新为智能座舱的交互方式带来新机遇，理解和预测用户意图是实现交互智能化的关键，进一步改进情感识别技术，提高其在座舱环境下的准确性和实时性是应用创新的发展方向，而利用情感计算来增强智能座舱中的人机交互是提升用户体验的关键。因此，研究不同驾驶场景下的情感识别技术、情感交互策略和设计方法对座舱的发展至关重要。

本文对基于情感计算的智能座舱交互系统和设计方法进行研究，结合新手驾驶场景进行应用实践，其效果和可行性尚缺乏实际验证，但设计流程可为智能座舱的情感化交互设计提供有益的参考和启示。随着人工智能、交通技术、通信技术的不断发展，基于情感计算的智能座舱交互设计将会有广阔的发展空间。

【参考文献】

[1] EYBEN F, WÖLLMER M, POITSCHKE T, et al. Emo[1]tion on the Road: Necessity, Acceptance and Feasibilityof Affective Computing in the Car[J]. Advances in Hu[1]man-computer Interaction, 2010, 10: 1-17.

[2] EKMAN P. Strong Evidence for Universals in FacialExpressions: A Reply to Russell's Mistaken Critique[J].Psychological Bulletin, 1994, 115(2):268-287.

[3] RUSSELL J A. A Circumplex Model of Affect[J]. Jour[1]nal of Personality and Social Psychology, 1980, 39(6):1161.

[4] HASSIB M, BRAUN M, PFLEGING B, et al. Detectingand Influencing Driver Emotions Using Psycho-physiol[1]ogical Sensors and Ambient Light[C]// Proceedings ofthe 17th International Conference on Human-ComputerInteraction (INTERACT2019). Cham: Springer, 2019:721-742.

[5] SOLOVEY E T, ZEC M, GARCIA PEREZ E A, et al.Classifying Driver Workload Using Physiological andDriving Performance Data: Two Field Studies[C]// Pro[1]ceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: Association forComputing Machinery, 2014: 4057-4066.

[6] COUGHLIN J F, REIMER B, MEHLER B. Monitoring,Managing and Motivating Driver Safety and Well-being[J].IEEE Pervasive Computing, 2011, 10(3): 14-21.

[7] BRAUN M, ALT F. Affective Assistants: A Matter ofStates and Traits[C]// Extended Abstracts of the 2019CHI Conference on Human Factors in Computing Sys[1]tems. New York: Association for Computing Machinery,2019: 1-6.

[8] 潘家辉, 何志鹏, 李自娜, 等. 多模态情绪识别研究综述[J]. 智能系统学报, 2020, 15(4): 633-645.PAN J H, HE Z P, LI Z N, et al. A Review of Multimo[1]dal Emotion Recognition[J]. CAAI Transactions onIntelligent Systems, 2020, 15(4): 633-645.

[9] YANG L, YANG H, HU B B, et al. A Robust DriverEmotion Recognition Method Based on High-PurityFeature Separation[J]. IEEE Transactions on IntelligentTransportation Systems, 2023, 24(12): 15092-15104.

[10] LI W, ZENG G, ZHANG J, et al. Cogemonet: A Cogni[1]tive-feature-augmented Driver Emotion RecognitionModel for Smart Cockpit[J]. IEEE Transactions onComputational Social Systems, 2021, 9(3): 667-678.

[11] LI W, XUE J, TAN R, et al. Global-Focal-Feature-FusedDriver Speech Emotion Detection for Intelligent Cock[1]pit in Automated Driving[J]. IEEE Transactions on In[1]telligent Vehicles, 2023, 8(4): 2684-2697.

[12] DU G, WANG Z, GAO B, et al. A Convolution Bidirec[1]tional Long Short-term Memory Neural Network forDriver Emotion Recognition[J]. IEEE Transactions onIntelligent Transportation Systems, 2020, 22(7): 4570-4578.

[13] 黄俊, 邓敏, 吕能超. 智能座舱多模态人机交互研究现状分析[M]. 湖北: 人民交通出版社, 2023.HUANG J, DENG M, LYU N C. A Survey on Multi[1]modal Human-Computer Interaction in Intelligent Cock[1]pits[M]. Hubei: China Communications Press, 2023.

[14] 蔡萌亚, 王文丽. 汽车智能座舱交互设计研究综述[J]. 包装工程, 2023, 44(6): 430-440.CAI M Y, WANG W L. Review of Interaction Design inAutomotive Intelligent Cockpit[J]. Packaging Engi[1]neering, 2023, 44(6): 430-440.

[15] KATSIS C D, NTOUVAS N E, BAFAS C G, et al. As[1]sessment of Muscle Fatigue During Driving Using Sur[1]face EMG[C]// Proceedings of the IASTED Interna[1]tional Conference on Biomedical Engineering. Ana[1]heim: Acta Press, 2004: 262.

[16] HERNANDEZ J, MCDUFF D, BENAVIDES X, et al.Autoemotive: Bringing Empathy to the Driving Experi[1]ence to Manage Stress[C]// Proceedings of the 2014Companion Publication on Designing Interactive Sys[1]tems. New York: Association for Computing Machinery,2014: 53-56.

[17] 李正盛, 邢文, 何灿群, 等. 氛围灯色彩对驾驶情绪安抚作用的设计研究[J]. 人类工效学,2021, 27(2):14-20LI Z S, XING W, HE C Q, et al. Study on the Effect ofAmbient light Color on Driving Emotional Comfort[J].Chinese Journal of Ergonomics, 2021, 27(2): 14-20.