智能系统延时行为对人类体验的影响研究

本研究基于2014-2019年湖南大学承担的“华为无线网络延时用户体验评估标准”的一系列研究项目,主要探寻不同的网络延时对人类体验的影响,并基于此研究的结果,拟合出延时这一机器行为特征在不同情境对人类体验的影响的数学模型,并以此建立面向人类体验的无线网络质量标准。

(1)简介

延时(delay)本质是机器外部行为“响应速度”这一特征,在几乎所有的机器行为中都会涉及到延时。机器的响应速度是机器在和人的交互过程中给予人的反馈/响应的速度,例如机器对用户发出指令后延迟运行的程序。在不同形式的机器行为中,人对机器的响应速度形成体验。

本研究基于2014-2019年湖南大学承担的“华为无线网络延时用户体验评估标准”的一系列研究项目,主要探寻不同的网络延时对人类体验的影响,并基于此研究的结果,拟合出延时这一机器行为特征在不同情境对人类体验的影响的数学模型,并以此建立面向人类体验的无线网络质量标准。

(2)实验设计

实验选取四个情境:手势控制辅助拍摄任务、触觉感应远程医疗、摇杆控制机器辅助操作和触控紧急任务,分别对应不同的情境类别、人的期望、人的行为方式、机器行为方式、机器行为的任务次数,如表1。

实验场景场景类别人的期望人的行为方式机器行为方式(反馈)任务次数
手势控制辅助拍摄生活低期望空间手势视听觉单次、多次
触觉感应远程医疗商业低期望按摩电极触觉单次
摇杆控制机器辅助操作工业高期望摇杆视听觉单次、多次
触控紧急任务工业极高期望触屏视听觉单次
表 1 实验情境

实验室布局如图1所示。实验平台使用物理方式将人的行为(主域)和机器行为(从属域)进行视觉与听觉隔离,被试在交互操作过程中不能直接看见机器行为(即机器的相应动作),只能通过显示器实时观看摄像机传回的图像,以产生延时的效果。

实验室布局如图1所示。实验平台使用物理方式将人的行为(主域)和机器行为(从属域)进行视觉与听觉隔离,被试在交互操作过程中不能直接看见机器行为(即机器的相应动作),只能通过显示器实时观看摄像机传回的图像,以产生延时的效果。由湖南大学研制的实验装置照片如右图:

实验开始后系统显示屏展示任务指令,被试使用响应设备完成任务指令相对应交互操作,系统开始根据对应指令开始响应,然后经过时间为Tn的网络时延后,被试通过反馈设备接收到目标设备的任务完成得传输画面,然后被试根据真实体验对实验素材进行主观量表进行打分,然后开始体验下一段素材,直到用户打1分时停止实验。

实验设计自变量为网络时延Tn,即从响应设备到反馈设备的传输时间。Tn一共有15个自变量水平,分别为:1ms、10ms、20ms 、50ms、100ms、200ms、300ms、500ms、700ms、1000ms、2000ms。需要说明的是,被试体验到的延时不仅是研究设置的网络延时Tn,还包含机器产生的延时Tm。本研究不同情境的机器延时是:手势操控的机器延时为230ms,摇杆操作的机器延时为170ms,触控屏操控的机器延时为135ms、压力传感和电极的机器延时为220ms,所以被试在实验过程中体验的真实延时为机器延时Tm与实验设置延时Tn之和。

(3)实验过程与情境任务

实验在湖南大学专业定制的环境中进行,保证光线柔和(100LUX左右)温度舒适(18~25℃),噪声恒定为50Hz左右。共有30名被试(15男/15女)参加本次研究。年龄介于18和55岁之间。他们都有使用类似交互操控方式的经验。在研究之前所有被试都必须接受视觉疲劳测试并填写个人基本信息表。

实验共有四个典型情境,其具体实验任务如下:

手势控制辅助拍摄实验模拟人们在触觉互联网低期望生活场景,要求使用手势操控远程相机的视角进行移动对焦。实验流程如图3所示。在实验中,三轴滑台机械臂上固定一台高清摄像机,摄像机将实时图像传输用户接受反馈的显示屏上,被试需要根据系统指令使用手势传感设备向右挥动手臂,控制三轴滑台机械臂将红色标点向右进行移动。黑点根据被试指令在零延迟情况下进行移动,红点则经过Tn时长的延迟后进行移动,用户通过显示屏接收反馈后对比分析进行主观评分。

图3 手势控制辅助拍摄实验

触觉感应远程实验模拟人们在触觉互联网低期望商业场景,要求对远程实体施力后感受对应触觉反馈。实验流程如图4所示。实验用的数据手套上设置多处压力传感器和按摩电极贴片,被试施力按压数据手套模拟与远方目标进行触觉交互,按摩电极经过Tn时长的延迟后对用户进行反馈振动,被试通过感受触觉反馈后的体验进行主观评分。

图4 触觉感应远程医疗实验

摇杆控制机器辅助操作实验模拟用户在触觉互联网高期望工业场景,要求摇杆操控远程机械臂移动。实验流程如图5所示。实验设置中,三轴滑台机械臂上固定一台高清摄像机,摄像机将实时图像传输到被试接受反馈的显示屏上;被试需要根据系统指令使用摇杆向右移动,控制三轴滑台机械臂将红色标点向右进行移动。黑点根据被试指令在零延迟情况下进行移动,红点则经过Tn时长的延迟后进行移动,被试通过显示屏接收反馈后对比分析进行主观评分。

图5摇杆控制机器辅助操作实验

触控紧急任务实验模拟用户在触觉互联网极高期望工业场景,要求触摸屏操控远程机械进行紧急制动。实验流程如图6所示。实验中,三轴滑台机械臂上固定一台高清摄像机和一根钢针,摄像机将实时图像传输到被试接受反馈的显示屏上。在三轴滑台可移动距离末端放置气球并在距离1cm处绘制一条黄线。实验开始后机械臂向气球方向匀速移动,当钢针尖端到达黄线时,被试需要点击触控屏停止按钮进行紧急制动,三轴滑台机械臂经过Tn时长的延迟后进行制动指令,被试通过显示屏接收反馈后对比分析进行主观评分。

图6 触控紧急任务实验

每名被试都会全部体验全部4个场景,每个场景体验10个不同的延时水平,并针对不同场景以及不同延时水平进行主观体验评分。

(4)数据分析与理论模型

实验完成后,将其体验主观评分进行平均处理后结果如下表2所示。

实验时延Tn110205010020030050070010002000
机械时延Tm230230230230230230230230230230230
真实延时T23124025028033043053073093012302230
用户评分平均分Y4.4734.34.153.8943.6113.453.3332.72.351.751.263
单次手势场景

实验时延Tn110205010020030050070010002000
机械时延Tm220220220220220220220220220220220
真实延时T22123024027032042052072092012202220
用户评分平均分Y554.7364.5554.23.83.553.152.652.1051.470
单次握手场景

实验时延Tn110205010020030050070010002000
机械时延Tm170170170170170170170170170170170
真实延时T17118019022027037047067087011702170
用户评分平均分Y4.4734.5884.23.7363.6663.152.851.9441.711
单次遥感场景

实验时延Tn110205010020030050070010002000
机械时延Tm135135135135135135135135135135135
真实延时T13614515518523533543563583511352135
用户评分平均分Y4.54.053.7773.4733.0522.4212.151.4441.21011
单次急停场景

通过1STOPT软件的全局优化算法对数据分别进行一次线性、二次线性、三次线性以及四次线性方程的拟合。基于拟合回归效果的方程的确定性系数R2,四次线性方程的R2值较大,因此,选用四次线性方程作为最后的理论模型,进而得到各个场景下的网络延时的用户体验模型如下:

手势控制辅助拍摄
Y=2.25946-12×T4-1.00048-0.8×T3+0.00001×T2-0.01144×T+6.25182
触觉反馈远程接触
Y=3.0048-12×T4-1.36036-0.8×T3+0.00002×T2-0. 01534×T+7.45738
摇杆控制机器辅助操作
Y=5.7431-12×T4-1.90961-0.8×T3+0.00002×T2-0.01579×T+6.53099
触控控制紧急任务
Y=2.0514-11×T4-5.72279-0.8×T3+0.00005×T2-0.02791×T+7.08275

上述公式中,
T代表被试在实验过程中真实感受到的延时,Y代表被试的体验评分。

在得到各个场景下网络延时的用户体验模型后,可以计算得到不同场景下,主观体验1-5分对应的标准延时,如表3所示。

主观体验分5432
单次手势对应时延129ms286ms594ms1120ms1487ms
单次握手对应时延215ms377ms763ms1247ms1557ms
单次摇杆对应时延115ms223ms392ms715ms1175ms
单次急停对应时延90ms151ms242ms440ms903ms
表3不同情境下不同主观体验分数对应的标准延时

(5)应用与讨论

基于上述的研究结论与模型,2016年,华为提出的国际电信联盟国际标准ITU-T Recommendation P.NATS phase 2的立项诉求获得通过。该国际电信联盟的国际标准将网络延时这一外部机器行为的体验指标以vMOS的分数来进行度量,面向视频构建了一个网络人类体验的质量框架。该标准的立项进程将有助于电信产业对视频质量的评估,便于运营商及时了解智能网络系统的延时对人类体验的影响情况。2017年,华为基于本模型,推出了面向5G和5.5G演进的华为网络全球体验评测系统Experience Globe(图19.16)以及相关的软件Speed Video,通过该系统可以随时监测不同网络延时的人类体验情况。

图19.16 华为网络全球体验评测系统

本研究还存在着很多局限,特别是本研究在总体样本数上仅有30名用户,仅仅达到了相关研究最低的标准。同时,虽然本研究构建了四个典型场景,但是还是难以覆盖智能网络系统复杂的情境。虽然存在着诸多不足,但是本研究还是初步建立了一个理论模型,并基于该模型完成了一个初步的标准体系并获得了国际标准的立项。后续完全可以基于本研究的结果,进一步对机器外部行为模型进行迭代和修正。