分类：电子论文 时间：2022-04-26 热度：389
摘 要：随着眼动跟踪技术在实际应用中的普及，大量眼动数据需要通过合理的可视化方式进行处理与分析，在 这种背景下，眼动数据可视化在基础理论、方法和应用研究等方面得到了快速发展.文中总结了眼动数据的预处理与参数化方法，并在此基础上介绍了眼动数据可视化的基本框架和4种主要可视化方法：扫 描 路 径 法、热 区 图 法、感 兴趣区法和三维空间法;进而介绍了眼动数据可视化在用户界面可用性评估等方面的应用实例.最后对眼动数据可视化未来的研究趋势进行了展望.
关键词：眼动跟踪;可视化;热区图;扫描路径;可视分析;人机交互
人眼运动情况 可 以 表 征 人 的 认 知 活 动，例 如 用户进行特定任务时的推理与求解过程[1].近年来，基于数字眼部 运 动 视 频 的 眼 动 跟 踪(eyetracking)技术日趋成熟，它利用高频采样的红外摄像装置实时拍摄用户眼球图像，并进一步通过图像处理来获取眼动跟踪数据[2](简 称“眼动 数 据”).这 类 眼 动 跟 踪技术不仅显著提高了眼动数据的采样精度和频率，而且对用户正常行 为 没 有 干 扰，它已被广泛应用于可用性评估、人机交互等领域[3].在 这样 的 背 景 下，大量抽象的、以文本为主的眼动数据随之产生，但通常难以对其进行快速、有效的理解与分析.而可视化方法可以直观地表达出眼动数据的时空分布特征，使得人们能更加方 便 地 发 现 数 据 中 的 模 式、语 义 信息等，为后续的应用提供有力支撑.
本文首先对眼动数据进行概述，然后详细介绍当前主要的眼动数 据 可 视 化 方 法，并结合相关实例阐述其具体应用，最后展望了眼动数据可视化的研究趋势.
1 概 述
1.1 眼动行为
人类的眼动行为主要包括定位眼动和非定位眼动2大类[2].定位眼动表现为视网膜中央凹的重定位，可 进 一 步 细 分 为 5 种 更 基 本 的 形 式：1)眼 跳(saccade).指视网膜中央凹定位到视觉环境中新位置的快速运动，具体表现为在被注视目标上一系列停留点之间的快速跳动.通常，这些停留点持续时间在100ms以 上时 被 称 为 注 视 点(fixation)，在 此期间，视网膜对准当前感兴趣的静止目标(伴 随 震 颤、微型眼跳等轻微运动)，绝大部分视觉信息只有此时才能获得并加工.因此，实际研究中的眼跳通常是指2个 注 视 点 之 间 的 快 速 运 动，其运动幅度一般约为1°～40°视 角，持续 时 间30～120ms，而 在眼 跳 运 动期间，人眼几乎不获取任何视觉信息.2)平滑尾随跟踪.指眼球跟随目标缓慢移动，该运动的产生需要一个缓慢运动的目标物体.3)趋异.指调节双眼对远处的目标进行聚焦，以获得深度信息.4)前庭系统控制的眼动.指由前庭系统激发的、不受意念控制的眼球节律性运动.5)眼球生理震颤.指注视点持续过程中的微小震颤 运 动.另 外，非定位眼动则包括瞳孔扩张、眼球晶状体聚焦等自适应调节运动[2];眼动数据即为记录上述眼动 行 为 的 相 关 数 据.本 文 主 要 针 对眼跳、注视点等产生的眼动数据展开论述，这也是目前该领域的主要研究对象.
1.2 预处理
眼动仪(eye-tracker)记录的眼动数据在进一步使用之前需要进行预处理，主要包括2个方面：
1)数 据 过 滤.在眼动数据采样过程中，由 于 用户头部姿势的剧烈变化或者环境光的强烈干扰等原因，使得眼动仪无法正确捕捉眼部图像，导致眼动数据的采集出现误 差，产 生 噪 声 数 据.因 此，需 要 对 这些噪声数据进行过 滤，例如将坐标为负值或零值的注视点样本数据删去.
2)数据加工.原始眼动数据需要在具体使用前进行加工.例如，由于眼动仪采样频率较高(60～360Hz)，导致原始采样点的持续时间很短(100ms以下)，无法表征用户有意识的认知活动.因此，可以设定时间阈值(100～200ms)，将小于该阈值且在一定邻近范围内的多个原始采样点聚类为一个注视点[3].
1.3 参数化
在进行数据预处理之后，可得到基于注视点、眼跳、扫描路径(scanpath)这3类常用的眼动数据 参数，它们可用于分析视觉搜索和视觉信息加工等认知行为[4-5].下文结合图1对这3类参数进行简单的说明.
基于注视点的眼动参数.定 义 注 视 点 为 F=(x，y，t)，其中(x，y)为该注视点的坐标，t为该注视点的持续时间(如图1中的t1，t2，…，t5).在此基础上，预先在所需要分析的目标上设定具体的区域为感兴趣区(areaofinterest，AOI)，则可统计该 AOI内的注视点数 目(例 如 图1中 的 注 视 点 数 目 为5).进一步，如果已知该 AOI内所有注视点的持续时间总和，则可得到注视点平均持续时间，即注视点持续总时间与注视点数目之比[6](例 如图1中(t1+t2+t3+t4+t5)?5).基于眼跳的眼动参数.定义眼跳为Si=(Fi-1，Fi)，其中Fi-1和Fi 分别为时间上相邻的2个注 视点，眼跳 即 为 Fi-1指 向 Fi 的 向 量 (例 如 图 1 中 的F1F2).在此基 础 上，可 定 义 眼 跳 数 目，即 某 一 段 时间内所有眼跳的个数.基于扫描路径的眼动参数.定义扫描路径为P=(S1，S2，…，Sn)，其中Si(i=1，2，…，n)为眼跳，扫描路径即为多个连续眼跳构成的序列集合(例 如 图1中的F1F2，F2F3，F3F4，F4F5).在此基础上，可定义a.扫描路径长度，即路径中各段眼跳长度的总和;b.扫描路径时长，即整个扫描路径消耗的时间总和(由所有注视点的持续时间之和与眼跳时间之和相加)，而在某一 AOI内 部的扫描路径时长也称为驻留时间[7];c.扫描路径凸包，即包围一段扫描路径的最小凸多边形[8](例如图1中虚线构成的多边形).但是，单凭 上 述 抽 象 的 眼 动 参 数，仍 然 无 法 快速、有效地理解眼动数据所表征的内在含义，只有借助可视化手段才能更便捷地获取分析结果[1].
2 可视化方法
已有研究提出了眼动数据可视化方法的基础框架，主要包括3个部分[9]：
可视化输入空间.主要包括眼动实验中给用户展示的刺激材料，例如图片、网页、视频等;以及用户在观察这些刺激材 料 时 产 生 的 眼 动 数 据，并 且 根 据具体需求选取其中的部分或全部数据.
可视化映射.面向具体的可视化任务(如 对 数据进行缩放、过滤等操作[10])，将眼动数据转换为易于进行可视化表示的空间结构.例如，将眼动数据中的坐标点替换为精度较低的空间单位，即 表 示 为 尺度更大的空间区域(用凸包将聚集在一起的注视点进行聚类).经过这 样 的 转 换，同一个空间集合就可以表示多个眼动轨迹[1].
可视化输出空间.根据不同类型的眼动数据和可视化任务，眼动数据的输出结果将具有不同的可视化形式.例如，以注视点坐标为代表的二维眼动数据可以输出为轨迹 形 式，并用于分析注视点的空间转移情况;也可以输出为区块形式，用于分析多用户的注视点累计分布情况.
根据可视化输出形式的不同，表1比较了4类不同可视化方法的具体应用情境与优缺点.
下面将针对表1中的4种可视化方法具体阐述它们的基本原理、实现技术和应用.
2.1 扫描路径法
扫描路径法通过线条(表示眼跳)连接相邻注视点，并设置注视点 的 半 径 大 小;通 常 半 径 越 大，表 示持续时间越长.此外，还可以设置路径线条的颜色以区分不同用户，以及标注注视点的时间先后顺序等.
1)路径重叠.如图2a[11]所示，如果扫描路径繁多复杂，就会产生相互重叠现象，不利于人们进行理解和分析.为 了 解 决 这 一 问 题，可以忽略注视点坐标，如图2b[12]所 示，针对搜索引擎界 面的眼动数据，用水平线条表示不同的搜索结果条目，而扫描路径轨迹从左向右推进表示时间先后顺序;另外，可截取一个较小的时间 间 隔，使其中的扫描路径互不重叠;或者隐藏部分路径，使其余路径清晰可见.
2)动 态 路 径.除 了 静 态 的 扫 描 路 径 图 外，实 际应用中还经常需要动态地扫描路径图，即 以 视 频 或动画的方式回放扫描路径[13].
3)多用户路径[14].如图3a同时显示多个用户的扫描路径图，其展示出扫描路径的整体趋势;如上文所述，也可以如 图b所示单独显示某个用户的扫描路径图，以消除路径重叠现象.
4)三维路 径.为 了 便 于 理 解，可 以 将 三 维 空 间中产生的扫描路径 映 射 到 二 维 平 面 上.如 图4[15]所示，扫描路径显示在三维物体的平面展开图上;此外，也可以直接在三维空间中显示扫描路径.
2.2 热区图法
热区图法(heatmap)用于表示用户视觉注意力的累计分布情况，它将单(多)个用户的注视点个数、注视点绝对持续时间、注视点相对持续时间(占总时间的百分比)等数 据，与 透 明 度、颜色等可视化属性进行映射，并经常以半透明的方式叠加在作为背景的眼动实验 刺 激 材 料 上[16].在热区图绘制算法中，计算单个像素的透明度或颜色等可视化属性变量，
相关知识推荐：sci发表论文被拒常见原因 规避方法
除了二维形式 的 热 区 图 外，还可以绘制三维的热区图.如图7a[19]所示，三维地形图中的不同高程表示不同的注 视 程 度.但 如 果 如 图7b[11]所 示将 刺激材料投影在三维热区图后方的垂直平面上，就 会对刺激材料造成一定的遮挡.为此，可 以 如 图7c[20]所示将 二 维 刺 激 材 料 投 影 到 水 平 平 面 上;或 者 如图7d所示直接将二维刺激材料作为纹理，直 接 绘制在三维热区图上.
热区图的优点是非常直观、易于理解，可以用于比较不同时间段、不同用户或不同实验刺激材料下的眼动数据.但常见的静态热区图无法表示多个注视点之间的相互联 系 与 先 后 顺 序，也很难判定某个区域是存在一个持 续 时 间 很 长 的 注 视 点，还 是 存 在多个持续时间很短 的 注 视 点，这些会给实际应用带来挑战[9].为此，可以生成一段时间内连续的多个热区图，动态跟踪和分析用户的视觉注意行为[21].
2.3 AOI法
AOI是眼动 实 验 刺 激 材 料 上 被 人 为 定 义 的 区域，可用于分析其中的眼动数据[7].基 于 AOI的 眼动数据可视化，可表示用户在 AOI中消耗的注意时长，以及在不同 AOI之间的访问与转移等情况.
如图8[22]所示，用网络转 换 图 来 描 述 不 同 AOI之间的联系，以 及 各 AOI中 注视 点 所 占 的 百 分 比，如叠加转换图和独 立 转 换 图.叠加转换图与具体的眼动实验刺激材 料 相 结 合，易 于 理 解，但 构 图 复 杂，特别是当 AOI数 目较 多 时，不 易 进 行 观 察;独 立 转换图则与具体的眼动实验刺激材料无关，构图简洁，但较为抽象，难于理解. 研究人员还 提 出 了 一 种 基 于 AOI的 视觉 注 意分布图[1].如图9[1]所示，绿色圆点的大小表示用户在该 AOI消耗的 注 视 时 间(圆 点 越 大，时 间 越 长)，紫色箭头的线条宽度则表示用户眼跳在其所指向的2个 AOI之 间转移频次所占的比例(箭 头 越 宽，比例越高).
此 外，平 行 扫 描 路 径 图 (parallelscan pathvisualization，PSP)利用平行坐标法的思想，可以同时显示多个用户在多个不同 AOI中的眼动数据，如各注视点及其在不同 AOI之间的转换频率等;具体包括注视时间序列分布图、注视点分布图、注视点持续时间 分 布 图[23].这3种 PSP 图 一般 用 横 轴 表 示AOI，纵轴表示时间轴.如图10[23]所示，图10a为注视点时间序列图示例，每个 AOI内的注视点持续时间用垂直方向的线段表示;图10b为注视点分布图示例，它不仅用垂直方向上的线段表示相应 AOI内的注视点持续时间，还用线段上的圆点表示当前的注视点数目，且不同用户的注视点数据用不同颜色表示;图10c为注视点持续时间分布图的示例，它用圆点表示相应 AOI内存在注视点，并在底部用柱状图表示不同 AOI内注视点持续时间的总和;同样，不同用户的注视点数据用不同颜色表示.
2.4 三维空间法
随着虚 拟 现 实(virtualreality，VR)技 术的 发展，越来越多的眼动数据来自三维空间中的视觉注意过程.例如，研究人员设计了一个根据用户头部运动和眼动信息进行相应显示的 VR 系统[24].该系统用于飞机检修的虚拟仿真，使用了“深度眼动路径”，这是一种附加深度信息的扫描路径，如图11[24]所示.
在 VR环境中，判 断 用 户 视 线 是 否 与 三 维 物 体相交是至关重要的，它直接影响着注视点和眼跳的空间位置及其可 视 化 输 出 效 果.图12[9]描 述了 VR环境中用户视线与三维对象相交的判断方法.
首先按照传统方法判定用户在二维显示屏上的视点位置，然后反求该点所对应的摄像机位置，进而在摄像机投影方向和视口方向确定视线方向，并 经过 碰撞检测，最终求得该视线与对象表面三角网格 的交点(简称三角网格 法).另外一种思路采取的是求视线与该对象包围盒的交点(简 称 包 围 盒 法).如图13所示，在一个三维游戏场景中，如 果 玩 家 用 户从一个非玩家角色(non-playercharacter，NPC)的肩膀上去看后面的对象，由于视线方向与该 NPC的包围盒相交，那么将判定注视点在该 NPC上，而非用户真正关注的对象.可见，包围盒法实现相对简单，但存在一定误差，特别是当三维对象体积较小或者三维对象之间距离很近，以及离用户视点较远时.而三角网格法的精度则相对较高(三角网格密度越大，精度越高)，但由于需要与各个三角网格进行求交运算，计算效率相对较低，特别是当三角网格密度较大时.
研究人员总结了“对象热区”、“三角网格热区”、 “投影热区”、“空间扫描路径”等三维可视化方法[9]：如图14[25]所示，先利用投影热区图找到被用户关注较多的区域，然后放大视图查看具体被关注对象，进而查看这些对象上被关注的局部区域(三 角 网 格)，以实现不同细节水平的可视化效果之间的无缝过渡，便于用户根据实际需要查看总体和细节情况.——论文作者：程时伟1，2)，孙凌云3)
文章名称：眼动数据可视化综述
