本文整理自黄通兵在雷锋网硬创公开课上的演讲。黄通兵是七鑫易维创始人兼CEO，中国第一台穿戴式眼控智能眼镜发明人，眼控沟通辅具市场开拓者，曾担任飞行器协同设计平台、某航天运载火箭设计系统架构师。创业以来一直致力于推动眼球追踪技术在人机交互、眼动分析、VR/AR、汽车等众多领域的应用。

    一、眼球追踪技术是怎样一种存在？

    1、眼球技术追踪原理

    眼球追踪首先分为浸入式和非浸入式两大类。目前，最流行的眼球追踪技术主要应用到光学技术、图像识别技术。

    例如，我们提供的VR中眼球追踪模组工作原理是：首先通过传感器识别人眼的特征点，建立人眼的数学模型，在眼球转动过程中对转动动作进行捕捉，通过复杂的算法计算出人眼注视点的位置。

   2、眼球追踪目前的应用如何？

    眼球追踪技术其实起步很早，但众所周知，一些前沿的技术总是最早出现在军事领域，主要是用于战斗机瞄准技术等。

    目前眼球追踪民用化应用还处于起步阶段，应用比较成熟的也是我们最早涉足的就是眼控沟通辅具，主要是帮助渐冻症患者通过眼睛控制电脑与外界沟通交流。

    另一个应用比较广泛的是广告分析领域。

    例如，电梯里一块广告屏，每天有多少人看，看的人看的是文案还是图片还是模特，眼球追踪技术都可以捕捉到这些数据，可以帮助评估广告效果，及时完善产品。

    再比如现在一款手机发布总会有几种颜色可以挑选，但是究竟哪个颜色受欢迎谁都无法保证，这个时候眼控广告分析的价值就体现出来了，只需要把几款颜色的手机放到一起，最终数据会很直接的告诉你哪一款最受关注。

    二、眼球追踪如何在VR领域实现运用？

    1、为什么选择眼控？

    虽然目前VR的眼球追踪还刚刚起步，但是随着眼球追踪技术成为VR的标配，眼动相关的应用都会随之而来，比如，在虚拟购物中采用眼动分析来手机用户的兴趣点大数据。

    说到为什么选择这个方向。我之前是做航空方向的，军用瞄准头盔中头动追踪、眼球追踪都是很重要的技术。我更希望把这些技术做到消费级、推广到大众应用中，才有最大的成就感。

    其实不仅仅是眼球追踪，对于很多的技术来说，并不是选择什么方向而是更适合什么方向。2009年的时候智能设备还不够发达，当时能用眼球追踪的领域非常少，而对于渐冻人来说，后期只有眼睛可以动，他们需要与外界沟通只能通过眼睛，所以我们就进入了沟通辅具领域。如今也是同样的道理，VR虽然火起来了，但是它的很多问题却一直在，包括眩晕、渲染、交互等都是存在问题的，能够解决这些问题的技术是什么，我觉得眼球追踪技术是一个很合适的方向，所以我们进入VR领域，属于天时地利人和。

    2、目前的VR交互方式有哪些？

    对于VR来说交互应该是多元化的，动作捕捉，手势识别，语音识别，眼球追踪，脑电肌电……这也是VR魅力的所在，不同的场景，获得不同的体验感受就需要不同的交互方式来支持。

   
    3、相对于其他交互来说，眼控有能解决什么？

    相比于其他交互来说，眼球追踪门槛低无需复杂外设，受环境影响小，应用场景几乎无限制，更为重要的是眼控交互非常人性化，眼动交互非常符合人的直觉。

    比如，战斗机游戏中，就可以体验真实的眼球锁定目标进行打击的快感。

    又比如，在游戏应用中隐藏菜单功能，通过其他的交互方式需要刻意发出指令隐藏和调用菜单，而眼控交互可以非常自然，当注视点偏离，菜单会自动隐藏。

    甚至注视字母，配合手指、脑电肌电动作进行快速打字，经过我们测试也是非常酷的。

    4、在VR领域，眼球追踪技术是一个什么样的角色？

    1）眼球追踪技术都是如何实现的？

    眼球追踪技术的原理就是通过算法判断人眼的注视点位置，不管是局部渲染还是眼控交互都是基于注视点的判断进行的。当我们通过算法判断出注视点位置，对这个位置信息可以进行有效利用，比如焦点渲染技术是实现对注视点位置高清渲染，其他区域降低分辨率渲染。

    VR领域中眼球追踪的技术有很多，除了传统的光学方案，采用高速的近红外摄像头。其实还有眼电流、MEMS眼动系统、接触镜等。但目前效果比较好还是以光学为主。

    我这里就主要讲讲目前的光学方法，采用高速的近红外摄像头拍摄人眼红外特征图像，然后进行图像处理，再通过预先建立的人眼数学模型进行注视点求解。

    这是为了解决目前VR渲染高GPU性能需求的技术；如果对注视点区域设置了UI级的交互，例如你看一个虚拟美女的时候她会朝你笑一下，这是VR眼控交互技术。

    2）在VR上实现眼控，难在哪里？

    结构上的限制

    VR眼镜的光学结构不同，会给加加眼球追踪带来一些麻烦。VR眼镜里加眼控技术要受到VR的使用条件和结构紧凑的限制，既要保证VR设备体积和重量，还要能与VR本身的结构相融合。 例如非球面透镜和菲涅尔透镜，就有很大的区别，还有用户佩戴眼镜、隐形眼镜等干扰，都需要处理。

    眼球追踪范围大

    在VR应用中，眼动范围很大，几乎达到了人眼转动的极限（垂直30°，水平50°），这样也让眼球追踪的难度增大了很多。

    VR设备的晃动

    VR设备是头戴的，头部的晃动以及设备相对头部的晃动都是难免的，在这种运动状态也要准确的获取数据，无疑是对硬件和算法很大的挑战。

    眼球的差异

    还有人的眼球其实都是不一样的，亚洲人和欧美人都有较大差异，红外特征也不同。人们的眼球个体差异还体现在，人眼的Kappa角不同（甚至有的人有严重的斜视），有的人有轻微的眼疾，有的做过眼部手术等等。都会导致眼球追踪无法工作，所以都需要考虑进去。这往往需要大量的差异化数据采集，才能做到较好的可用性。

    最后是实时性强，精度高

    VR眼动数据应用需求也不同，表现在实时性强，精准度高。比如把眼动数据用于渲染控制时，需要及时获取注视点坐标，并进行渲染，要求延时非常低。在游戏应用中，不但要求实时性强，还要求精度高，才能带来良好的用户体验。VR需要的眼动数据获取频率一般要在120Hz以上。

    当然以上的几个难点有的是提前考虑到的，有的是在研发过程中遇到的，当我们把这些难题都解决了，就有了我们现在的VR眼控方案。

    3）该如何平衡VR目前渲染、性能不足等问题？

    解决VR目前渲染，性能不足问题，这个正好是眼球追踪的强项，因为：人眼成像的过程中，中央凹视野（Foveal vision area）成像清晰，只覆盖视野1~2度，视觉敏锐度高；周边视野（Peripheral vision field）成像是模糊的。

    说直白点，人眼其实只能看清指甲盖大小的区域，而周围区域都是模糊的，只有亮度和运动敏感度。

    眼球追踪可以辅助GPU实现Foveated Rendering。

    如图所示，当人眼在看屏幕H时，虽然整个屏幕都可以看到，但是只有B区域的中央凹视野是清晰的， AC区域成像模糊，因此在画面渲染过程中只需要渲染中央凹视野很小的范围，对周边视野区域进行模糊渲染。眼球转动，高清渲染区域随着注视点的变化而变化，这样既可以得到高清的视觉体验，又可降低GPU负荷，从而可以大幅的降低VR设备对硬件的要求。

    
    5、眼球追踪技术在VR领域应用得怎么样？

    目前能较为成功的将眼球追踪技术用于VR中的，除了我们这样的国内创业公司，还有有德国的SMI公司。SMI联合三星发布的套装包含内置了眼球追踪相机的Gear VR。还有一款Fove也引入眼球追踪技术，不过从去年众筹开始就一直延期发货。除此之外还有EyeFluence专注在眼动交互方案的研发。

    根据目前VR厂商对眼控VR的态度来看，眼控VR商用在今年就会出现在一些VR设备上，真正达到市场级可能需要等2017年，一些大品牌开始进行硬件迭代，眼控作为可以解决大部分基础交互的技术方案，开始进入商用阶段。