用户名:

密码:

验证码:

当前位置:主页 > 新闻资讯 > 国内新闻 >

在VR领域,眼控究竟扮演了一种怎样的角色?

2016-07-06 14:51 中国新闻资讯 点击次数 :

    本文整理自黄通兵在雷锋网硬创公开课上的演讲。黄通兵是七鑫易维创始人兼CEO,中国第一台穿戴式眼控智能眼镜发明人,眼控沟通辅具市场开拓者,曾担任飞行器协同设计平台、某航天运载火箭设计系统架构师。创业以来一直致力于推动眼球追踪技术在人机交互、眼动分析、VR/AR、汽车等众多领域的应用。

    一、眼球追踪技术是怎样一种存在?

    1、眼球技术追踪原理

    眼球追踪首先分为浸入式和非浸入式两大类。目前,最流行的眼球追踪技术主要应用到光学技术、图像识别技术。

    例如,我们提供的VR中眼球追踪模组工作原理是:首先通过传感器识别人眼的特征点,建立人眼的数学模型,在眼球转动过程中对转动动作进行捕捉,通过复杂的算法计算出人眼注视点的位置。

   2、眼球追踪目前的应用如何?

    眼球追踪技术其实起步很早,但众所周知,一些前沿的技术总是最早出现在军事领域,主要是用于战斗机瞄准技术等。

    目前眼球追踪民用化应用还处于起步阶段,应用比较成熟的也是我们最早涉足的就是眼控沟通辅具,主要是帮助渐冻症患者通过眼睛控制电脑与外界沟通交流。

    另一个应用比较广泛的是广告分析领域。

    例如,电梯里一块广告屏,每天有多少人看,看的人看的是文案还是图片还是模特,眼球追踪技术都可以捕捉到这些数据,可以帮助评估广告效果,及时完善产品。

    再比如现在一款手机发布总会有几种颜色可以挑选,但是究竟哪个颜色受欢迎谁都无法保证,这个时候眼控广告分析的价值就体现出来了,只需要把几款颜色的手机放到一起,最终数据会很直接的告诉你哪一款最受关注。

    二、眼球追踪如何在VR领域实现运用?

    1、为什么选择眼控?

    虽然目前VR的眼球追踪还刚刚起步,但是随着眼球追踪技术成为VR的标配,眼动相关的应用都会随之而来,比如,在虚拟购物中采用眼动分析来手机用户的兴趣点大数据。

    说到为什么选择这个方向。我之前是做航空方向的,军用瞄准头盔中头动追踪、眼球追踪都是很重要的技术。我更希望把这些技术做到消费级、推广到大众应用中,才有最大的成就感。

    其实不仅仅是眼球追踪,对于很多的技术来说,并不是选择什么方向而是更适合什么方向。2009年的时候智能设备还不够发达,当时能用眼球追踪的领域非常少,而对于渐冻人来说,后期只有眼睛可以动,他们需要与外界沟通只能通过眼睛,所以我们就进入了沟通辅具领域。如今也是同样的道理,VR虽然火起来了,但是它的很多问题却一直在,包括眩晕、渲染、交互等都是存在问题的,能够解决这些问题的技术是什么,我觉得眼球追踪技术是一个很合适的方向,所以我们进入VR领域,属于天时地利人和。

    2、目前的VR交互方式有哪些?

    对于VR来说交互应该是多元化的,动作捕捉,手势识别,语音识别,眼球追踪,脑电肌电……这也是VR魅力的所在,不同的场景,获得不同的体验感受就需要不同的交互方式来支持。

   
    3、相对于其他交互来说,眼控有能解决什么?

    相比于其他交互来说,眼球追踪门槛低无需复杂外设,受环境影响小,应用场景几乎无限制,更为重要的是眼控交互非常人性化,眼动交互非常符合人的直觉。

    比如,战斗机游戏中,就可以体验真实的眼球锁定目标进行打击的快感。

    又比如,在游戏应用中隐藏菜单功能,通过其他的交互方式需要刻意发出指令隐藏和调用菜单,而眼控交互可以非常自然,当注视点偏离,菜单会自动隐藏。

    甚至注视字母,配合手指、脑电肌电动作进行快速打字,经过我们测试也是非常酷的。

    4、在VR领域,眼球追踪技术是一个什么样的角色?

    1)眼球追踪技术都是如何实现的?

    眼球追踪技术的原理就是通过算法判断人眼的注视点位置,不管是局部渲染还是眼控交互都是基于注视点的判断进行的。当我们通过算法判断出注视点位置,对这个位置信息可以进行有效利用,比如焦点渲染技术是实现对注视点位置高清渲染,其他区域降低分辨率渲染。

    VR领域中眼球追踪的技术有很多,除了传统的光学方案,采用高速的近红外摄像头。其实还有眼电流、MEMS眼动系统、接触镜等。但目前效果比较好还是以光学为主。

    我这里就主要讲讲目前的光学方法,采用高速的近红外摄像头拍摄人眼红外特征图像,然后进行图像处理,再通过预先建立的人眼数学模型进行注视点求解。

    这是为了解决目前VR渲染高GPU性能需求的技术;如果对注视点区域设置了UI级的交互,例如你看一个虚拟美女的时候她会朝你笑一下,这是VR眼控交互技术。

    2)在VR上实现眼控,难在哪里?

    结构上的限制

    VR眼镜的光学结构不同,会给加加眼球追踪带来一些麻烦。VR眼镜里加眼控技术要受到VR的使用条件和结构紧凑的限制,既要保证VR设备体积和重量,还要能与VR本身的结构相融合。 例如非球面透镜和菲涅尔透镜,就有很大的区别,还有用户佩戴眼镜、隐形眼镜等干扰,都需要处理。

    眼球追踪范围大

    在VR应用中,眼动范围很大,几乎达到了人眼转动的极限(垂直30°,水平50°),这样也让眼球追踪的难度增大了很多。

    VR设备的晃动

    VR设备是头戴的,头部的晃动以及设备相对头部的晃动都是难免的,在这种运动状态也要准确的获取数据,无疑是对硬件和算法很大的挑战。

    眼球的差异

    还有人的眼球其实都是不一样的,亚洲人和欧美人都有较大差异,红外特征也不同。人们的眼球个体差异还体现在,人眼的Kappa角不同(甚至有的人有严重的斜视),有的人有轻微的眼疾,有的做过眼部手术等等。都会导致眼球追踪无法工作,所以都需要考虑进去。这往往需要大量的差异化数据采集,才能做到较好的可用性。

    最后是实时性强,精度高

    VR眼动数据应用需求也不同,表现在实时性强,精准度高。比如把眼动数据用于渲染控制时,需要及时获取注视点坐标,并进行渲染,要求延时非常低。在游戏应用中,不但要求实时性强,还要求精度高,才能带来良好的用户体验。VR需要的眼动数据获取频率一般要在120Hz以上。

    当然以上的几个难点有的是提前考虑到的,有的是在研发过程中遇到的,当我们把这些难题都解决了,就有了我们现在的VR眼控方案。

    3)该如何平衡VR目前渲染、性能不足等问题?

    解决VR目前渲染,性能不足问题,这个正好是眼球追踪的强项,因为:人眼成像的过程中,中央凹视野(Foveal vision area)成像清晰,只覆盖视野1~2度,视觉敏锐度高;周边视野(Peripheral vision field)成像是模糊的。

    说直白点,人眼其实只能看清指甲盖大小的区域,而周围区域都是模糊的,只有亮度和运动敏感度。

    眼球追踪可以辅助GPU实现Foveated Rendering。

    如图所示,当人眼在看屏幕H时,虽然整个屏幕都可以看到,但是只有B区域的中央凹视野是清晰的, AC区域成像模糊,因此在画面渲染过程中只需要渲染中央凹视野很小的范围,对周边视野区域进行模糊渲染。眼球转动,高清渲染区域随着注视点的变化而变化,这样既可以得到高清的视觉体验,又可降低GPU负荷,从而可以大幅的降低VR设备对硬件的要求。

    
    5、眼球追踪技术在VR领域应用得怎么样?

    目前能较为成功的将眼球追踪技术用于VR中的,除了我们这样的国内创业公司,还有有德国的SMI公司。SMI联合三星发布的套装包含内置了眼球追踪相机的Gear VR。还有一款Fove也引入眼球追踪技术,不过从去年众筹开始就一直延期发货。除此之外还有EyeFluence专注在眼动交互方案的研发。

    根据目前VR厂商对眼控VR的态度来看,眼控VR商用在今年就会出现在一些VR设备上,真正达到市场级可能需要等2017年,一些大品牌开始进行硬件迭代,眼控作为可以解决大部分基础交互的技术方案,开始进入商用阶段。


(责任编辑:admin)
文章人气:
(请您在发表言论时自觉遵守互联网相关政策法律法规,文明上网,健康言论。)
用户名:
验证码:
首页 | 新闻 | 财经 | 军事 | 百科 | 科技 | 数码 | 汽车 | 游戏 | 娱乐 | 体育 | 文化 | 教育 | 房产 | 旅游 | 健康 | 女性 | 明星 | 美女