眼球追踪+VR医疗,智慧医疗的新突破
七鑫易维销售总监刘晶
我今天主要讲的是VR医疗在医疗行业一些新的突破。VR医疗并不是一个很新的词汇,但它到目前为止依然是很热的。下面我就结合眼球追踪和VR医疗给大家做一些汇报。
提到眼球追踪就不能离开我们的眼睛。眼睛是人体很重要的器官,我们都知道人类有五大感官,我们从外界获取信息,80%以上都是通过眼睛,所以说眼睛是人类输入、输出一个很重要的设备。简单来说眼球追踪就是通过专业的设备对整个眼球来进行追踪,包括一些运动的情况,视线的方向等等这些数据进行抓取,再通过后台的算法转换成各个应用场景所需要的数据。
眼球追踪+VR医疗的应用场景
首先聊一下眩晕症,我们周边经常会遇到头晕、晕船、晕车等人群。有一种疾病叫耳石症,耳石是掌握和保持我们人身体平衡的重要器官。上年纪以及一些外伤的影响,都会使耳石的功能慢慢退化,产生一些位移和脱落,人就会产生眩晕。眩晕的人和正常没有发病的时候,眼球是不同的,会有一个不由自主的震颤,学术上叫眼震。发生之后现有医疗设备可以抓取它的数据,但是它的数据远远不足以提供数据支持,但眼球追踪设备可以弥补这一项缺陷,可以提供20余种眼部的数据更好地配合医生和医疗部门为这一类病人提供更好的治疗方案。
精神分裂症,这类病人最大的特点就是不能主动和被动地集中注意力。对于精神分裂症患者很平和或很稳定的一个生活环境都会充满危险,同时在特定情况下他们也会做一些过激的行为,在法律上面也会对这一类人有特殊的判定标准。精神分裂症的患者眼部也会出现跟正常人不同的眼震,通过眼球追踪技术可以辅助精神科的医生或心理医生,抓住他们眼部的一些具体的数据,为他们去做一些评判,包括一些治疗方案的制定。同时该技术可以运用在其它的一些行业,类似于像一些军队系统、公安系统为士兵进行心理评估。
自闭症即孤独症,全球有万的自闭症患者,从年的1.5%涨到了年的2.2%。我们国家发病率差不多1%左右。中国有一千多万的自闭症患者,其中有万是儿童,同时患者数量以每年20万的速度在递增。自闭症患者最大的特点就是活在自己的世界里,完全不跟外界交流,是一种非常严重的心理疾病。在自闭症患者病情判定、诊断还有治疗方面需要非常专业和完善的一些机构去做出评判,尤其是儿童。儿童自闭症患者,可以通过制作一些比较能吸引他注意力的内容,比如卡通形象、动物,优美的景色。利用眼球追踪的技术把他的注视点获取出来,这一点已经有相应患者在进行这方面的治疗。
关于斜视、弱视矫正,人的眼球外面是有12条眼外肌,这12条任何一条出现先天和后天的作用都会退化这个功能,发育不好就会导致斜视。现有的治疗方法更多都是手动进行的方式,但是我们要做的东西就是要锻炼他受损或发育不良的眼外肌。具体怎么测出哪一条呢?现有的医疗设备是可以做的,但是还是不完全。通过眼球追踪就可以抓住,他到底看在什么位置,想让他往哪个方向去看,锻炼他发育不良的那一条,制定那个点,同时结合VR的内容制作,医生给他一些特定的点,包括那个点有没有看到,用同样的道理在眼球追踪方面都可以抓得到,对他医疗的评定,包括改善的情况都可以得到很好的证明。
眼球追踪在VR医疗教学的应用
医疗教学主要是模拟一些手术。国内的医疗条件并不是特别出色,患者比较多,医疗机构比较少,解剖尸体的尸源会用一些硅胶或者动物做代替,但是有了VR之后就会有比较好的展示。眼球追踪可以结合VR人机交互的方式,戴着头显模拟一台心脏手术、脑外科手术、血管手术等等,可以用眼睛跟系统进行交互,可以进行手术器械的拿取,包括一些止血棉等等,比实物的教学会有更加直观的感受。还可以通过注视点渲染技术去优化VR内容画面,另外眼球追踪技术可以结合手势等外设,转动旋转看到更加深层次的内容。
在一些医疗的环节里面会有一些固定的流程和顺序,先做哪,后做哪,都有一定要求的。但是如果没有对学员眼睛进行测试,我们根本不知道他是不是按照流程在走。有了眼球追踪的技术,可以对他整个的动作和行为的规范有更好的帮助,包括他的老师可以进行更好的一些评估。
现在是一个大数据的时代,医疗行业的大数据更多展示在临床的数据,进行二次加工分析,包括对同一季节,比如像流感的发作,还有一些病情的诊断会给一些提示,都是通过大数据演算出来的。眼球追踪技术可以获取所有的终端用户的医疗眼动数据,(包括注视点时长、运动轨迹、对象集中、瞳孔大小等专业数据)给医疗科研、临床提供最真实海量的数据,进行相关的医疗数据分析,支撑医疗研究。
当虚拟遇见现实——谈VR在教育行业的应用与发展
51学霸CEOAlvinLee
为什么用VR做教育
教育的本质是什么?其实就是通过互动(人书、人师、人机),传递信息(知识)。通过VR可以真正模拟理想条件下的环境让学生真正理解到知识点,感觉身临其境。模拟一些抽象的概念,在现实中做不到的,以游戏化的方式让学生轻松学习。年谷歌做了一个很好玩的东西,让小朋友可以去冰山,可以去不同的地方,在虚拟现实里面,他们差不多做了万个学生的体验,让美国的学生到万里长城来看,或者是去古埃及等等。
VR教育的细分领域
大家有没有看过《北京遇上西雅图》,我觉得教育遇见VR,有点像北京遇见西雅图。教育是比较沉闷的东西,VR是比较炫酷的东西,可是它们各有千秋,碰撞到一起会有新的突破。
VR如何为传统教育创造价值?
1、抽象的、难以理解的学科概念和理科模型
这是一个关于摩擦力的场景,我们把整个课程还原在VR里面,学生可以在没有摩擦的情况下玩游戏,真正理解没有摩擦,零摩擦的概念是什么。把抽象的理科课程打造成好玩,深刻的VR体验。让学生更容易理解核心的物理概念,得到更高的分数
2、现实世界中无法实现的教学场景
这是一个物理课,二次元老师可以带你学物理,可以去不同的星球。高度还原现实世界总无法实现的教学场景(例如:宇宙空间场景,轻松实现“站在不同的星球上观察太阳系”)
3、受客观环境影响难以实现的教学实验
有些学校设备不够或者有些实验太危险导致某些化学实验无法完成,目前可以通过VR还原化学实验,危险的东西可以在VR里面做,这个对于大学会是比较重要的一个点。
4、极限危险环境的模拟
我们可以通过VR技术去高度还原危险情景(比如逃生溺水,火灾、地震)可以让学生在绝对安全的环境中体验极度危险的灾难逃生现场,学习如何应对危险环境。
5、模拟职教培训中昂贵的实训设备和场景
培训也很重要,譬如说危险的场景,施工,关于电的东西,可以用VR来培训。让学生不受场地、时间的限制,自主进行多次技能训练。最近我们还原了上海的一个港口,让国际贸易的学生漫游整个上海的港口学习物流。
VR教育的运用场景
1、基于HTCVive的PCVR
超强沉浸式学习体验,outside-in空间定位技术,让虚拟高度贴近现实;搭配LeapMotion手势识别技术,释放手柄,增强学生在教育场景中的交互感。
2、VR一体机
同一空间内,能够容纳30+位的学生同时体验VR课程,增强教学互动性;一体式、轻便的VR头戴设备,极简化的操作系统,让学生轻松进行VR课程学习。
3、VR形式体验
AR让线上教育场景更丰富生动,学生可以更大可能的进行自主学习,同时接受来自教师、课本等全方面的信息。
Q:关于您刚才讲的物流的例子,学生他在对物流的场景没有认知的情况下,只是通过VR认识,效果和到现场去实践还是有一些差距的。
A:完全是的,其实我个人认为当然是现实比较好,有时候现实做不到的事情我们才做。因为VR开发的成本是有的,比如说学生进不了那个港口亲身体验,我们就把它还原,让他们在里面体验,或者是你在中国,你去不了古埃及,我们就帮你还原。现实做不到,我们就让他在VR里面体验。可是绝对不会比现实好,但有时候VR可以做到现实做不到的事情,比如说物理上一些抽象的概念,没有摩擦是怎样的,这是VR的优势。但是大部分还是现实里比较好,我一直把VR视为辅助的东西,而不是替代老师,替代真实的教育。好多不同的应用,每个应用都有它的用处,可是不是哪个应用会是一个完全改变教育行业的,我是这样的理解。
Q:我想问一下如果你做一个事情,能不能做到精准操作?还是你编的程序?比如说你剪断一根电线,通过运算会很现实的呈现出来,而不是你点一个按钮呈现一个程序,这会不会是VR的瓶颈?
A:其实我不是技术出身的,我尽量解释一下我的观点。其实我们现在做的事情比较偏向于体验式的事情,我们基本上把程序、流程做好了。可是我希望做的就是让在VR里面自己制造你的世界,你可以在里面做自己的世界,用3D打印,用其它的方式把它呈现出来,或者是用视频把它呈现在另外的地方,这个是所谓的制造VR的工具。我觉得很早期,目前都不成熟,但是一个趋势。就像十年以前的APP需要很多的程序才能做出来,但是现在其实很多人都可以自己制造APP,也不需要太多的代码来做这个事情。
Q:当前VR教育的发展瓶颈是不是就是成本太高,不易于开发?
A:其实瓶颈有两三个,其中一个是我觉得硬件体验还不够好,但比起二十年前的VR已经做得挺好了。我身为内容商接下来希望更多厂商做出更优越的产品,我希望年出一些AR眼镜的产品,我觉得这是一个突破。
本田汽车VR互动式广告——TVC要求的VR制作
觉拾壹联合创始人导演姜海
今天我主要结合本田汽车TVC的产品的案例讲两个层面,第一是我们如何做的,第二什么叫TVC,用TVC要求做一个什么品质的VR作品。
汽车基本上是所有产品最复杂的产品,要求工业化、标准化,包括从美术、艺术方面要求比较高的。对于传统的客户,他不是很懂什么是VR,但他会用TVC的要求要求你。TVC是一种标准,它代表的是视频制作的一种水准。如果一个人要TVC级别的制作30秒、1分钟,千万不要要到50万以下。因为你做不了,TVC级别要求非常高,事实是这样的。
不管是汽车还是其它行业,VR现在能用到的三种制作形式:第一个是全景的实拍;第二就是影视里面经常遇到的CGI的技术,实拍加CG;第三交互,广告片最终是输出到动感平台,就是所谓的动感座椅,根据你的音乐,包括你车的发动起步、停止、拐弯、加速,所有的点设置动感座椅,用眼镜去看。
我们把整个制作分成三个部分,前期、中期、后期。前期就是脚本,中期就是拍摄,后期就是所有计算机制作方面,包括VR的后期制作等等。
PPM是广告术语即拍摄前的会议,比如你在拍摄之前必须跟客户详细沟通。关于画分镜,我个人觉得做TVC,做电影,做电视剧都可以画分镜,但是VR画分镜很奇怪,因为它都是一个固定的镜头。预演是必须要有的,说什么话,做什么表演。要给广告公司和客户非常精准的时间计划,你的时间计划精准到每一天要干什么,每一天要提报什么东西,每一天要看到什么东西以及节点开会时间必须非常精准才可以把控项目的标准。
设备的选择,OZO大小合适,我们做了一个云架,把它固定在车里,防止它去振动。OZO的格式是OZORAW,比较符合影视的产品输出。它可以拍立体,但是它只能输出30帧每秒。车以及从车里看到车外的所有东西,除了背景,全是2D,然后将这些去合成到VR的环境里用的是AMIRA,这个相机也是中国包括好莱坞拍电影的摄影机。用什么东西拍必须知道有什么样的后期流程,不然你会做起来非常吃力还达不到效果。我们选择它就是因为它可以输出ProRes和ARRIRAW,适用于电影和TVC的流程。主要还是用OZO的相机。
中制期难点就是车内的空间比较小,薛之谦动作比较大。不到2秒钟的实时监视就是回放的时候会有一个延迟,这个只能去卡一下时间,因为硬件的东西我们解决不了。还有监视器无法回放的问题,在拍摄过程中整个室内不允许有人,四周要挂绿布。
这是OZO输出的OZORAW,八个相机八个素材。它的镜头首先要进行一个粗缝,它有一些问题(有安全距离的问题,2米之内,以及60度夹角)。薛之谦有时候动作很大,进入夹角的时候会产生一些变形,所以在以后拍摄的时候尽量让演员去规避一下这样的问题。这都是比较精细的贴补,其实就是进行画面的缝补,比较精的制作。
关于做CG的制作,不要把它做成完美的一张图让客户确定,非常浪费成本和时间。先把模型搭出来看形,让客户确定,确定好了之后再去做有着色的、有光影效果的。后面三维的渲染首先是4K,4K要求在渲染上麻烦一些,最重要的是要渲全景,无死角,每一个地方都要考虑到。
最终合成我总结了几个方面:一个是三维的场景要去合成,整个合完之后要考虑到所有镜子。因为之前把镜子玻璃都扣掉了,最后用后期去把假的玻璃反射和质感重新补回来。还有一个畸变的校准,需要在眼镜里面去一点点地调,最后直至达到舒服的效果。
更多VR资讯,请继续北京治疗白癜风得多少钱啊白癜风专科医院怎么样