当前位置: 附加器 >> 附加器介绍 >> 5GAI的杀手级应用VRAR深度研究
如需报告请登录。
1.5G+AI破解VR/AR产业落地瓶颈
自OculusRift产品推出,VR在-年间一度成为全球产业和资本追捧的焦点。大型IT公司进行业务转型,VR中小创公司不断涌现。然而,理想是美好的,现实是残酷的,应用匮乏,性能表现低于预期,导致了一度火热的VR产业走向沉寂,从技术上看出现这一现象的核心原因在于:
1、终端高算力小型化不足,削弱用户体验。VR眼镜由于需要构造完全的虚拟化3D空间,往往需要巨大的算力,而现今的硬件设备仍无法做到小型化高算力,各类“临时性”措施大幅削弱了VR的使用体验。
2、不具备足够定位精度带来“眩晕感”。流行的Oculus、HTC等厂商推出的面向消费端客户的VR眼镜产品均不具备足够的定位精度,从而造成VR眼镜在使用过程中严重的“眩晕感”。
3、由有线传输造成的可不便携性。这造成互动直播、游戏等“杀手级”应用无法给出令人接受的表现。
5G破解VR应用瓶颈。目前的VR产品主要有三种:PCVR高端头显,VR一体机以及VR盒子。PCVR头显的体验效果最好,但操作最为复杂。用户不仅需要购买这些设备,还需要有一台配臵相对较高的PC主机,成本和门槛也最高。第二种是移动VR一体机。这类产品相比之下便携性好,体验起来也更加方便。但缺点在于移动VR平台的内容质量相对较低,硬件素质也不如高端VR。体验好的设备贵、门槛高,便宜的设备又体验差。这种矛盾该如何解决?这时,云VR/AR平台就成为了一种很好的解决方案。在用户体验的过程中,原本需要本地计算的过程全部放在云端,并通过云端服务器反馈给使用者,这样就可以省去购买高端设备的成本,而且低延迟还可以减轻用户的眩晕感。这样的方案从理论上确实可以解决VR的一些痛点问题,去除复杂线缆的约束,提供成本低高质量的体验内容。但这一切都需要强大的网络环境以及超高运算的云VR平台来做支撑,而在这套流程的数据传输方面,云VR正是背靠5G的两点优势才得以延伸:
1、5G推动VR/AR发展的关键——高速传输
目前,智能手机终端的VR/AR应用多数是基于独立的APP运行。以观看VR视频为例,一段几秒钟的高清全景视频便可达到几十兆甚至几百兆。在主流的4G网络的传输速度下,用户是难以流畅观看VR视频的,至于VR游戏更是面临巨大的传输瓶颈。而对于AR体验来说,虽然可以依靠离线的识别处理机制来呈现虚实结合的体验,但当识别的景象发生连续大量的动态变化时,单单依靠终端便难以负荷庞大的计算量。为此,华为VROpenLab联合视博云等合作伙伴在西班牙MWC展览会上,发布了最新的VR解决方案——CloudVR,即将VR运行能力由终端向云端进行转移,以此来推动VR/AR应用在智能手机端的普及。然而,这种解决方案的实现所依托的仍然是高效的传输网络——5G。在5G时代,一部超高清的电影可在1秒之内下载完成。同样,一段超高清的VR全景视频也可以实现实时的流畅播放。
2、5G优化VR体验的核心——低延迟
仅仅速率快仍无法解决VR/AR体验在移动终端中的延迟问题。事实上,5G网络还在其整体设计上采用了不同于4G网络的基站布局和处理机制,以此来缩短传统VR体验中的延迟时间。对传输网络来说,所采用的频率越高,传播过程中的衰减也越大,这就导致了5G网络覆盖能力的减弱。所以,同4G网相比,5G所需要的基站数量将更加庞大。但同时,覆盖范围的缩小也减轻了基站所承载的传输压力。因此,相比于4G网络建造的宏基站,5G网络所采用的基站更多的是微型基站。
基于微基站,5G采用移动边缘计算机制,即将处理逻辑下沉到网络的边缘,也就是更靠近用户的基站上。一旦用户发出请求,数据便可以在极短的时间内传输到基站,而基站也可以更快速地给用户以反馈。
正是基于这种高效的传输机制,5G才能够让VR/AR应用在移动终端的时延极大地缩短。根据IMT-制定的指导方针,5G将提供1毫秒的OTA往返延迟。实际上,当延迟小于10毫秒时,人类就基本无法察觉到画面的延迟。因此,5G的到来将会彻底消除VR使用中由时延所带来的眩晕感,从而真正提升移动终端的虚拟体验。
5G有望从内容端打通产业,令VR技术推广加速。5G并非仅为VR所用的私有网络,而是面向大众通信的公共网络,这意味着海量的信息与内容将通过5G网络辐射到各终端节点。以往,VR的相关应用受限于传输速度,往往需要通过有线方式构造专有系统,实现“专网专用”。在5G大背景下,各类4K级以上高清视频应用均可以通过5G公有网络被用户终端在不受限制的时间地点访问,这意味着VR的内容匮乏问题也有望得到大幅改善,实现从内容端的产业打通。
5G时代,更多的VR应用场景将成为现实。4G仅能够满足部分VR/AR应用,但5G不仅增强了现有的虚拟体验,还将拓展出全新的应用场景,真正使VR/AR发挥其在移动终端的优势,解决用户生活中的痛点,比如,目前发展缓慢的VR直播。囿于4G网络环境的带宽限制,用户无法仅靠移动终端来实现体育赛事和演唱会等大型场景的现场直播,即使采用专用级的VR全景摄影机来进行视频采集,用户终端的观看体验仍然欠佳。但随着5G时代的来临,高清VR视频的上传和在线播放的流畅性都将在几秒之内完成。同时,5G还可以使基于AR的车载导航成为现实。将导航地图和实时路况等信息投射在驾驶员眼前的挡风玻璃上,使驾驶员在搜索路线的同时也能够对行驶道路的状况进行把控,从而既提升了行驶的安全性,也节省了驾驶时间。此外,随着5G的部署,一些对实时性要求较高的应用,诸如远程手术、虚拟课堂培训和即时VR内容创作等,也都将得到普及。
AI算法成熟化将逐步令AR走向台前。AR的落地慢于VR,本质原因在于AR对场景三维重构、物体追踪等技术均存在较高的算法要求。AI算法成熟化将有望解决AR的技术难题,助力产品加速落地。随着近年来AI算法持续革新,以AI为主导的计算机视觉算法已日趋成熟,国外的谷歌、苹果等公司以及国内的商汤、旷视等公司均展开了针对AR应用场景的AI算法解决方案的研究。
AR技术迭代加速,相关产品已然落地。与此同时,在VR大潮的驱动下,AR技术迭代的速度得到加快,目前已逐步推出探索性产品。微软在推出AR眼镜HoloLens,并再次在年推出迭代产品HoloLens2。谷歌与阿里巴巴投资的AR公司MagicLeap在年推出了自己的产品MagicLeapOne。苹果公司也在持续对AR软硬件进行投入,并推出了AR开发工具ARKit。在应用方面,年推出的手机端AR游戏精灵宝可梦GO获得巨大成功。这一切均说明AR技术具备巨大的潜力。
交互模式的变革贯穿了整个IT产业的发展史,AR有望成为新一代交互平台。交互模式的转变直接体现在输入输出的形式上。从最初的键盘交互时代,以DOS命令形式输入为主;随着苹果和微软PC图形界面的诞生,进入了“鼠标+键盘”时代,开始通过图形界面(GUI)进行输入输出。年苹果推出iPhone手机,也将计算机带入了移动互联网触屏交互时代。人机交互的趋势是越来越人性化。上世纪80年代人们要经过良好的培训才能使用命令行或编写代码,但如今即使是未受任何培训的孩童也可以使用智能手机或平板电脑。下一代计算平台必然会在人性化上有显著提升,AR“所见即所得”的交互方式符合这一趋势。
2.虚拟走向现实,VR/AR的前世今生
2.1.VR/AR的诞生与发展
VR(VirtualReality)又称为虚拟现实,其本质是利用计算机技术通过欺骗感官的方式实现用户在虚拟的三维空间中体验到身临其境的沉浸感。最早的VR产品可以追溯到年莫顿〃海利希推出的多种感官交互影院设备Sensorama。其后,VR得到不断革新,并在90年代世嘉、任天堂等游戏机厂商的SEGAVR-1、VirtualBoy等产品上得到应用。随着年Kickstarter集资众筹产品OculusRift问世,其细腻的分辨率、宽广的视野与6DOF高沉浸体验令VR再次进入发展热潮,并持续至今。
AR(AugmentedReality)又称为增强现实,其本质是在用户现有的视觉空间下叠加虚拟物体,以实现用户在真实空间下对于附加场景的增强性需求。AR最早的产品可以追溯到年萨瑟兰研制的机械式增强现实系统SwordofDamocles。AR的概念在年提出,在之后的岁月里长期停留在实验室层面与军方的相关项目研究。年后,一些在Android手机上的AR应用逐步推出。在年谷歌推出新的AR眼镜产品后,AR技术的发展进入了新纪元。
AR从其技术手段和表现形式上,可以明确分为两类:一是Vision-basedAR,即基于计算机视觉的AR,二是LBS-basedAR,即基于地理位臵信息的AR。
2.2.VR/AR的发展现状
目前,VR/AR已逐步根据各自产品特点形成了一定的格局,在自身领域产生了一定分化。VR产品已分化为外接式头显、移动式头显和一体式头显三大阵营。
外接式头显。将VR设备生成三维虚拟环境所需的算力转移到外部设备,例如PC机、游戏主机或云端服务器。由于描述三维虚拟环境需要大量信息传输,故而外接式头显常采用有线方式连接。在线缆长度的约束下,用户的VR场景使用物理范围被大大限制。同时,外接式头显动即元以上的零售价也限制了在普通客户群体中的普及。目前相关产品包括OculusRift、HTCVive、PSVR。
移动式头显。仅提供VR镜片,利用手机设备充当算力提供源,从而实现高度移动化。移动式头显因为结构简单,常利用硬纸壳包装,故而又称为“纸盒子”。移动式头显价格往往非常低廉,仅在元左右,易于被广大消费终端客户接受。然而,由于手机终端算力不足,移动式头显的应用场景往往被限制在低清3D观看应用,适用范围大减。同时,部分产品仅具备3DOF,与人体协调性降低造成“眩晕感”的进一步增强。移动式头显包括三星的GearVR、谷歌的DayDream等。
一体式头显。一体式头显本质是外接式头显和移动式头显折中后的一个产品。一体式头显通过在VR头显设备中内臵集成化计算单元,从而在避免掉有线连接的同时保持一定程度的计算能力。在高性能运算产生的高能耗下,,一体式头显的电池续航有待改进。同时,一体式头显由于将计算单元固化,因而在升级改造方面完全受限,更类似于一次性产品呢,在5G落地大背景下会受到巨大挑战。一体式头显产品主要有OculusGo、三星的ExynosVR等。
VR设备分化出的三种类型充分表明了算力与便携性之间存在的调和矛盾,而5G技术落地,意味着以上矛盾将迎刃而解。
AR产品则分化为眼镜类产品和面板类产品两大应用领域,正好对应AR的两大技术手段。
眼镜类产品。AR眼镜类产品通过在用户眼镜镜片上叠加光场,实现用户视野范围内虚拟物体的叠加,本质上提供的是真实的三维增强现实空间。AR眼镜类产品相对来讲技术含量更高,对定位、重构等要求更苛刻,故而往往价格高昂,相关产品售价在0元以上。目前流行的产品包括微软的HoloLens、谷歌的MagicLeap等,在特种加工、辅助医疗等领域已具备相关ToB应用落地。
面板类产品。面板类AR产品主要通过在移动端面板摄像头拍摄内容上叠加附加视觉效果,实现用户在面板的真实视野内的视觉增强,本质上提供的是二维增强现实空间。面板类AR产品相对来讲技术门槛更为平滑,本质上仅仅针对算法层面的考验。目前,ToC类手机端AR产品往往采用免费战术,而ToB类产品则根据附加指定价。手机端AR产品最为知名的就是苹果手机AR,国内的百度、中科创达、四维图新、虹软科技等公司也在ToB类产品广泛涉猎。手机端AR产品主要应用包括精灵宝可梦Go等手机游戏,面板AR产品包括各类AR辅助驾驶产品。
2.3.巨头在VR/AR产品上的布局
2.3.1.苹果
苹果布局AR业务多年,一方面通过外部收购获取技术与人才,年至今,苹果陆续收购了PrimeSense、Metaio、Faceshift等十几家公司,以获得面部识别和开发工具等相关技术;
另一方面而苹果在自主研发方面同样强悍,早在年就申请了AR方面的专利,苹果至今先后申请了6项AR相关的专利,并在年8月将游戏和健身类设备等囊括进商标覆盖范围。
在深厚技术积累的基础上,苹果在年迅速打造出一个包括硬件、开发工具、应用在内的完整AR生态链,实现AR领域全方位的布局。据了解,苹果的AR路线不仅只局限于手机端,还包含一个代号为“ProjectMirrorshades”的AR眼镜计划,当苹果在完成手机端的推广之后,即推出与iPhone相匹配的AR眼镜,并最终推出可以完全替代iPhone的全功能AR眼镜。据彭博社消息,苹果计划年完成该产品的研发并在年发货。
2.3.2.谷歌
谷歌曾在年推出廉价移动式VR头显Cardboard。Cardboard是谷歌所开发、与智能手机配合使用的虚拟现实头戴式显示器。按照谷歌发布的规范,用户既可以利用廉价简易的组件自行制作头盔,或购买预先做好的头盔。Cardboard兼容Android系和iOS系的主流手机,发货量截止至年3月已超过万个,同时又1.6亿个应用程序上线。
谷歌再次在年推出升级版移动式VR头显Daydream。不同于Cardboard,Daydream平台完全由Google为第七代Android移动操作系统Nougat开发,因而只有特定的手机产品可以兼容Daydream。谷歌在开发者大会上宣布与多个硬件厂商展开合作,包括三星、HTC、LG以及国内小米、华为、中兴等巨头,这些兼容的手机将被标识为“Daydream-ready”。
谷歌曾试图推出为智能手机增加平板AR功能的ProjectTango项目。不过由于需要在硬件中安装先进的摄像头等特殊的传感器,使用安卓系统的手机制造商并没有广泛采用,只有华硕和联想采用了它。现在谷歌尝试用对标苹果ARKit的ARCore取代ProjectTango。相比ProjectTango,ARCore增强现实实现方案更加实用,在普通的智能手机上就可以运行,不需要专门的传感器。目前谷歌Pixel和三星GalaxyS8都支持ARCore。TechCrunch分析认为,谷歌在AR领域最大的优势在于机器学习和AR技术的结合,比如GoogleLens可以将实时计算机视觉技术带入AR窗口中。
谷歌旗下公司MagicLeap推出高性能AR眼镜产品MagicLeapOne。MagicLeap是一家成立于年的美国增强现实公司,曾获得来自谷歌、阿里巴巴等14亿美元的融资。MagicLeap一直以逼真的光学效果著称,通过还原现实物体的光线,带给人眼自然的感受。MagicLeap的AR头显产品“MagicLeapOne”几经延期,在年问世。MagicLeapOne在环境理解、物体遮挡等方面均具有不俗的表现。
2.3.3.Facebook
在VR领域,Facebook主要通过旗下子公司Oculus实现产品布局。Oculus成立于年,由帕尔默〃拉奇与布伦丹〃艾瑞比成立,其VR头显产品曾在众筹网站kickstarter筹资近到万美元。年3月,Facebook以20亿美元现金及Facebook股票收购了Oculus。Oculus的VR产品多定位于高性能头显设备,包括外接式头显OculusRift、一体化头显OculusGo和OculusQuest等。
在AR领域,Facebook由于其社交属性,采用了与苹果、谷歌不同的方法来打造增强现实。它开通了一个AR开发平台CameraEffects,让开发者给Facebook、Instagram、Messenger和WhatsApp应用程序内相机开发增强现实功能。
Facebook还发布了两款AR工具ARStudio和FrameStudio,这两款工具可以为照片和视频创建AR效果,包括滤镜,动画框架和其他增强现实互动。
Facebook旗下虚拟现实子公司Oculus年8月提交了一份关于“配备二维扫描仪的波导显示屏”的专利申请。这项专利申请暗示Facebook智能眼镜的底层技术开发工作已经完成,但正式发布还需要等上一段时间。
2.3.4.微软
MicrosoftHoloLens是微软首个不受线缆限制的全息计算机设备,能够让人与数字内容交互,并与周围真实环境中的全息影像互动。HoloLens是目前市场上唯一一款先进的混合现实产品(混合现实也可以看作AR),不过该款设备价格较为昂贵主要面向企业客户,企业开发定制软件来提高员工工作效率。
2.3.5.HTC
HTC通过VR头显产品Vive实现业务转型。HTC是源自台湾的跨国消费性电子产品公司,成立于年。HTC曾是功能机时代的王者,但在智能机新时代到来后逐步衰退。年Gartner调查指出,HTC已跌出全球手机销售第十名,位居第十一名,市占率仅2.89%。年,HTC股价创新低,营收更是出现首度亏损。为实现业务转型,HTC与Valve公司合作开发VR头显设备,以期在新生领域扳回一城。HTC的VR产品主打高性能外接式头显,包括HTCVive和HTCVivePro,以及一体化头显新品ViveFocus和ViveFocusPlus。
2.3.6.索尼
索尼利用自身游戏平台优势,从内容端向VR渗透。索尼是老牌的游戏机厂商,其主打产品PlayStation在家用游戏机领域占有率极高。年,索尼公司推出了PlayStation的VR产品PlayStationVR。索尼的PSVR最大优势在于丰富的游戏内容,目前PlayStation商店共提供款高质量VR游戏。PSVR将持续跟随索尼PlayStation产品进行更新,并不断丰富内容。
2.3.7.三星
三星公司对VR业务持续投入。三星作为传统的消费电子巨头,已实现对VR业务的布局。年,三星电子与OculusVR公司合作开发,推出了移动式头显产品GearVR。GearVR兼容三星Galaxy器件(GalaxyNote5或GalaxyS6/S6Edge),同时具备更好的校准和较的低延迟,是目前移动式头显应用最广泛的产品。
2.3.8.国内巨头
国内互联网企业在AR应用方面也做出诸多探索。导航方面有百度AR导航;游戏娱乐方面有迪士尼和联想合作星球大战AR设备和游戏等。
阿里AR应用则着重于购物。年双十一期间的AR捉猫猫将零售与AR结合起来。十二月阿里人工智能实验室与星巴克合作,通过手机AR技术便可便可观看到星巴克咖啡烘焙、生产及煮制的全过程。基于AR扫描的视觉互动带来的别样的感官刺激,消费者可以更加深入地体验咖啡文化。这也是阿里最新的大型场景内的AR识别技术,在全球第一次大规模的商业应用。
3.5G+AI时代,VR/AR迎来真正春天
VR/AR已具备两项特征:一是随着VR/AR应用价值上升,生产成本降低,VR/AR将影响越来越多用户的生活;二是随着VR/AR设备的发展、普及,用户界面和应用程序方面会产生新的突破。年,5G+AI将令VR/AR潜能从现有的技术欠缺中释放出来,AR浪潮的周期已经从移动AR软件逐渐发展至移动AR硬件,VR在经历泡沫破灭后也恢复向上,同时国内外科技巨头持续不断的大规模投入,若干因素形成共振推动VR/AR迎来真正的春天。
3.1.5G+AI让VR/AR如虎添翼
3.1.1.5G,高速传输助力VR终端“松绑”
算力问题始终是困扰VR产品推广的梦魇,高算力的实现往往以牺牲便携性为代价。VR彻底构造三维虚拟空间需要巨大的算力,这往往通过PC机的高性能CPU和显卡才能勉强实现。然而,这类高性能计算设备往往难以做到小型便携化,VR显示设备外接高性能设备变为必然趋势。尽管传统的4G网络能提供高达Mbps-Mbps的传输速度,在各类VR高清应用下,传输带宽的不足仍然捉襟见肘。然而,采用线缆连接方式造成的行动区域受限大幅削弱了VR的发展空间。Oculus甚至放弃了OculusRift产品的研发跟进,转而发展一体化眼镜OculusGo。
5G大幕将临,VR云化选项摆上桌面。5G时代带宽吞吐量可达到10Gbps的通讯速率,完全能够满足VR应用场景下对高清三维场景数据的传输需求。故而,外接式VR设备可以通过5G无线连接方式,实现VR算力中心的云化,从而将用户从有线连接的移动范围限制中释放出来。同时,VR云化将能够降低用户硬件成本,也通过服务器云化的方式降低了内容商的成本,并进一步增强了VR应用的入口效应,利于社区发展。故而,5G革命将为VR产品带来根本性改变。
3.1.2.AI算法成熟,释放AR场景化潜质
AR的基础是图像识别技术,是近年来人工智能实质性取得突破的方向。识别技术一直以来是限制AR技术进一步发展的瓶颈。环境识别是对摄像头或传感器获得的真实世界的信息进行分析,得到对于环境的精准理解,告知系统哪里需要“增强”以及需要“增强”的内容。对周围环境理解越透彻,定位越准确,虚实结合的效果越好。近年来人工智能在识别技术方面实质性取得突破。算法的发展和多种传感器之间的融合使识别不再是难以逾越的技术壁垒。
AR识别技术依托于SLAM算法,SLAM算法今年取得重大进步。SLAM算法即时定位与地图构建,对每一帧画面同时(Simultaneously)进行定位(Localization)和建图(Mapping)两种运算。十年以来视觉SLAM算法取得巨大进步。年A.J.Davison的MonoSLAM实现了视觉SLAM系统实时运算的突破,在此之前视觉SLAM系统只能在相机采集数据后离线进行定位与建图。年Klein等人提出了PTAM算法(ParallelTrackingandMapping),并进一步发展至现代SLAM算法中广泛使用的ORB-SLAM。ORB-SLAM采取三线程运算,分别为:
(1)跟踪(Tracking)。从图像中提取ORB特征,通过每一帧图像定位相机,决定是否加入关键帧,粗略估计相机位姿。
(2)建图(LocalMapping)。处理新的关键帧,得到更精确的ORB特征点空间位臵和相机位姿。
(3)闭环检测(LoopClosing)。这一部分主要分为两个过程,分别是闭环探测和闭环校正。对新加进来的关键帧进行回环检测,消除累积误差。闭环检测这一步使得ORB-SLAM系统较之前的SLAM系统更加完善。
近年来,更优秀的SLAM算法开始出现。目前不少研究者尝试着将深度学习的思想注入AR的识别流程中,使AR识别可以从图像中可以获得丰富的语义信息。
AI芯片渐趋成熟,AR应用得到相关支持。苹果A11、麒麟等手机芯片是为AR应用做准备,同时也是AR在手机端开始由软到硬落地推动产业化的关键一步。
为了使深度神经元网络连接更快,寒武纪为其NPU设计了专门的存储结构,以及专用处理器指令集。芯片中的深度神经元每秒可以处理亿个神经元和超过2万亿个突触,功能强大的同时,功耗却只有原来的1/10。
虽然芯片里的CPU、GPU、DSP都可以用来做运算,众多手机厂商也在CPU+GPU+DSP架构上对AI功能进行优化,但是NPU是专门用于神经网络架构计算的,在神经网络架构计算方面处理能效比提升了50倍,性能是普通CPU的25倍。
3.2.软硬件成熟,VR/AR已具备大众化基础
3.2.1.硬件生态系统初步建立
终端芯片方面,华为、苹果全球两大手机终端公司均已经发布了用于其最新款手机的AI芯片。传感器方面,iPhonex包含前臵3D传感系统TrueDepth。三星和华为等主流智能手机制造商,也打算在年的新机型上采用3D传感器。据彭博社消息,年苹果将为iPhone手机配备前后两个3D传感器,以便让iPhone变成领先的增强现实设备。
3.2.2.开发平台助力移动VR/AR软件大规模平台化
目前,VR/AR均已脱离了基于厂商原始SDK的简陋低效开发阶段,而步入了第三方技术支持的高效开发新纪元。VR大型应用开发已得到各类图形库平台供应商的支持。VR开发不再拘泥于OculusSDK、OpenVR等原始SDK,而是可以通过Unity、Unreal等成熟图形引擎、游戏引擎实现快速高效开发。
UnityVR。Unity是一款由UnityTechnologies研发的2D/3D游戏引擎,其最大的特点是跨平台高效便捷开发。Unity可用于开发Windows、MacOS及Linux平台及各类游戏主机平台、移动端平台等近27种平台的单机游戏。自Unity5.x版本后,Unity开启了对OculusRift、HTCVive和GearVR等主流VR产品的支持。
UnrealVR。Unreal是一款由EpicGames开发的游戏引擎,主要是为了开发第一人称射击游戏而设计,但现在已经被成功地应用于开发潜行类游戏、格斗游戏、角色扮演等各种不同类型的游戏。Unreal自年推出后已完成了四代产品迭代,目前已被育碧、EA等大厂的3A级游戏大作所采用的。自Unreal4引擎开始,Unreal提供了对VR技术的支持,Unreal优秀的大型3D建模能力与在游戏圈的口碑,将有助于VR高质量内容的落地与推广。
AR软件已经过各大互联网公司打包整合,功能更加完善,技术支持更加充分。苹果、谷歌都在开发者大会上推出了面向AR开发者的便捷化软件开发工具。
3.2.3.应用逐步丰富,VR/AR社区持续壮大
VR平台化集聚效应加剧,Steam有望整合资源做大内容。Steam是美国电子游戏商维尔福(Valve)于年9月12日推出的数字发行平台,提供数字版权管理、多人游戏、流媒体和社交网络服务等功能。Steam被认为是计算机游戏界最大的数码发行平台。根据ScreenDigest在年的估计,Steam的市场份额达到75%。年,Steam开始支持VR,并推出SteamVR。SteamVR通过整合Oculus、HTC各VR设备厂商的内容资源,并利用Steam平台在游戏玩家群体中的影响力,不断丰富VR社区的内容资源。
AR开发成本降低,应用内容大幅增加。PokemonGo的火爆让大众第一次直观感受到AR的魅力。得益于ARKit、ARCore等高效开发软件,制作AR应用的门槛和成本大幅降低。同时,AR应用数量激增。AR应用程序在年9月20日ARKit正式上线之初只有五十多款,而在3个月的时间就已经有超过款应用。AR应用在内容上也呈现多样化的趋势,既有类似PokemonGo这样的AR游戏,也有传统制造企业与AR的联合,比如宝马推出的BMWiVisualizer,乐高也发布了使用ARKit的来整合数字和实物的应用ARStudio。
3.3.资本涌入加速产业发展(略)
4.各有千秋,AR与VR的区别及产业链拆解
4.1.AR与VR的区别
AR由于需要在用户真实视觉场景中构造出虚拟三维物体,本身就带有一定的VR色彩,因而AR与VR常统一为VR/AR概念一并进行讨论。两者的区别主要体现在:
两者的目的不同。VR的目的是提供一个完全的虚拟化三维空间,令用户深度沉浸其中而不发觉。AR的目的是为用户提供在真实环境下提供辅助性虚拟物体,本质只是用户视野内现实世界的延伸。
两者的实现方式不同。现有的主流VR头显技术通过用户位臵定位,利用双目视差分别为用户左右眼提供不同的显示画面,已达到欺骗视觉中枢制造幻象的目的。相比之下,AR技术则通过测量用户与真实场景中物体的距离并重构,实现虚拟物体与现实场景的交互。
两者的技术痛点不同。VR的关键在于如何通过定位与虚拟场景渲染实现用户“以假乱真”的沉浸体验,目前的应用瓶颈在定位精度和传输速度。AR的关键是如何通过在虚拟环境里重构现实世界的物体已实现“现实-虚拟”交互,目前的瓶颈主要在算法和算力上。
两者的造价不同。VR产品经过多年发展,已逐步进入商品化流程,目前零售产品报价在-人民币之间,面向终端消费者。AR产品仍然处于发展的初期,相关新品的报价在0-00人民币之间,仅面向特定企业级用户预订。
虽然VR、AR存在明显的差异,但它们并非完全独立的技术。VR和AR在互相竞争的同时也在互相成就。VR利用计算机生成的图像完全取代现实世界,AR则将计算机生成的图像添加到用户周遭环境中。但最终两种技术的竞争将会模糊化,同一设备可以两种技术兼而有之。
从AR与VR的区别上我们不难发现VR本质上是更先进的媒体形式,而AR却是强大的计算平台。VR主要应用于游戏、娱乐方面,如同将游戏机放在眼前;而游戏、娱乐仅仅是AR应用的子集,未来AR在医疗、工业、教育、零售等市场有巨大的发展潜力。Digi-Capital预测到年,AR/VR的市场规模是1亿美元,其中AR占亿美元,VR占亿美元。
4.2.AR产业链
AR产业链可以分为硬件和软件两部分,AR在未来的爆发给上下游软硬件厂商带来巨大的商机。细分来看,包含四个部分:硬件、开发、应用与分发。硬件/实现
1)头戴设备制造商——致力于头戴设备技术开发的公司。在这个类别中,MagicLeap是融资最多的公司,以14亿美元的融资额远远甩开了第二名。
2)位臵、眼球和手势追踪——开发嵌入在AR/VR头戴设备或移动设备中的追踪设备的公司,如EonitePerception和Occipital。3)移动硬件和实现——提供头戴式显示器或其他移动AR/VR技术的初创公司。如MergeVR,提供头戴式显示器(HMD)、移动硬件或AR/VR应用程序的软件支持;还有类似Wikitude,制作AR移动应用的视觉软件。
开发
1)视频处理和引擎——图像拼接、处理和VR游戏引擎。像Unity这样的游戏引擎在游戏产业应用广泛,但越来越多地被应用于VR。图形公司OTOY帮助呈现数字内容,并吸引了来自包括HBO、迪士尼和AutoDesk的投资。
2)开发工具——帮助AR/VR应用程序开发和计算的工具,如FishBowlVR和Sixa。
3)相机和捕获——提供光场视频或度捕获技术的公司。例如,Lytro开发用于VR内容的光场捕获相机,EmergentVR专注于度视频捕获。
应用程序
1)游戏和内容生产——生产AR/VR应用程序和游戏的创业公司。CCPGames和andKiteLightning是其中的代表。
2)内容平台——投放内容(或编入索引)的平台和应用。Jaunt、Within和NextVR这一类别中资金状况较好的公司。此外,媒体公司在这方面相当活跃。
3)社交——用于共享用户体验平台,如SequoiaCapital和FirstRoundCapital最近投资的AgainstGravity。
4)广告——为新的计算平台提供广告的公司。像Vertebrae这样的创业公司正在努力将广告整合到VR生态系统中。
5)教育——将AR/VR应用于教育和学术的公司。例如,Nearpod使用移动VR在教室中进行交互式课程。
6)商业/零售——AR/VR正在进军房地产、家具和零售业。例如,InContext使用VR帮助用户查看楼层地图。
7)医疗——医疗训练和其他医疗应用。MindMaze是一家资金充足的公司,专注于神经科学的AR/VR。该公司开发HMD、运动捕捉和手势控制技术(用于AR和VR),目的是帮助中风、脊髓损伤和截肢患者进行康复。
8)重工业——专门针对工业和工厂服务的头戴设备和移动AR。
分发
1)商场和体验——如旨在带来多样化VR体验的DreamscapeImmersive,该公司获得了好莱坞的主流投资,如米高梅、21世纪福克斯、IMAX和斯皮尔伯格。此外还有专注于VR主题公园的Spaces等。
4.2.1.硬件
硬件包含的范围很广,手机终端需要芯片、摄像头、传感器;头戴式显示器(HMD)还需要显示镜片等。在此我们整理了A股与AR硬件产业链相关的上市公司。
总的来说,在硬件产业链上国内企业技术并不是十分成熟,关键领域核心技术弱于国外,这既证实了我们在AR硬件领域内实力依然有所欠缺,也意味着企业未来的发展空间巨大。
4.2.2.软件
应用开发公司更多的面向消费者。国外有著名的NianticLabs,它与任天堂合作开发了脍炙人口的AR游戏PokémonGo。国内专注AR应用开发的公司有新锐天地等,新锐天地的“ARschool”是“十二五”国家科技支撑计划年国家文化科技创新工程项目应用示范产品之一。
底层SDK方面,国内主要有亮风台的HiARSDK和视辰信息的EasyAR这两个SDK开发平台。两个平台都可以在Unity、Android、iOS、Windows等多个系统中支持识别功能、AR增强功能以及一些扩展功能。ARSDK一方面可以大大降低AR应用软件开发成本,同时还可以根据合作企业的特点更灵活地进行营销,定制不同的AR解决方案。
腾讯、苏宁、美图、在内的众多App正在使用HiARSDK创造精彩的AR内容;视辰信息也曾为中兴手机打造具有AR功能的照相机、与招商银行合作进行营销等等。
此外亮风台还拥有AR眼镜终端——HiARGlasses,它是全球首款实现端云无缝对接的AR眼镜,还获得了年的红点奖。其HiAROS集自研的图像识别,SLAM等底层算法技术的AR引擎和兼容性极强的安卓系统于一体。
在应用软件方面,幻镜AR浏览器是亮风台研发的一款业内领先的AR浏览器,搭载HiARSDK配合全新云识别算法,海量云端图片,瞬间识别。
4.3.VR产业链
VR产业链可以划分为与头显设备有关的硬件阵营和与内容有关的软件阵营。
4.3.1.硬件
VR产业链的硬件阵营包括VR设备零部件供应商和VR头显产品集成商:
VR设备零部件供应商:提供VR头显所需的显示屏、摄像头、传感器、芯片等设备,例如国外的三星、LG等显示面板巨头,高通、英伟达等芯片巨头,以及国内的京东方、华为等优势硬件企业。
VR头显产品集成商:通过整合VR设备零部件并打造控制系统,实现面向零售端的VR头显设备打造。VR头显在外接式头显领域形成Oculus、HTC两强争霸的格局,在移动式头显领域形成三星GearVR一家独大的局面,年市场占有率达到71%。在一体机领域,各大巨头正在齐头并进。与此同时,国内的各大VR厂商也在崛起,华为在年亚洲消费电子展上推出了自己的VR头显产品。
4.3.2.软件
VR产业链的软件阵营包括VR开发工具、VR平台和VR内容:
VR开发工具:是VR影音、游戏及各类行业应用实现的软件基础。VR开发工具包含由VR头显厂商提供的底层SDK,如OculusSDK、OpenVR,以及由成熟的游戏引擎开发商提供的上层高效开发工具,如UnityVR和UnrealVR等。
VR平台:是连接VR设备与VR内容的枢纽,同时也具备极强的VR用户导流平台效应。目前VR平台主要包括索尼的PlayStationStore,依托于索尼PS游戏生态发展;Oculus公司的OculusStore,依托于Oculus头显用户社区发展;Valve公司的SteamVR,依托于Steam游戏平台发展。
VR内容:VR内容千变万化,在ToC领域主要以中小开发者为主,在ToB领域主要以专业开发者为主。在ToC领域,VR内容仍处于逐步丰富的过程中,除少数游戏大厂提供的VR大作外,多数是社区中小爱好者开发的创意性应用。在ToB领域,VR与各类实际行业应用结合已取得不俗进展,在医疗、抢险训练等领域均有建树。
5.VR/AR的应用遍地开花
5.1.VR的行业应用
5.1.1.医疗+VR
VR正在渗透医疗行业的各个领域,目前比较成熟的应用主要包括虚拟医疗游戏、沉浸式虚拟环境治疗以及手术模拟训练。
虚拟医疗游戏:通过VR医疗游戏的方式实现缓解患者症状、解开心理障碍的目的。洛桑联邦理工学院领导的科学小组则使用VR技术来帮助截肢患者有效接受假肢,从而帮助患者避免掉感受到瘙痒,或是不自主的抽搐等“幻肢综合症”。美国杜克大学通过使用基于VR的模拟和脑波控制的机器人套装,帮助8名患有严重脊髓损伤的患者在经过长达12个月的训练计划后,设法恢复了对下半身的部分神经控制。
沉浸式虚拟环境治疗:为患者创建特定环境的模拟,减轻医生的工作量,提供能够对症下药的治疗氛围。沉浸式虚拟环境治疗已在抑郁症预防领域取得一定进展。美国多所高校和研究院所研究人员展开合作,开发模拟了多个可能会导致抑郁症的情况,帮助青少年了解自我,加强预防。
手术模拟训练:VR技术可用于帮助医生进行诊断或提供医学生的教学和培训。外科医生的培养需要大量手术实践训练,而实际的临床机会却有限,VR恰恰是帮助外科医生进行实践的最佳工具。目前,北医院已经采用VR技术帮助培训医生进行心脏手术。
5.1.2.抢险训练+VR
VR在抢险训练领域得到了广泛的应用。在强核辐射、强化学毒物蔓延的环境下,抢险类工作存在高度危险性,因而灾害环境下的抢险队员训练变得尤为重要。传统的抢险训练往往通过在物理相似的这是环境下实现,难以达到高危抢险环境真实的训练标准。利用VR设备搭建的模拟环境将更加有助于抢险队员的实战训练。目前,国内外科研院所已提供火灾、氢气爆炸、核泄漏等应用场景下的VR抢险训练系统。
5.1.3.游戏+VR
游戏是VR在ToC领域最坚实的应用场景之一,也是未来VR大规模落地潜力最大的驱动因素。尽管VR在近两年的发展逐步放缓,VR相关厂商始终在每年发布几款高质量游戏大作。仅在E3游戏展上,13款VR游戏即公开面世,其中包括《上古卷轴:刀锋》、《德军总部:网络骑兵》等。
5.1.4.视频直播+VR
视频直播是VR在ToC领域推广的又一有力方向。VR视频直播能够是观众真正体验到三维化身临其境的感受,目前在各类体育赛事中已得到广泛应用。VR直播主要包括现场全景拍摄、拼接、编码推流、传输分发和终端播放5大环节,鉴于国内直播市场的持续火爆,国内各中小创公司持续投入,VR直播有望成为我国VR进一步推广的爆发点。
5.2.AR的行业应用
5.2.1.游戏+AR:
Newzoo公司的数据显示:年全球游戏业收入规模有望达到亿美元,将比年增长13.3%。移动终端游戏是最大的部分,收入可达亿美元,占据游戏市场的51%。
到年,Newzoo公司预计全球游戏市场将扩张到亿美元,其中手游收入将占全球游戏市场总规模的40%。手游相对份额的增长源自手游对PC端游戏、页游、电视游戏、平板游戏的挤压。
AR应用中,游戏将是首个发展起来的消费者市场,手游未来的强势表现将有利于AR游戏的繁荣。AR为游戏玩家提供更强大的交互方式,玩家可以不受线缆、主机的限制,在真实的环境中游戏,与环境交互将是未来AR游戏发展的方向。
5.2.2.教育+AR
AR技术有潜力成为新一代教学工具,教师可以使用AR产品与学生产生更多教学互动,提高教学效率,甚至有可能会给教学方式带来一场革命。
根据艾瑞咨询测算,全年中国互联网教育市场交易规模达.6亿元人民币,同比增长25.7%。在-期间,国家财政性教育经费增长高达.38%,年均复合增长率9.70%。与此同时,我国财政性教育经费占GDP比重不断增长,在年占比达4.11%
在AR教育方面,谷歌在年推出虚拟现实教学工具GoogleExpeditionsPioneerProgram,并在年在其中加入AR功能“ExpeditionsAR”。年,谷歌逐步丰富Expeditions,计划讲题打造为VR/AR一体化教育平台,从而将AR技术普及到全球的课堂。微软的AR头盔HoloLens已经和多家教育机构合作,正将AR应用于大学、医学教育培训等教育场景。苹果推出ARkit开发平台,一跃成为最大的AR平台,预测未来AR内容企业会利用ARkit开发各种AR教育内容。
在具体应用软件方面,爱尔兰3D4Medical公司推出的医学教学的AR应用ProjectEsper,它可以将人体的构造以3D的形式呈现在现实环境中,主要应用于医学解剖教学。它用6个人体模型的大数据来为医学生和教师提供高度详细和准确的解剖模型,医学生可以更加直观地看到人体模型立体结构。
5.2.3.工业+AR
AR可以应用于以下工业领域:辅助工业制造、辅助工业维修、辅助工业设计。
AR一词最早就诞生于辅助工业制造。年波音工程师为了解决线束难以安装的问题使用了一种抬头透视装臵,它依据头部摄像头采集的场景生成数字CAD图,自动从完整的安装指导书提取匹配当前场景的部分,生成当前操作的安装指导虚拟图像,叠加到真实视野场景里。“AugmentedReality”这个英文词组由此诞生。20多年后波音还基于谷歌眼镜开发了满足线束装配的AR应用软件。
年世界名牌电梯厂商蒂森克虏伯公司与微软合作,为其旗下2名技术工人配备Hololens眼镜,以便能够在安装、检修电梯设备的时候获得更及时、更便捷的技术支持。蒂森克虏伯公司表示,通过HoloLens,仅需20分钟就能解决以往需要2个小时才能解决的问题,相应节省的成本完全可以抵消购买HoloLens的成本。
在工业设计方面,AR可以突破2D平面,辅助在三维空间中进行设计创作;同时可以帮助设计师评估在不同的应用环境中设计方案的表现。
5.2.4.电子商务+AR:
随着AR技术应用的不断完善和推广,AR技术在各领域的应用为人们带来了不一样的体验,在电商行业亦是如此。
年11月3日,亚马逊联合苹果商城,上线了基于ARKit的ARView的购物功能,它的目的是帮助客户做出更好的购物决策。顾客可以通过ARView将亚马逊网站中的商品覆盖在现实空间上,将其移动并旋转,在实时相机视图中获得度视图,确保商品符合用户喜欢的风格。
在11月30日,天猫与Nike合作,用户通过ARBUY+可在AR虚拟与现实互动中了解NikeAirForce的经典历史。12月阿里又与星巴克合作,通过AR顾客可以探索星巴克“从一颗咖啡生豆到一杯香醇咖啡”的故事。
淘宝+天猫有全球最丰富的商品体系,也有海量的用户与商品的浏览、评价等互动大数据,而这些数据都可以通过ARBUY+整合到线上+线下的场景中,成为新零售的重要的技术创新互动方式,助力品牌商更高效的向新零售转型。AR零售商业化的成功,无疑会加大阿里在AR方向上的战略投入。
5.2.5.医疗+AR
在医疗领域,AR主要可以应用于以下方面:帮助失明和视障人士获得独立性、三维影响建模、用于儿童的辅助治疗等。
帮助失明或视障人士“重见天日”,一般有两种方法。第一种是绕过视网膜直接向大脑传送图像的神经信号。典型产品是SecondSight公司发布的ArgusIIRetinalProsthesis,通过佩戴装有摄像头的眼镜将视频信号转化为电流脉冲直接传输至眼球的电极,电极再去刺激特定的神经细胞,患者可以产生视觉感。第二种方法是以耳代眼。典型的产品是OrCam,它通过摄像头识别周围环境,再将摄像头拍摄到的视觉信息以音频方式传输到用户耳中。
OrCam产品价格相当于中档助听器,售价为2美元,发达国家中产阶级大多可以接受。据OrCam数据,美国有万成人受先天或后天引起的视障困扰,全球大约有3.2亿成人患有严重的视力受损,其中有万人属于中产阶级。
AR技术通过术前三维影像重建,能够克服术者腔镜视野下手术操作的诸多不便,为术者提供更准确的解剖信息,故近年来在医疗领域发展迅速。医院曾借助增强现实技术,为患者完成了胸壁肿瘤切除加胸壁重建手术。另外在整容方面应用前景广阔。ILLUSIO公司使用AR技术捕捉病人躯体曲线的影像,之后将不同的整容方案模拟影像投射、叠加在整容者身上,以3D影像呈现术后可能的物理变化,让整容者可以直接观看手术前后的改变。
AR也可以用在儿童辅助治疗上。密歇根大学C.S.Mott医院就一直在用AR技术帮助孩子们在术前冷静下来,并在术后辅助康复。创业公司ALTality致力于增强现实疗法应用的开发,其开发的SpellBound可以将儿童的书籍或卡片转换为3D互动体验。使用SpellBound时,将移动设备放在其中一个图书或卡片上,然后用动画、音乐和声音看到以3D形式出现的人物,动物和场景。互动是在认证的儿童生活专家和康复工程师的帮助下设计的,注意力分散治疗和运动技能康复方面效果明显。
5.3.未来VR/AR的应用场景展望
VR/AR在应用领域的渗透绝不会仅仅局限于以上领域。根据腾讯科技预测,VR/AR在房地产、零售、军事等领域同样存在巨大的潜在市场,预计年总体规模将达到亿美元,年将进一步增长到亿美元。
(报告观点属于原作者,仅供参考。报告来源:安信证券)
如需报告原文档请登录。