Oculus基于英伟达光流SDK推出立体透视Passthrough+
原标题:Oculus基于英伟达光流SDK推出立体透视Passthrough+
Oculus正致力于为消费者增强现实与消费者虚拟现实铺平道路,并且定义所需的组件,从而帮助开发者和用户在VR中获得最为愉快,最为身临其境的体验。今天Oculus介绍了最近发布的技术:基于英伟达图灵Optical Flow SDK的Passthrough+。
1. Passthrough+
Passthrough +是Oculus Rift S中的一项全新功能,它能够以正确的立体透视模式在虚拟世界提供前置摄像头视图。传统的VR透视视图质量有限,这是因为摄像头往往不是位于玩家的眼前。这是技术方面的限制,而且将摄像头设置于用户眼前是不切实际的方案。但我们可以接近这一点。Passthrough +是投影摄像头视图的最先进方法,令画面看起来就像是摄像头成为了用户的双眼。这项功能可以减少深度差异并提高舒适度。尽管摄像头的帧速率较低,但画面感觉自然,而且帧率正常。这因为在比较从不同视角同时拍摄的两个帧时,Oculus的系统可以恢复视差信息。借助基于像素测量所获取的差异信息,再结合摄像头位置,Oculus可以从图像中推断出实际的距离值。通过利用异步空间扭曲技术,Passthrough +可以实时地进行差异估计。
2. 异步空间扭曲2.0
Oculus最近发布了异步空间扭曲2.0。自2016年发布1.0版本以来,它已然成为VR二次投影的行业标准。ASW能够降低用户设备的性能要求和开发者的优化要求。它可以通过光流来推断场景内的运动,并实现进一步的外推。
这意味着应用程序不再受限于VR显示屏的帧率,系统可以开始合成中间帧并予以补充。下面是《Lucky’s Tale》的示例,其中场景应用了运动矢量。
光流这种计算机视觉技术主要用于识别帧到帧的变化。这可以是电影,其中系统追踪运动以跟随对象或整个场景。这同时可以是通过不同摄像头拍摄的两张图像。在更基本的层面上,这种图块匹配和追踪是现代视频编码的核心组件。你可以将光流类比成视频编码中的基于图块匹配的运动估计,但两者的目标不尽相同。在视频编码中,图块匹配的目标不是在场景中寻找运动(尽管这是一个有趣的意外结果)。对于视频编码,其目标是定位类似的图案,并利用相关性进行压缩。换句话说,视频编码器将寻找能够为最精简的数据流产生最佳输出的最佳结果。尽管这通常是场景的流动,但没有任何任何保证,或者说原本就不是为了这个目标。光流涉及在场景中寻找对象的更自然运动。对于压缩,它将是非常次优的目标,只要对象本身能够整体移动,并且可以路径追踪它们的真实世界运动即可。
到目前为止,利用视频编码器一直是ASW的基础。将视频编码器用于ASW的主要优点是,它与GPU的图形渲染并行运行。这意味着当系统尝试生成合成帧时,渲染性能落后的应用程序不会受到负面影响。相反,应用程序可以拥有以前的所有资源,以及预测运动的能力。但主要缺点是合成帧中的预测不完全准确。
3. 光流
英伟达为估算场景中的光流开发了一种更快、更精确的SDK。这家公司于今年早些时候发布了他们的Optical Flow SDK,并用于取代NVENC视频编码器原来单纯的运动估算模式。英伟达的Optical Flow SDK可用于图灵显卡,能够将宏块分辨率提高四倍,优化运动矢量分辨率,并且通过强度变化实现对象跟随,同时强调光流而非压缩比。
结果是终点误差比传统的视频编码运动矢量平均少一半。定性结果同样令人印象深刻。通过ASW,系统可以更可靠地追踪近场对象。手电筒幻觉的出现频率更低,而增加的精度意味着可以更准确地追踪单个颗粒和对象的运动。
4. 基于差异的深度信息
对于Passthrough +,这意味着可以增加投影世界的立体分辨率,同时能够正确追踪和跟随对象。当面对低对比度或过度曝光的区域时,英伟达的Optical Flow仍然可以推断出有意义的视差值,在估计场景深度时防止视图漏洞或丢失数据。以下这个视频对比了视频编码器的运动矢量和英伟达的Optical Flow。插入的窗口是场景中的估计深度,较暗的区域是更后面的位置。你可以在深度缓冲区中看到Optical Flow的优势,其中深度近似值要更加精确。
5. 即将推出
尽管ASW和Passthrough +可以支持现有的最低规格和推荐规格硬件,但图灵硬件可以通过Optical Flow SDK提供最佳的运动估算。作为用户,你可以为Oculus运行时提供图灵硬件和最新的英伟达驱动程序之外。包含所述集成的Oculus运行时将于2019年6月的1.38版本中与大家见面。
6. 未来的工作
Oculus表示,这并非ASW和光流研究工作的结束。如上所述,光流不仅只可以追踪运动,同时能够说明场景的空间组成。我们可以利用光流获取大量的信息,而传统的视频编码器方法能够出色地做到所述的任何一点。Optical Flow SDK带来了大量的机遇和研究方向,而Oculus将继续进一步的探索挖掘。
来源:映维网
相关文章
-
营销观察|小红书、李佳琦、B站和口红机,我们试着找出国货美妆崛起背后的秘密
-
2022年春分吹醒了区块链广告策划公司的崛起热潮
-
“赌命狂奔”,快手值吗?
-
小米Q3财报坐实"收购"美图传闻 收购锤子还远吗?
-
呆萝卜们的教训
-
逆风局大翻盘,182岁的宝洁如何在中国浴火重生?|A100计划
-
疫情让营销回到基本面,2020年这7条法则你要记住
-
OPPO与爱立信签署专利许可协议
-
波点音乐日活翻番,新一代音乐APP即将崛起?
-
一加明年将在欧洲推出首款5G手机
-
法院公布中国第一起“流量劫持”被判刑案件
-
创投观察|无品牌不等于低质量,DTC模式才是出口电商的未来
-
怎么将手机蓝牙设置为所有人可见
-
最前线丨阿里巴巴拟46.6亿元入股申通快递,将“三通”全部招致麾下
-
就在今天,支付宝突然宣布这个消息!10亿支付宝用户都沸腾了!
-
推荐一个影视爱好者最值得尝试的副业
-
微博2018年净利润5.718亿美元,同比增长62%
-
人工智能代替软件测试工作?还差得远!
-
马斯克:Autopilot将与3月18日恢复原价,此前降价是个错误
-
教育机构小程序源码有什么优势?
-
又一次!华为遭美国刑事调查,被指涉嫌窃取商业机密
-
社交产品系列:社区类产品迭代设计
-
2022国家电网招聘:计算机、财会类
-
2019年“中国第二大电商”争夺战,京东和拼多多谁会笑到最后?
-
案例分析|腾讯微云文件图标的设计探索
-
印刷油墨消泡剂,让你来到五彩无泡的世界
-
并发程序三大要素
-
第四届进博会|雅培携手国药集团打造智能血糖管理体系
-
观察+|微信没那么克制了,朋友圈商业化是腾讯必须走的棋