搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 谷歌开发者 > AR/VR/MR,Android开发者可以做些什么?

AR/VR/MR,Android开发者可以做些什么?

谷歌开发者 2017-10-31


AR/VR/MR,Android开发者可以做些什么?


文| 谷歌开发技术专家 (GDE) 杨波 (Alpha)


随着 ASUS 在 CES2017 上宣布了全球第一款同时具有 Tango 和 Daydream 两种能力的 ZenFone AR,终于使得 AR/VR/MR 这些近来全球开发圈内超级热门的词汇可以让我们国内的 Android 开发者直接利用手中的 Android Studio 和方便入手的 Android 设备来进行虚拟开发的探索了!



 三种交互

AR

增强现实,人眼接受到的光线包括了现实的光和 AR 设备屏幕发出的光,通过人眼的处理能力进行合成,增强现实感。


Phab 2 Pro 就是一款 AR 设备,可以拍摄可爱的小猫或小狗跟小宝宝一起玩的照片而不用担心安全,因为小动物都是虚拟的。

AR/VR/MR,Android开发者可以做些什么?


VR

虚拟现在,使用头盔或 Cardboard 完全遮挡住现实的光线,人眼只接受 VR 设备发出的光,跟现实完全隔离。


Oculus Rift, PlayStation VR, Samsung Gear VR 以及 HTC Vive 都属于此类设备。

AR/VR/MR,Android开发者可以做些什么?


MR

混合现实,MR 设备自身具有三维坐标感知能力,随着人的移动,虚拟物体的显示也随着变化。


Hololens 属于 MR 设备。

AR/VR/MR,Android开发者可以做些什么?



 两大技术

Tango (屠龙)

正如 2000 年时 Sumsung 在 SCH-V200 手机上上添加了摄像头,手机开始了睁眼看世界的能力,现在 Tango 摄像头为手机添加了真实三维世界的感知能力。

AR/VR/MR,Android开发者可以做些什么?


简单的讲,Tango 具有以下三大功能:

  • Motion tracking: 我在哪里,空间位置

  • Area learning: 前边有什么,看到什么

  • Depth perception: 前边有多远

AR/VR/MR,Android开发者可以做些什么?


不论是使用 ToF (Time of Flight),通过传感器发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息。

AR/VR/MR,Android开发者可以做些什么?

还是结构光计算,通过向检测空间内投射经过编码的激光光斑阵列,对空间进行标定并辅助计算三维空间位置。

AR/VR/MR,Android开发者可以做些什么?


所得到的如下图中的 cloud point 数据,可以看到此时共采集到了 12464 个带有 XYZ 三维坐标的点。

AR/VR/MR,Android开发者可以做些什么?


Daydream (倚天)

目的是要让用户得到最好的虚拟体验,通过定义了一组最低的硬件运行效果标准以及为开发者提供易用的 Daydream API,消除了导致用户眩晕的画面延迟,做到最高性价比的虚拟体验。

AR/VR/MR,Android开发者可以做些什么?



 硬件

Phab 2 Pro

全球第一款消费级的 Tango 设备,使用骁龙 652,4G 内存和 64G 存储,重要的是国内版本和国外版本都具有完整的 Tango 功能。

Android 感知三维世界的 ”眼睛”– Tango 组件:

AR/VR/MR,Android开发者可以做些什么?

AR/VR/MR,Android开发者可以做些什么?


典型的应用场景:

AR/VR/MR,Android开发者可以做些什么?


ZenFone AR

全球第一款消费级的 Tango+Daydream 设备,使用骁龙 821 来保证用户得到 Daydream 体验,第一款 Daydream 手机 Google Pixel 和 Asus Zenphone 3 也使用的是骁龙 821。由于 Daydream Viewer 现在兼容的手机尺寸是 5.0 到 5.7 寸屏,那么 ZenFone AR 搭配 Android 7 (Nougat) 的 5.7 寸屏用起来应当是相当顺手的。

AR/VR/MR,Android开发者可以做些什么?



 Tango 开发

首先,你需要一款 Tango 设备,因为还没有可以模拟 Tango 相关摄像头硬件的模拟器,上节中 Phab 2 Pro 是很不错的开发机!


现在以 Java API 开发为例来进入 Tango App 的开发,如果你熟悉 Unity 3D 的开发,就直接用 Unity 3D 的 package,因为 80% 的 Tango App 都是用 Unity 3D 开发的,当然最多的就是游戏啦!


环境准备

1. Android Studio 2.2

AR/VR/MR,Android开发者可以做些什么?


2. USB debugging

Phab 2 Pro 开启 Developer option 中的 USB debugging,没有 Developer option,那你肯定是 Android 开发新手,在 Settings->About phone 下连续点击 7 次 Build number 就可以召唤出 Developer option 了。

AR/VR/MR,Android开发者可以做些什么?


获取示例代码

git clone https://github.com/googlesamples/tango-examples-java.git

AR/VR/MR,Android开发者可以做些什么?


打开 Java Cloud point example

AR/VR/MR,Android开发者可以做些什么?


直接 control + R

AR/VR/MR,Android开发者可以做些什么?

选择 Phab 2 Pro

AR/VR/MR,Android开发者可以做些什么?


如果出现以下错误:

1

2

Error:Execution failed for task ':app:transformNative_libsWithStripDebugSymbolForDebug'.

> java.lang.NullPointerException (no error message)


只需要将 compileSdkVersion 和 targetSdkVersion 的版本号跟 buildToolsVersion 保持一致。

AR/VR/MR,Android开发者可以做些什么?


安装成功

AR/VR/MR,Android开发者可以做些什么?

在手机上可以看到 Cloud point,实时的总点数和点的平均深度。

AR/VR/MR,Android开发者可以做些什么?


更多

https://github.com/lvonasek/tango


利用C API对采集到的Point cloud进行处理,实现三维重建的APP。


近似的扫描效果:

AR/VR/MR,Android开发者可以做些什么?



 Daydream 开发

再来重温下 Daydream 的目的,可以简单看到是 Cardboard 的升级版本,但却定义了一个可以满足用户体验的最低硬件标准并开发了一整套API来让开发者可以方便的开发出高质量体验的应用。


同样的 Daydream App 需要一个 Daydream ready 的手机来运行或可以运行 Cardboard apps 且大于 Android 4.4(kitkat) 的手机,这里同样使用 Phab 2 Pro。


使用 Daydream 主要用来完成以下开发任务:

  • Lens distortion correction.

  • Spatial audio.

  • Head tracking.

  • 3D calibration.

  • Side-by-side rendering.

  • Stereo geometry configuration.

  • User input event handling.


获取代码

git clone https://github.com/googlevr/gvr-android-sdk.git

AR/VR/MR,Android开发者可以做些什么?


Android Studio

打开 gvr-android-sdk

AR/VR/MR,Android开发者可以做些什么?

运行( control + R)sample-sdk-treasurehunt

AR/VR/MR,Android开发者可以做些什么?

选择 Phab 2 Pro

AR/VR/MR,Android开发者可以做些什么?


在手机上配合 Cardboard 或 Daydream Viewer (当然国内的各种盒子也是可以的,由于 Daydream Viewer 自由没有添加计算能力,只是在操作手柄上加了外置九轴惯性测量单元来辅助精确追踪)



 总结

使用 ZenFone AR 和 Daydream Viewer,预计总价不会超过人民币 5000 元,就可以不用拖长长的连接线,也不用再专门配备一个高性能主机,在家里完全自由的沉浸在Google Street View, YouTube, Netflix, Hulu, HBO 以及诸如 Fantastic Beasts , Where to Find Them, Need for Speed 和 Gunjack 2 这些 VR 游戏中,不是安静的坐着,而是 360 度的自由视角。


完美 VR 的硬件和 API 已经准备好了,着手自己的开发计划吧!


作者上期回顾:




版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《AR/VR/MR,Android开发者可以做些什么?》的版权归原作者「谷歌开发者」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注谷歌开发者微信公众号

谷歌开发者微信公众号:Google_Developers

谷歌开发者

手机扫描上方二维码即可关注谷歌开发者微信公众号

谷歌开发者最新文章

精品公众号随机推荐