Apple Engine

Apple, iPhone, iOS, その周辺のことについて

2018年からの XR (AR/MR/VR) について考える

XR とは Augmented Reality (AR)、Mixed Reality (MR)、Virtual Reality (VR) などの総称である。

ざっくりまとめるとこんな感じ

名称 対応技術
Augmented Reality (AR) ARKit(iOS), ARCore(Android), Vufolia, その他
Mixed Reality (MR) Microsoft HoloLens, Windows Mixed Reality, その他
Virtual Reality (VR) Oculus Rift, HTC Vive, Gear VR, Google VR (Daydream, Cardboard), その他

 

去年からの流れ

VR がいろいろなところで見られるようになったが、やはり機材が高いため体験するためのコストが高く、一般的には VR ZONE などのアトラクション施設や展示会、特定の業務などで使用されるケースがほとんどだった。
また、初期から行なっているインディー系の人たちの VR への熱意は素晴らしい。
ただ、コンテンツのクオリティが上がってきており、制作コストの増加に伴いそれに見合う収益が出るかなど厳しい局面に立たされるのではないかと予想される。

AR に関してはスマートフォンを主軸としたものになるだろうけど、現状では始まったばかりな感じ。
Android の ARCore はまだプレビューで対応機種が少なく、 iOS の ARKit に関しては現状では機能が少なすぎて AR を活かしきるアプリをつくることが難しい。
これら2つに関しては多分今年アップデートされると思われるのでそれを期待したい。

 

今後来る流れ

VR、MR の方は体験できる人が限られるので、ひとまず今回はスマートフォンの AR 方を主軸として考えていく。

 

3DCG の表現や画質の向上

SoC などチップの向上により、更なる表現の向上が可能になると思われる。
また、以下の動画ではリアルタイムでグローバルイルミネーションが実装されている。
NVIDIA の GTX850M で 50fps とのことなので、次期 iPad, iPhone では普通に動かすことが可能な感はある。

 

www.youtube.com

- グローバルイルミネーションの雑な説明 -
現実世界では物体が色を持っているわけではなく、光から特定の色を反射させている。
りんごの赤以外を吸収して赤色を反射しているため、白い紙の上に置くと紙との接地面が若干赤くなる
この光の特性をコンピューターで計算するとかなり時間がかかるためリアルタイムでは難しかった

 

センサーの強化

現状、モバイルではどうなるかわからないが Kinect の強化版が開発されている。
個人的には人間の目を模倣するべきだと思っており SLAM や2眼カメラの技術の進化を期待しているが、モバイル端末に Kinect のようなものが載っても面白い。
Google Tango の後継機が出ないので今後どうなるかは不明だが。

 

shiropen.com

shiropen.com

 

触覚センサーなどの外部センサーやフィードバック

身体的に体感するため、本体とは別デバイスがいくつか登場すると思われる。
現状でも、ARKit と Apple Watch の組み合わせで Apple Watch 側の加速度センサーからの手の動きや心拍計からデータは取れそうではある。

 

shiropen.com

shiropen.com

 

また、現在日本を開発拠点にしているベンチャー VAQSO VR が匂いの出るセンサーを開発している。
Bluetooth で接続され、匂いは1日2時間の使用で1ヶ月使えるとのこと

vaqso.com

 

画像生成

カメラから得られた情報から擬似的に画像や映像を生成することができるのではないかと思っている。
良い例は NVIDIA での画像生成。

shiropen.com

 

画像合成モデルを生成できるのであれば、 解像度に依存しない画像の生成も行うことができるのではないかと思われる。

  

画像認識からの空間共有

画像とセンサー類を使用して位置を合わせることができると思われるので、複数人で空間を共有できると思われる。

Bloomberg 曰く、ARKit 2.0 ではこのような機能が付くのではないか、とのこと。

 

計算や機械学習を使用したモデリングやパターンから生成するプローシージャルモデリング

ゲームでのオープンフィールドなど多量に派生しなければいけないものなど、 ある程度自動的に生成されないと厳しいだろう。 また、ランダムで生成される商品など新しい魅力を提示できるかもしれない。

shiropen.com

 

物体や現実空間への情報提示

Vuforia SDK 4.0 などで現実空間の3次元オブジェクトをマカーにして表示している。

www.youtube.com

 

また、Google Lens や ARKit と Core Location など、 位置情報と周囲の情報の連携が今後強化されるのではないかと思われる。

www.youtube.com

 

AR / VR 間でのスイッチ

スマートフォンが Web やネットワークをつなぐ架け橋となるのなら、 AR は外界とをつなぐものである。

現実空間から仮想空間へモノを渡したり、仮想空間から現実空間へモノを渡したりなど、
もし、外界と仮想空間が行き来できたとしたら面白いだろう。

 

その他

VR に関しては視線を遮ってしまうため、以下のような事故が起こる。 VR でも外界を認識して危険を知らせる必要があるようだ。

www.moguravr.com