2018年からの XR (AR/MR/VR) について考える

XR とは Augmented Reality (AR)、Mixed Reality (MR)、Virtual Reality (VR) などの総称である。

ざっくりまとめるとこんな感じ

名称	対応技術
Augmented Reality (AR)	ARKit(iOS), ARCore(Android), Vufolia, その他
Mixed Reality (MR)	Microsoft HoloLens, Windows Mixed Reality, その他
Virtual Reality (VR)	Oculus Rift, HTC Vive, Gear VR, Google VR　(Daydream, Cardboard), その他

去年からの流れ

VR がいろいろなところで見られるようになったが、やはり機材が高いため体験するためのコストが高く、一般的には VR ZONE などのアトラクション施設や展示会、特定の業務などで使用されるケースがほとんどだった。
また、初期から行なっているインディー系の人たちの VR への熱意は素晴らしい。
ただ、コンテンツのクオリティが上がってきており、制作コストの増加に伴いそれに見合う収益が出るかなど厳しい局面に立たされるのではないかと予想される。

AR に関してはスマートフォンを主軸としたものになるだろうけど、現状では始まったばかりな感じ。
Android の ARCore はまだプレビューで対応機種が少なく、 iOS の ARKit に関しては現状では機能が少なすぎて AR を活かしきるアプリをつくることが難しい。
これら2つに関しては多分今年アップデートされると思われるのでそれを期待したい。

今後来る流れ

VR、MR の方は体験できる人が限られるので、ひとまず今回はスマートフォンの AR 方を主軸として考えていく。

3DCG の表現や画質の向上

SoC などチップの向上により、更なる表現の向上が可能になると思われる。
また、以下の動画ではリアルタイムでグローバルイルミネーションが実装されている。
NVIDIA の GTX850M で 50fps とのことなので、次期 iPad, iPhone では普通に動かすことが可能な感はある。

www.youtube.com

-　グローバルイルミネーションの雑な説明　-
現実世界では物体が色を持っているわけではなく、光から特定の色を反射させている。
りんごの赤以外を吸収して赤色を反射しているため、白い紙の上に置くと紙との接地面が若干赤くなる
この光の特性をコンピューターで計算するとかなり時間がかかるためリアルタイムでは難しかった

センサーの強化

現状、モバイルではどうなるかわからないが Kinect の強化版が開発されている。
個人的には人間の目を模倣するべきだと思っており SLAM や2眼カメラの技術の進化を期待しているが、モバイル端末に Kinect のようなものが載っても面白い。
Google Tango の後継機が出ないので今後どうなるかは不明だが。

shiropen.com

触覚センサーなどの外部センサーやフィードバック

身体的に体感するため、本体とは別デバイスがいくつか登場すると思われる。
現状でも、ARKit と Apple Watch の組み合わせで Apple Watch 側の加速度センサーからの手の動きや心拍計からデータは取れそうではある。

shiropen.com

また、現在日本を開発拠点にしているベンチャー VAQSO VR が匂いの出るセンサーを開発している。
Bluetooth で接続され、匂いは1日2時間の使用で1ヶ月使えるとのこと

vaqso.com

画像生成

カメラから得られた情報から擬似的に画像や映像を生成することができるのではないかと思っている。
良い例は NVIDIA での画像生成。

shiropen.com

画像合成モデルを生成できるのであれば、解像度に依存しない画像の生成も行うことができるのではないかと思われる。

画像認識からの空間共有

画像とセンサー類を使用して位置を合わせることができると思われるので、複数人で空間を共有できると思われる。

Bloomberg 曰く、ARKit 2.0 ではこのような機能が付くのではないか、とのこと。

計算や機械学習を使用したモデリングやパターンから生成するプローシージャルモデリング

ゲームでのオープンフィールドなど多量に派生しなければいけないものなど、ある程度自動的に生成されないと厳しいだろう。また、ランダムで生成される商品など新しい魅力を提示できるかもしれない。

#houdini でProcedural Hard Surface Modeling
相互干渉す形状生成するパーツのデータ構造が全然思いつかないので、エアインテークの生成。
うーんガンダム。
この配置は偉大だ。場所と大きさは問題ないかな。
がしかし、凸包じゃないポリゴンのフィン生成に悩む。次から次へと困難が…。 pic.twitter.com/fnI8rPr3QV
— Akira Saito (@a_saito) 2017年12月10日