Apple と AR
Apple は Kinect の技術の元となった Prime Sense、
スターウォーズなどでも使用されたカメラから表情をキャプチャする Faceshift などを買収しており、
仮想現実に関しては何らかの開発をしていると思われる。
現に今年は人の表情から感情を解析する AI 技術を持つ Emotient、
iOS で AR を実現する Metaio、
Google の AR「Project Tango」に協力してきた FlyBy Media などを買収している。
VR のエキスパート Doug Bowman、
Magic Leap の Zeyu Li、
Oculus の Yury Petrov が働いており、
Microsoft HoloLens の開発者や、写真を撮ったと被写界深度を変更できる Lytro の開発者を招き入れているという話も出ている。
Apple CEO の Tim Cook は
「VRよりARに大きな可能性を感じる。これは本当に多くの商品がクールなものになる」
「没入型を体験させるVRよりも、日常的に利用するARに可能性を感じる。人々はVRに興味があるが、我々はARに力を注ぎこみたい」
などと語っており、AR 関連の開発に期待が抱けるだろう。
また、Kinect の技術を使ったものてしては、iPhone 利用した HMD デバイスが登場した。
Bridge - Mixed Reality and Positional Tracking VR Headset for iPhone and iOS
Virtul Reality の HMD だが、Lightning からの専用センサと
iPhone の iSight カメラを使用し HoloLens の様な Mixed Reality を実現する。
（どうやら HoloLens と異なりリアルタイムでは環境認識できないらしい。HoloLens のほうはドロネー三角形分割なのでかなり雑）
現行は開発版で3月には製品版がリリースされるとのこと。 センサは以前の商品を使いまわしているので、確実に世には出るだろう。
もし Apple が AR 機器を出すのなら
Occulus Rift、Vive、HoroLens のような形ではなく、もう少しつけるハードルをなくすデザインとなるだろう。
多分、Apple Watch の様な iPhone のデバイスからデータを送る形になると予想されるので、機能は絞られると思われる。
なぜ、新しい MacBook Pro のトラックパッドは大きいのか
広くなって便利になると思われるが、どう考えても、手の可動が増えるので操作が辛くなるはず。
多分、問題はそこではなく、より多くの移動距離を稼ぐためだ。
旧 MacBook Pro でファイルなどをホールドしてドラッグする際、
トラックパッドのスペースが足りなくて目的の場所に行く前に、
トラックパッドの隅まで行ってしまったことはないだろうか。
Mac では隅まで行ってしまった場合、素早く指を上げ、
違う部分をタップして再度移動させる必要があるので、かなり不便だ。
今回のトラックパッドはゆっくり動かしても端まで届くため、 若干、緩和されると思われる。
ちなみ、Surface Pro / Book などはトラックパッド端に行いくと その慣性を保ちながらゆっくり移動し指を放すと止まる。
VR/AR/MR 時代のユーザーインターフェイス (UI)
なんとなく思考を整理しようと思って書き留めてみる。
3次元空間と操作
3次元を扱う HMD ディスプレイは既存の 2D のディスプレイベースと異なり、 XYZ 軸上にウインドウや何らかのオブジェクトを置くことなる。 一見、空間軸が増えることによってできること増え便利になると思われるのだが、 残念ながら不便なことも増えるのである。
空間上にオブジェクトが置かれるということはそれを操作することとなるが、 その操作はどう行うのか。
大概の場合は手を使うこととなるだろう。 視界に広がるオブジェクトを手で操作するわけだ。 だが、UI の界隈でよく言われる問題が発生する。 ゴリラ アーム シンドロームといわれるやつだ。
長時間中空のもの操作すると、腕に痛みを感じ、痙攣、そして大きくなっている感覚を感じる。 そのためか姿勢がゴリラのようになる。 経験者はゴリラのようになったように思えるらしい。 所謂、手根管症候群の症状の表れだ。
その為、手を使って行う行為を最小限にして定期的に休ませる必要がある。
要するに手を動かさずして操作できる UI が必要とされている。
Vive コントローラ、Oculus Touch、Microsoft HoloLens
Vive コントローラ、Oculus Touch などのデバイスはオブジェクトの移動や掴むなどの通常の UI 決定に当たる操作にフォーカスされており、 共通でハンドトラッキング、システムボタン、メニューボタンなどが用意されており、
Vive はそれに加え、親指で操作するトラックパッド、人差し指で引くトリガー、握ったときに押すグリップボタン、 Oculus Touch は片方に2つのボタン、クリックできるスティック、十字キー、トリガー、グリップボタンがある。
Microsoft HoloLens は視線（首の動きのトラッキング）でオブジェクトを選択する。 眉間あたりにハンドジェスチャーを認識するカメラがあり、ジェスチャーで決定したり、メニューを出したりする。 標準的な操作は声で操作できるヴォイスコマンドが用意されている。 もちろん、アプリ開発者は機能にあわせて独自のヴォイスコマンドを設定できる。
Vive コントローラ、Oculus Touch はゴリラ アーム 的な問題があっても手で操作すること良しとして、 仮想空間の没入感を最大限に引き上げるため、仮想のオブジェクトを掴む、ものを実感することを主眼に置いているようだ。 逆に Microsoft HoloLens 腕の操作を最低限にして疲れを感じさせにくくしている。
どちらが良いとは言えないが、互いのアプローチが異なっていて面白い。
（Microsoft HoloLens はスタンドアローンで動くためコントローラをあまり使わせたくないのかもしれない）
3次元空間の UI について
奥行きがある3次元の仮想空間ということは、オブジェクトや UI となるものをほぼ無限に置くことができ、これが今までの 2D とは異なるところだ。 UI を考えるとすると、現実世界のインフォメーションとしてあるものが参考になるのではないかと感じており、 例えば、駅構内の表示などの広告、出口や乗り換えの案内の配置などが参考になるのではないかと思っている。
もともと、フラットデザインと言われるもの UI の源流は Microsoft の Zure Software や Windows 8 の Metro UI だ。 Windows 8 で UI の再定義を行った Metro UI は地下鉄の案内表示などから来ているらしい。（これは後付けとの話もあるが）
また、仮想空間のオブジェクトや UI などは、現実とは異なり、自由に動かせたり、そこに留めたりすることが可能だ。 HoloLens はウインドウを自由に動かせ、必要な場合に留めることができる。 エミュレータしか動かしていないのでわからないのだが、どうやら他の部屋などに留めたものを記憶し起動時に復元する事ができるらしい。
操作空間について
iOS のアプリでは 44px をタッチの最低領域としている。
このように3次元空間でも、触れる、もしくは選択できる、などの領域は、ある程度決められた大きさになると思われる。
掴んだり、遠くに置かれるウインドウのボタンなどを考えると、通常の UI よりインタラクションを起こす領域は、 44px などの小さな領域ではなく、ある程度大きさが必要なのではと思っている。
3次元空間の UI の要素を考えてみる
オブジェクト/ウインドウ UI
仮想的な3次元空間は、空間を把握するための物体として設置するオブジェクトがあり、操作できるものと、できないものとに分かれる。
操作できるものに関してはウインドウのような仮想空間の中では別のレイヤーとして存在するものと、 ボタンやレバーなど物理的なものに分かれ、 前者は 3D ゲームの UI のように扱うものしか見えないものと、全員に共有するものに分かれるだろう。
コントロール UI
ウインドウ内にコントロールする UI、アイテムが並ぶと操作が煩雑になる。
情報を表示するウインドウと別に操作を集約して行われるものがあるとよいと思われる。
MacBook Pro の Touch Bar やスマートフォンのタブに近い。
メニュー UI
Windows 10 のようなタイル状のメニュー。
スマートフォンの様に縦方向にリスト化されているメニューは多くの操作が必要になるので 3D 空間には向かない。
ワードフラッシャー UI
所謂、電光掲示板。広い空間かつ操作不要の UI を考えると 文字が流れてくるか、一定時間で切り替わるものが良いかと。
全面へ移動するウインドウ/オブジェクト
車で走っている際の道路標識の様に前面から情報が向かってくるウインドウ/オブジェクト
追従するウインドウ/オブジェクト
自分の移動方向、頭や体の回転に対して追従してくるウインドウ/オブジェクト
ラウンドスクリーン
映画館や 21：9 のデイスプレイの様に中央がなだらかにへこんでいる画面。
没入感が増す上に少しだけ表示領域が増える。
空間アノテーション
アラートなど、注意を喚起するモーダルの画面。
3次元空間だとどの場所に出ているかわからないため、柱や下に台をつけるなど、場所を示す必要がある。
Google Maps のピンのようなもの。
オブジェクトコントローラ/シェルフ
スイッチやレバーなどの 3DCG でつくられた立体的な UI や 2D のアプリのフォルダの代わりになる立体的なオブジェクトの格納場所。
まとめ
つらつらと思うことを書いてきたが、多分間違っていることも多いだろう。
とりあえずは、3次元空間での UI を考えるきっかけとなってもらえばよいかと。
iPhone と連携する眼鏡型ウエアラブルの噂
以下の噂が流れている
Microsoft HoloLens のように映像が現実がミックスされるデバイスとなるのなら、Apple Watch よりは利用シーンが多いのではないかと思っている。
それに Apple Watch の様に端末を取り出して何かすることがしづらいビジネスシーンにも使える。
眼鏡型ウエアラブルが出るのなら、開発者的には Apple Watch のように iOS アプリのエクステンションとなり、 データの表示したりセンサを受け付けるだけのデバイスだろう。
watchOS 3.0 からゲームなどの 2D 用のライブラリ SpriteKit、3DCG 用のライブラリ SceneKit が追加された。
これが、現実世界を仮想のCGと合成する眼鏡型ウエアラブル用の布石だったら面白い。
iOS、tvOS をコンピューティングマシンとして使いたい
複数端末で、もし同じアカウントを使用して場合に、直接各端末のアプリ同士でデータの通信をできるようにならないかなと考えている。
一応、今でも可能だがもっとスマートで、アプリを横断できるものがほしい。
例えば Apple TV でデータをダウンロードして Wi-Fi 経由で iPhone に送る事や、 複数 Apple TV でなんかしらの計算や重い処理を行い結果を返し iPad や Apple Watch に送るなどできたら面白いかと。
単純に Apple A チップが今後も発展してくのなら、ホームサーバー、ホームコンピューティングとして Apple TV や余っている iPhone / iPad を使えそうな未来を感じているので。
SiriKit とタイムラインベースのオペレーション
iOS 10 で SiriKit が発表された。 Siri の機能が開発者に解放され期待していたが、使える機能は以下のもの
- 音声通話
- Message アプリ
- 写真検索
- 他のユーザへの支払い
- ワークアウト
- 乗車予約
この中でも使用できる機能が決められている。
希望的観測だが iOS 11 では、会話認識して各アプリが操作できるようになると信じている。
そうなることによって、対話ベースかつ、タイムラインベースのオペレーションが可能になると思われる。
対話ベースかつタイムラインベースのオペレーション
スマートフォンでハードウェア的な革新は早々に起きないので、使いやすさを向上させるとなると OS の機能追加しかないだろう。
自分がスマートフォンのアプリで面倒だなと思う点は、アプリの起動と操作だ。
もし、Siri からのコントロールで最適なアプリの選択、起動、機能の実行を行ってくれれば、快適になるのではないかと思っている。
また、Siri のインタラクションがタイムラインなっているので履歴からの操作ができれば、音声操作を再度行わずに済み、 スプリングボード、いわゆるホーム画面がいらなくなるだろう。
問題点
Siri から起動され機能の実行結果がタイムライン上に表示されるとなると、 多分、広告収入で成り立っているアプリは厳しくなるだろうと思われる。
USB-C Macbook / Macbook Pro ドングル問題
Macbook や新しい Macbook Pro は USB-C(Thunderbolt 3) とイヤフォンジャックの拡張しかなく、
変換用のドングルが増えるやないかという記事がちらほらある。
言わんことはわからなくもないが、
たぶん、Apple のラップトップの利用シーンが無線での利用を重きに置いているためだと思われる。
現状の MacBook Pro の 概要の項目では USB-C(Thunderbolt 3) は 5K ディスプレイと RAID のストレージしか紹介していない。
要するに、無線で運用するには厳しいものしか紹介していないのだ。
これらを考えるに電源と高容量のデータの転送以外、ワイアードにする必要性がないと考えているのかもしれない。
例えば、LG UltraFine 5K Display。
発表のプレゼンで薦めていた製品だが Thunderbolt 3 ケーブル接続1本で MacBook の電源とディスプレイ入力をサポートし、
ディスプレイ側には USB-C が 3つある。
そのため MacBook Pro に刺すケーブルは1本で接続できる。
これらを考えると、今回の件で Apple 的にはラップトップの USB Type-A のコネクタは確実に過去となった。
残念ながら USB Type-C で接続せよという世界になるだろう。
それでも問題はある
iOS 端末での Lightning 接続
有線でのバックアップやシンク、開発しているアプリの転送などは、残念ながら A から C に変換するケーブルが必要になる。
お高いが USB-C > Lightning のケーブルがあるのでこちらを使うとスマートだろう。
MagSafe の廃止
MagSafe は替えが利かないので正直こっちの方が痛い人が多いのではないかと思われる。
不格好ではあるが USB-C の接続部分がマグネットで分離できるものがあるのでそちらを使うしかない。
期間限定で USB-C と Thunderbolt 3 のアクセサリを特別価格で提供
林信行氏曰く、普及には遠く現場での実用性に乏しいという声を受け年内に限り USB-C 用アダプターを大幅値下げとのこと。
正直、普及が遠いということは最初から分かっていたことなので、 Apple 純正アクセサリは値下げというより、値段を下げた価格で出すべきだった。
MacBook でアクセサリを買った人がかわいそうすぎる。
イヤフォン
イヤフォンジャックは残ったが、iPhone 7 / 7 Plus の Lightning 直付けイヤフォンと共有できない。
となると、共有しようとすると無線接続か、3.5 mm と Lightning の変換アダプタの選択しかなくなる。
まとめ
以下、Apple からのお告げ
- マウスなどアクセサリは基本無線で運用すべし
- 4K, 5K ディスプレイへ表示, 大容量のストレージなど無線では遅延が起こるものや、電源供給などは有線で使うべし
- iOS デバイスは iCloud でシンクせよ。アプリ開発は別途ケーブルを買うべし
- MagSafe はあきらめろ
