Apple Engine

Apple, iPhone, iOS, その周辺のことについて

ARKit

ARKit + SceneKit でカメラから取得した映像にエフェクトをかける

ARKit Advent Calendar 2017 | 15日目 以下の昨日の記事の動画。 前半では ARKit で取得しているカメラ映像に対して Core Image のフィルター CIDotScreen を使用し、 新聞のモノクロ写真のようなモノクロドットや黒の塗りつぶしで構成された効果を適応して…

ARKit + SceneKit を使用したポジショントラッキングなモバイル VR

ARKit Advent Calendar 2017 | 14日目 ARKit はカメラ画像と各種センサーを使用して端末の位置を特定しているため、 1眼のポジショントラッキングなモバイル VR なら、わりと簡単にができますよというお話。 とはいえ、ARKit は真っ白な部屋とか特徴点が拾え…

SceneKit の SCNNode のレンダリングオーダーでどこでもドア的表現をする

そう言ってみれば説明していなかったなとということで、SCNNode の Rendering Order について書いておこうと思う。 マテリアルの Writes depth や Reads depth は深度情報の重なりの順序を無視し前面や背面にジオメトリ表示するが、 こちらはノードのレンダ…

ARKit の Face Tracking で顔にマスクをつける for iPhone X - Depth image (深度画像) 取得編

一応、深度画像を取得してみようと思う。 深度画像取得の流れ ARKit の ARFrame から取得できるので、ARSessionDelegate から呼び出し何か View に表示する。 ARFrame の capturedDepthData が持つ depthDataMap が cvImageBuffer を返すので、 今回は CIIma…

ARKit の Face Tracking で顔にマスクをつける for iPhone X - 実践編

前回は概要の説明だったが、今回は Xcode を使用しアプリを作成していく。 Apple 公式のサンプル「Creating Face-Based AR Experiences」のコードをスリムにし機能を絞ったものなので、 英語やコードを読むことが苦にならないのならそちらを読んだ方が良い。…

ARKit の Face Tracking で顔にマスクをつける for iPhone X - 概要編

iPhone X では端末前面に従来の FaceTime HD カメラやセンサーの横へ、Microsoft Kinect のようなドットプロジェクタや赤外線カメラを追加しており、 これらのセンサーユニットの総称して TrueDepth カメラと呼ばれている。 TrueDepth カメラは、背面の iSig…

iOS 11 GM の ARKit で変更されたこと

フェイストラッキングで顔の形状を取り、顔や独自で作成した顔のジオメトリを AR の仮想空間設置し、表情を付加する機能が追加。 Message アプリでデモしていた AniMoji ようなものが、AR 空間で使用できる。 また、Beta 中に廃止となっていたものが完全に機…

iOS Human Interface Guidelines の Augmented Reality (ARKit) をざっくり訳す

以下、ざっくり訳。間違っていたらごめんなさい。 あと、軟弱なので訳せなかったところは飛ばしている。 一応、ベータなので内容は変更される可能性あり。 Augmented Reality - Technologies - iOS Human Interface Guidelines 注記 phone と原文で書かれて…

ARKit を SpriteKit で試す

注意ベータ版で公開されているドキュメントを元に記事を作成しているため、API や動作が製品版と異なる可能性あり SceneKit や Unity、Unreal Engine でほぼ制作されると思われるが、 一応、SpriteKit の 2DCG を使用した ARKit アプリを作成することができ…

ARKit の UI と設計で注意すべき点

UI 基本的には自由だが、3点だけ注意した方よいと思われる。 その1 : 起動時 カメラが起動し ARKit 関連の命令が動作するまで数秒かかるので、 それを何らかの方法で伝える。 その2 : 平面認識時 平面が認識された時、使い手にはわからないので 平面を認識し…

ARKit に対して既存の VR / MR コンテンツはどう勝負するのだろうか?

ギークではない一般ユーザーが仮想空間の体験をする初めての接点が iOS と ARKit によるものとなる可能性が高い。 Virtual Reality (VR) Mixed Reality (MR) Augmented Reality (AR) これらの総称を X Reality (XR) というらしく、この体験をする人の増加は …

ARKit、深度情報、物体認識、そこに現れる世界

ARKit と深度情報が組み合わされると Kinect や HoloLens のような体験が可能になる。 では、そこに物体認識ができるようになったらどうなるだろう。 その前に物体を認識するとは何か iOS では過去にプライベート API の OpenCL を使用した顔認識がある。 以…

Apple の ARKit は戦略よりも技術がすごい

元ネタ japanese.engadget.com 特別なハードウエアを使って高精度 AR を実現 まず、Apple A シリーズの動作が化け物で、他の ARM の SoC が周回遅れな感があり。 センサー類の動作も素晴らしく、ARKit の可能にしているのは Metal 2 のおかげだと思われる。 …

Apple とこれからの AR

適当に思いついたことまとめ ARKit に関しての Human Interface Guidelines がまだないので Apple にも AR は検討状態な感はあり伸び代がありそうな予感。 現状、近い将来にでもできそうなこと Apple Pencil による現実落書き 音声による何らの現実変更 、音…

スポンサーリンク