Xcode 10 を触っていて気づいたのだが、Xcode 9 の Scene Editor、iOS 11 の Scene File では Procedual Sky で正しい表示がされないバグがある。 ちなみに Scene Editor での Procedual Sky の適応方法は、何らかのノードを選択後、Scene Inspector (Comman…

Beta 版から記事を起こしているため今後変更される可能性あり。 ARKit 2 で環境マップテクスチャの作成ができるようになった。 通常は AREnvironmentProbeAnchor から環境マッピングのテクスチャを作成するのだが、SceneKit の場合は設定をするとデフォルト…

ClassKit フレームワークは、 先の教育向けイベントで発表された Schoolwork というアプリと連携するためのフレームワークで、既存のアプリへ何らかの機能を付け加えるものではない模様。 Classroom は生徒や生徒の端末、生徒のコンテンツの管理、教師と生徒…

画像は球状にスペースシップを複製し配置したもの（ReplicatorSample3） ジオメトリを位置情報の配列をもとに複製したり、法線情報の配列から回転させるやつで 3DCG や動画編集などであるリプリケーター。 また、複製したジオメトリに対して SCNAction 設定…

macOS の場合、ファイル選択しスペースキーを押すと QuickLook 経由でシーンファイルのプレビューが閲覧できるのだが、 iOS の場合設定がされていないので、極めて簡単な表示するだけのビューワーをつくってみる。 iOS の Document Based App とは？ iPhone …

ざっと見た感じ BusinessChat の API が追加されている模様。 Beta 1 の頃から Swift 4.0 > 4.1 の変更があるけど割愛。 （機能追加や、flatMap { $0 + [1] } の flatMap が compactMap に変更とか） BusinessChat で追加された Class BCChatButton BCChatAc…

ARKit 1.5 から平面を認識した箇所からポリゴンを描画し、 以前の ARKit ではできなかった丸いテーブルなど若干ではあるが形状に合わせた平面を描画できるようになった。 今回はその解説。 ひとまず注意点 Beta 版であるため今後仕様が変更される可能性があ…

ARKit 1.5 から Vuforia のような画像認識を行うことができるようになった。 壁や床などの画像を想定しているようなので、現象 Vuforia ほどの正確さはなく、 今後のアップデートで期待したい。 また、公式でサンプルが用意されているため、英語を読むのが苦…

Beta なので公開されている情報からのまとめ。 NDA 上スクリーンショットが出せないので今回も文字だけ。 以下の情報に関しては今後変更される可能性があるため注意が必要。 主な変更 www.moguravr.com 垂直方向平面の認識 画像認識 以前よりも細かな形状認…

今更だけど、書き忘れていた。 Xcode 9.1 から Xcode 9.2 での変更は1つ。 SCNSceneSource.LoadingOption のタイププロパティ useSafeMode が廃止予定となった。 useSafeMode - SCNSceneSource.LoadingOption | Apple Developer Documentation SCNSceneSourc…

ARKit Advent Calendar 2017 | 15日目 以下の昨日の記事の動画。 前半では ARKit で取得しているカメラ映像に対して Core Image のフィルター CIDotScreen を使用し、 新聞のモノクロ写真のようなモノクロドットや黒の塗りつぶしで構成された効果を適応して…

ARKit Advent Calendar 2017 | 14日目 ARKit はカメラ画像と各種センサーを使用して端末の位置を特定しているため、 1眼のポジショントラッキングなモバイル VR なら、わりと簡単にができますよというお話。 とはいえ、ARKit は真っ白な部屋とか特徴点が拾え…

そう言ってみれば説明していなかったなとということで、SCNNode の Rendering Order について書いておこうと思う。 マテリアルの Writes depth や Reads depth は深度情報の重なりの順序を無視し前面や背面にジオメトリ表示するが、 こちらはノードのレンダ…

一応、深度画像を取得してみようと思う。 深度画像取得の流れ ARKit の ARFrame から取得できるので、ARSessionDelegate から呼び出し何か View に表示する。 ARFrame の capturedDepthData が持つ depthDataMap が cvImageBuffer を返すので、 今回は CIIma…

前回は概要の説明だったが、今回は Xcode を使用しアプリを作成していく。 Apple 公式のサンプル「Creating Face-Based AR Experiences」のコードをスリムにし機能を絞ったものなので、 英語やコードを読むことが苦にならないのならそちらを読んだ方が良い。…

iPhone X では端末前面に従来の FaceTime HD カメラやセンサーの横へ、Microsoft Kinect のようなドットプロジェクタや赤外線カメラを追加しており、 これらのセンサーユニットの総称して TrueDepth カメラと呼ばれている。 TrueDepth カメラは、背面の iSig…

どうやら、そのままだとサイトが表示領域の全体に面表示されないっぽい。 参照元 ayogo.com 対処方法 meta タグ Viewport に「viewport-fit=cover」を入れる。 <meta name="viewport" content="width=device-width, initial-scale=1.0, viewport-fit=cover"> このままだと問題があり、本体を横に傾けてランドスケープにすると コンテンツが両サイドまでい</meta>…

Swift 3 (Xcode 8) の SceneKit の解説に関してはここで一区切り。 カスタムの Action、ParticleSystem、PhysicsField、 シーンを管理する SCNSceneRenderer、 scn ファイルを読み書きする SCNSceneSource、JS で SceneKit を設定する SCNExportJavaScriptMo…

もう1つ忘れていたものノードのフラット化について。 Scene Graph でチルドノードが増えすぎたりするとドローコールが増えるため、パフォーマンスが落ちる可能性があり、 SceneKit の機能でノードのジオメトリをひとまとめにする Flatten Node の処理を行う…

書き忘れていたが、SceneKit では SpriteKit の SKScene シーンを SCNMaterialProperty の各 contents に渡すことができる。 やり方としては作成した SKScene をジオメトリの firstMaterial.diffuse.contents を渡すだけ。 2D描画処理のコストはかかるが、複…

SceneKit では他のゲームエンジンと同様にシーンを複数回レンダリングし画像を合成するマルチパスレンダリングを行うことができる。 内容的には結構複雑なので、こんなことができるよというのがわかってもらえれば良いかと。 マルチパスレンダリングの使用用…

SceneKit でのカスタムシェーダーは主に3つ SCNProgram でプリコンパイルしたものを使う SCNShadable の shaderModifiers に Metal / GLSL のスニペットであるテキストデータを使う SCNTechnique で設定し主にポストプロセスのように画面全体の変更する際に…

今まで SCNMaterial が持つ SCNMaterialProperty の content で UIImage を設定し、テクスチャを決めていたが SpriteKit の SKTexutre を設定することができる。 SKTexutre を適応してみる いつも通り、Xcode の Game テンプレートで SceneKit を選択し作成…

SceneKit には、SCNView には overlaySKScene というプロパティがあり、SCNView の最前面に 2D ライブラリ SpriteKit のシーンである SKScene を貼り付けることができる。 そのため、UIKit にはない パーティクルや派手な演出のある UI を作成できる。 Sprit…

以前、Scene Editor でのカメラのポストプロセス処理を行う際に、 色調整を行うカラーグレーディングで専用画像を使用した。 今回はその使い方とつくりかたについて説明していこうと思う。 編集に関しては Photoshop など、何らかの画像編集が必要になる。 …

立方体6面の内側に指定された画像を内側に貼り付ける360度の背景画像をキューブマップと呼び、 SCNMaterial の親玉である SCNMaterialProperty から使用する。 （内部的には Model I/O の機能だったはず） SceneKit ではシーンの background や lightingEnvi…

正直なところ、Core Audio など iOS 標準機能が使用できるので、 SceneKit のオーディオ再生機能を使用する必要はないけどご紹介。 SceneKit でのオーディオ再生の特徴としては、VR や HoloLens と同様に 3D 空間の位置に対して音源を再生（ミキシング）させ…

SceneKit ではジオメトリなどノードに Core Image Filter を使用してエフェクトをつけることができ、Metal Shader で行うより簡単にできる。 多分、他のゲームエンジンではこれほど簡単にエフェクトをかけるのは難しいと思われる。 とりあえず、試した感じだ…

今回は、特定のオブジェクトを SCNView から探し出すヒットテストをみていく。 Xcode の Game テンプレートではレンダリングされた画像から調べ、 宇宙船をタップするとマテリアルの色が赤く変わるアニメーションが実装されている。 （ドキュメントではレン…

パーティクルシステムのパラメーターをみてゆく。 ちなみに、画像を設定しないと Scene Editor 上で、何も表示されない場合があるので注意。 Scene Editor の Attributes Inspector での表示 Δ=0 となっているものは、コードでは Variation と呼ばれているも…