受付は2020年2月 2日(日)09:50で終了しました。
AR Kit3・CoreML2が1日ですべて丸わかり
このような方におすすめ
ARアプリの最先端を知りたい方
期待できる効果
オリジナルのARアプリを作れるようになります。
【赤坂見附テックハブ】ARアプリ開発講習会(CoreML2 & ARKit3)
2017年にリリースされたiOS11より、拡張現実(AR)の「ARKit」と機械学習に関する機能「Core ML」が搭載され、話題を呼びました。現在はそれぞれバージョンがあがり、AR Kit2・CoreML2となって、さらに機能豊かなアプリが実装可能となっております。そして今年、とうとうARKit3が発表され盛り上がりを見せています。
そこで、1日でこれら全てが丸わかりできる講習会を開催いたします。
ARアプリってどんなものがあるの?
iPhoneXよりカメラのレンズが2台搭載されることとなり、アプリで採寸できるようになりました。これにより家具のシミュレーションなどもより正確にできるようになっています。
また、ネイルや化粧のシミュレーションアプリも登場しており、試着シーンにも欠かさぬ存在になりそうです。
さらに、iPhoneだけで3Dスキャンができるアプリが登場しており、3Dそのものが一般人にとっても身近なものになりそうです。
ARアプリの切り開く未来とは?
GoogleGlassのようなヘッドセットが普及すれば、見たものをすぐに調べられる「ARで検索」も当たり前になるでしょうし、AR空間上に落書きメモや順路などを残すこともできます。今までのスクリーンがスマホ画面から、リアル空間全体に変わることになりますので、大きなビジネスチャンスがアプリ開発者のもとに訪れるといっても過言ではありません。
先日、ポケモンGOの運営元ナイアンティックが、開発中の拡張現実プラットフォーム Niantic Real World Platform をプレビュー公開しました。ゲームだけでなく様々な用途に利用される基盤技術と位置づけており、独自のゲームやアプリの展開を望むサードパーティー開発者を募っているとのことで、ますますAR市場は加速しそうです。
ARKitとは
ARKitはiPhoneやiPad向けのARエクスペリエンスを開発するフレームワークで、カメラセンサーのデータと、Core Motionデータと総称されるデバイス内蔵の加速度計やジャイロスコープ、歩数記録計などと連携するフレームワークです。
Core MLとは
Core MLは、モバイルデバイス上で直接、学習モデルを実行できる「基本的な機械学習フレームワーク」です。
顔追跡や顔検出、ランドマーク検出、テキスト検出、長方形検出、バーコード検出、オブジェクト追跡などを使用すると、開発者は視覚的な機械学習を作成しアプリに実装することができます。
Core MLは単体で使うことも可能ですが、他フレームワークとの併用もサポートされており、画像解析には「Vision」、ゲームに利用する場合は「GameplayKit」を使うことができます。
Visionとは
コンピュータビジョンの機械学習機能を容易にAppに組み込むことができます。フェイストラッキング、顔検出、ランドマーク、テキスト検出、矩形検出、バーコード検出、オブジェクトトラッキング、画像レジストレーションなどの機能に対応しています。
1日で「ARアプリ」と「機械学習」の基礎的なことが全てわかります
今回は、このARkitとCoreMLをベースにARアプリのサンプルをあますところなく解説していき、その複数のサンプルプログラムを参考にオリジナルのアプリ(プロトタイプ版)を実装していただきます。
また、これらを使って、どんなアプリができるのか、どんなARアプリが人気なのかを紹介しつつ、アプリ企画の講座も用意しております。
たった1日で、ARや機械学習のiOSの全てがわかる講座となっております。
Appleは2020年に、ARにも仮想現実(VR)にも対応する強力なヘッドセットを開発中と噂されております。
未来を先回りして、その可能性にかけたいエンジニアの皆さま、ぜひご参加ください。
今回取り上げるサンプルアプリ・プログラム
サンプルアプリプログラムはAppleが配布しているものと、今回独自で用意したものを使い、それぞれについて解説していきます。
0)Swiftでアプリを作ってみる(Xcodeの使い方)
iOSアプリ開発初心者にはとっつきずらいSwiftですが、画面作成には欠かせないプログラミング言語です。ゼロからXCodeの使い方をレクチャーしていき、プログラムの構造を理解していただきます。
1)AR空間で3DオブジェクトをAR表示する(ARKit)
AR空間で3DオブジェクトをAR表示します。Blenderで作った3Dモデルやフリーの素材を入れ替えて自分だけのARアプリが作れます。
3Dオブジェクトでオリジナルアプリを制作したい方はあらかじめ、3Dオブジェクト(usdzファイル、daeファイル)をご用意ください。
2)カメラ画像からAR空間をマッピング。平面検知、物体名を判定する(ARKit)
壁、屋根、テーブル、床などを判定して表示するアプリを作ります。
3)平面へ3Dオブジェクトを配置させる(ARKit)
平面へ3Dオブジェクトを配置させるサンプルアプリ。自分の好きな場所に配置できる家具配置アプリなども作れます。
4)複数のユーザーでAR空間を共有する(ARKit)
AR空間を共有したゲームアプリなどが作れます。
焚き火を囲むような「バーチャルキャンプファイアー」なんていかがでしょうか?
5)空間認識データを保存。永続性のあるAR空間認識を実現する(ARKit)
空間認識データを保存することで、永続性のあるAR空間認識を実現させます。AR空間の検知をブレないようにするための仕組みがわかります。
緯度経度情報と紐付づけるようにすれば、上空に天空の城を配置したり皇居に江戸城を建てることもできます。
6)現実世界の鏡面反射を再現する(ARKit)
現実世界の鏡面反射を再現します。現実空間をマテリアルに投影して3Dオブジェクトを表示するようなアプリが作れます。
7)ユーザーの顔を認識する(Vision)
ユーザーと画面の3Dオブジェクトを連動させてるようなアプリが作ることができます。これを応用すれば笑顔などの表情をリアルタイム認識、みんなが笑顔になった瞬間に写真撮影するアプリも作ることができます。
8)ファインダーに映った物体をリアルタイムで認識する(Vision , CoreML)
inception-v3という物体認識の既存モデルを使ったリアルタイム検出アプリです。
Visionフレームワークを使用して写真を事前処理し、コアMLモデルで分類します。
机、椅子といった一般的な物体(1000種類)を認識して一般名称を表示、認識率を計測することができます。
表示するテキストを翻訳すれば「指差し単語帳」ができますし、
認識率が何パーセント以上になれば「写真をとる」というようなトリガーを発動するアプリが考えられます。
9)カメラで空間を認識。学習モデルで検知したオブジェクト座標に3Dオブジェクトを配置(Vision,CoreML,ARKit)
カメラで空間を認識して、学習モデルで検知したオブジェクト座標に3Dオブジェクトを配置する。画像認識とARを組み合わせて、AR画像認識アプリが作れるようになります。
10)PlaygroundとCreateMLで学習モデルを作成する(CreateML)
PlaygroundとCreateMLで学習モデルを作成します。自分の学習モデルを作成することで「猫の種類認識アプリ」や「花の種類認識アプリ」など自分だけの画像認識アプリが作れるようになります。
また、ある看板や特定の人を見つけると反応するアプリや、スタンプラリーなども考えられます。
※)実装時間や参加者のスキルレベルを考慮して、スピード調整させていただきますので、全てを網羅できない場合がございます。ただ、iOSアプリの上級者でも、独自で進んでいただけるようなカリキュラムにしております。
【参加対象者】
・iPhoneアプリを作ってみたいという方(学生、初心者エンジニアも歓迎)
・機械学習のアプリを実際に作ってみたい方
・ARアプリを実際に作ってみたい方
・この分野で仕事をとっていきたいという方
初心者の方には、サンプルプログラムを動かして、ちょっとした改変を楽しんでいただき、
上級者の方には、複数のサンプルプログラムを応用し、独自のアプリを実装していただきます。
【再受講制度】
「その日の講習で理解ができなかった。みんながいるところで一緒に開発したい。」という方のために、今回の当講座の参加者に限り、次回以降(隔月開催を予定)も無償参加できるようにいたします。(今は特に制限はございませんが、後になって回数制限や廃止になることがあります。)
【持ち物】ARKitに対応したMAC機種とiPhone機種について
開発実機:「OS Sierra 10.12.4」以上のアップルデバイス
・MacBook(Late 2009またはそれ以降)
・MacBook Pro(2010年半ば以降)
・MacBook Air(2010年後半以降)
・Mac mini(2010年半ば以降)
・iMac(2009年後半またはそれ以降)
・Mac Pro(2010年半ば以降)
検証端末:iPhone6S〜8,X,XSのいずれか
iOSのバージョンとMAXOSは最新版にしていただき、あらかじめXcodeをダウンロード、最新バージョンにしてください。
※貸し出しはございません。ARKitアプリはシミュレータで動かないため、iPhone6S以上をご用意ください。
【カリキュラム】
10:00-13:00 「サンプルプログラムの解説」
Xcodeの使い方の説明と10個のサンプルプログラムの解説。講義中もサンプルプログラムを改変することでアプリの作り方を学んでいただきます。
14:00-15:00 「ARアプリの企画講座」
実際にどんなARアプリが公開され、どんなARが人気なのかを学びます。その上でアプリ企画のポイントを詳しく解説します。午前で学んだサンプルアプリの、どのロジックをどのように使って、どんなアプリができるのかについても復習していただきます。
15:00-17:00 「オリジナルアプリの実装」
サンプルプログラムで学んだロジックを使い、新しくオリジナルアプリを制作していただきます。初心者はサンプルアプリに手を入れていく程度でも楽しいアプリケーションを作ることができますし、アプリ開発経験者は今までのスキルに今回学んでいただいたロジックを入れることで、さらに魅力的なアプリ開発体験ができることでしょう。
【講師紹介】
フリーランスのデジタルプロダクトデザイナー・ソフトウェアエンジニアとしてVR/ARコンテンツおよび画像認識アプリの開発に従事。WEB、ゲームからBtoBのアプリ開発まで実績多数。1児のパパ。
開催要項
開催日時 |
2020年2月 2日(日)
開場 9:50
開始 10:00 終了 17:00 |
---|---|
場所 |
DAYS赤坂見附 3B会議室 東京都港区 赤坂3丁目9−1 紀陽 ビル |
参加費 |
テックハブ参加費(税込) 44,000 円 |
キャンセルポリシー |
44000円(税込) |
お支払方法 | |
定員 |
10 名 【残 4 席】 |
申込受付期間 |
2019/11/11(月) 15:26 ~ 2020/2/ 2(日) 09:50まで |
主催者 |
赤坂見附テックハブ |
お問い合わせ先 | DAYS赤坂見附 |
お問い合わせ先電話番号 | |
お問い合わせ先メールアドレス | techgym@five-four.co.jp |