年の瀬も迫ってきたので、今年一年を振り返ってみようと思います。かたりぃなです。
よかったこと
ちょっと残念
DeepLearning
Unity
C++オンリーでHololens開発の限界
よかったこと詳細
インフラまわり色々できた
なんやかんやで、今年はインフラをいじってることが多かったと思います。 インフラの具体的な技術要素としては
こんなところでしょうか
2018年に身に着けた技術で特に大きかったのはAWSとansibleですね。
Hololensなどのアプリを作る場合のアーキテクチャ設計を考えたとき、クラウドとの連携は必要だと考えています。 これはHololensに限らずモバイルアプリ全般に言えることです。
そのための土台作りができたということで、かなり大きな前進です。
これらをうまく活用して開発を進めていきたいですね。
開発環境のコンテナ化
ローカル開発環境はdockerを本格的に使うようになりました。
くーべねてぃす？とやらはまだ試していませんが、dockerfile, docker-composeあたりを駆使して色々な環境を試しています。
軽く試したコンテナとしては
などです。
dockerでやってみて個人的にいいなと思ったのが次のものです
- 環境の固定, 実験の再現のしやすさ
- マイクロサービス
前者はこのブログでも時々書いてますが、docker-compose up すれば状況を再現できるので、すごく楽です。
後者のマイクロサービスはコンテナ化と合わせて考慮していきたい事項です。
マイクロサービスを目指すモチベーションは、これまでの開発で個人的に悲しい案件が多々あって、それを回避する手段として使えそうだなというところです。
これまでの開発で個人的に経験した悲しい事案として
- chainerとflaskを組み合わせたい
- flask最新版では動かない
- rubyのバージョン上げた
- 同居してるfluentdが死んだ
- PHPのバージョンを上げた
- 同居してるMediaWikiが死んだ
こんなのがありあす。
そもそも上記悲しい事案は複数サービスが１つの環境に同居しているから起きるのであって、分離してしまえば何も問題はないはずです。
分離の方法としては言語ごとにあるenvで回避できそうな気もします(pythonだとpyenvとか)が、言語ごと/モジュールごとにそれをやっていくのはどうなの？的な思いがあります。
各言語のプロフェッショナルならenv使って上手に回避できるのかもしれませんが、私の母国語はC,C++ということもあってライブラリの管理が少々面倒というところもあって、個人的にはマイクロサービス化とコンテナ化推しです。
そのうちAWSのほうもdockerで動かしてみたいですね。ECS(elastic-container-service)というサービスらしいです。
通信プロトコル
クラウドとHololensの連携との話をさらに掘り下げると、具体的にWebフロントどうするかとか、プロトコルどうするとかあります。 webサーバはnginxで色々できるようになってきたので、これでいけそうと思ってます。apacheでもいいですけど。
通信プロトコルの現状の実装はHTTPSのRESTですが、セッション張り直しのコストとか考えるとWebSocketかなと思ってます。
というわけで、カードゲームのARのための最低限の土台が整ったと思います。 性能面とか考慮しつつ、今後どうするか色々試していきたいですね。
WebとHololensの連携
まだ完成していないので記事にしていないのですが、HololensとWebで少しずつ連携できるようになってきました。
通信部分はただのRESTではありますが、重要なのはWebリクエストを出した時点でのHololensの姿勢を使うというところです。
Webと連携すると多少なりとも遅延は発生するので、そのあたりをどうやって解決していくかという実験をするための土台が整ったといえます。
実際に動かした感じでは秒単位の遅延が起きることが分かっています。 これは通信レイテンシだけでなく物体検出・カテゴリ分類などの、処理が重いことも影響しています。
リアルタイムのARアプリでWebと連携する場合、いかにユーザーにストレスや違和感を与えずに演出を組み込んでいくかなど、そういった部分を今後色々と試していきたいですね。
開発環境について
少々蛇足になりますが、貴重な時間を有効活用するために、通勤時間や昼休みにSurfaceBook2で作業しています。
初期投資に多額の資金を投入するリスクを負うのは怖かったので、RAMは8GBのモデルです。
動作は快適なのですが、8Gだと少々つらくて、それぞれの開発環境を個別に動かすことはできますが、同時実行ができないです。
こういう状況なので、Webとの連携が進み始めた段階でAWSも使い始めることができたのは幸運だったなぁと思う次第です。
技術の融合
個人的には私の好きな分野で技術を活用できた一年だったと考えています。
技術の融合の話に入る前に、まず「技術」もしくは「テクノロジー」について私の思想について少し書きます。
私は「テクノロジーはエンドユーザーに価値を提供してこそ意味があるもの」だと思っています。
エンドユーザーに提供する価値というと、具体的には「製品」や「体験」といったものです。 店で売っているような商品や、同人作品などは製品そのものですし、アプリで遊んでもらう(=楽しむ)なんてのは体験ですね。
今年は「技術を活用する、価値を提供する」領域を広げるために「コスプレでのAR利用」を試し始めました。
「コスプレでのAR利用」は、イベント会場で興味を持ってくれた人もいたみたいで、今後も表現方法の１つとして色々試したいと思います。
コスプレでAR, 3Dプリンタの利用
ます「コスプレ」は仮想世界(ゲーム, アニメなど)にあるものを現実世界に再現して、キャラになりきる行為です。
言うなれば「ごっこあそび」ですね。子供の頃やっていたであろう「ドラゴンボールごっこ」とかの進化形です。
こういった分野で個人的にやりたいこと(製品そのもの＋アプリ)の実現に一歩近づいた年だと思います。
具体的には「ARとコスプレの融合ができた」というのが大きいと思います。イベント会場ではほとんど使えませんでしたが。(猫耳が引っかかってHololens装備できなかった。。。)
技術要素はこんな感じでしょうか
仮想世界にあるものを現実世界で再現する(たとえば3Dプリンタ)という行為は、ARとは異なる技術で現実世界を楽しくしてくれます。 というわけで、コスプレとARは相性が良いだろうと考えています。
特に3Dプリンタは一昔前は「家も建てることができる夢の装置」みたいにもてはやされましたが、プリント時間やコスト・耐久性などを考えると、そんなことは全然ありません。家庭用なら尚のことです。
3Dプリンタだけでは大して面白いものは作れませんが、ARデバイスと組み合わせることでとても楽しいものができるということは見えてきました。
特に私の場合はギミック(光る、動く、変形、合体)とかが大好きですから、そういうものの再現にも使えそうです。
他の技術でもいいのでは？
VRでいいのでは？と思うこともありますが、個人的には実物のほうが好きです。
たとえば、コスプレの武器って実際に持ってみると「すごいもの持ってる」感があって、VRのコントローラとは全然違った感覚です。
(VR自体は家電量販店でやってるデモしか体験したことないので、私の中での誤解があるかもしれませんが。)
現行のVRでは再現できないけれども、コスプレ用の武器で再現できる(優れている)点について考えてみました。
具体的には次の点がコスプレの武器が優れていると思っています。
- 持ち手部分の触った感じ
- 振ると重さを感じる
前者は武器製作者のセンスにも依存しますが、金属的な冷たさとか、革のようなじっとりした感じは、実物ならではです。
後者の「重さ」というのは、ただの重量だけに留まらず、実世界での動きに関係してきます。というのも、コスプレ用の武器というのは装飾がついていたりして、重心が不安定です。
- 杖の先端のほうが重い
- 斧は刃がついてる側のほうが重い
とかですね。
こういうものを振ったり構えたりすると遠心力でさらに不安定になるため、独特の「持ってる感じ」を受けます。これは現状のVRコントローラでは再現できてなくて、少々物足りない感じになります。
もちろん人によって受け止め方は違っていて、
みたいに色々な考え方がありそうです。
私は実物+AR派でいこうと思っていますし、各個人が目的にあったテクノロジーを使えば幸せになれそうだなと思います。
色々と堅苦しいことも書きましたが、自分が楽しめることが一番大事だったりします。 継続できるのは楽しいからこそです。
年齢を重ねても夢は忘れないようにしたいですね。
ちょっと残念だったこと
やってみたけど上手くいかなかったり、やる予定だったけど実現できなかったことを書いてみます。
DeepLearning
まだ記事にしていませんが、chainerを使ってVGG16からのMTGのカード分類のファインチューニングはじめました。 試しに自宅のゲーミングPCで一週間くらいかけて40Epoc回したところ、50～60%の正答率でした。 学習・教師データともに少ないので過学習してる気はします。
Unity
2018年内にネイティブプラグイン試しに作るくらいやりたかったのですが、手付かずでした。。。
C++の限界
これも記事にしてない案件ですね。 Unityでやればすぐ終わることがC++だとめっちゃ手間かかるので、あきらめました。
これはC++がダメというわけではなくて、プログラムコードだけでは3D空間を把握できないという事実です。
文字列だけでのプログラミングの限界なのかなぁと。
具体的には3D空間での衝突判定とかで、bulletとeigenを使おうとビルドして組み込んではみたものの、うまく動いてくれなくてデバッグに手間かかりすぎです。
ベクトルの値なんかをグラフィカルに表示出来ればいのですが、結局ノートに鉛筆で書いたりとかしてるうちに「Unityでいいじゃない」って結論に辿り着きました。
C++のみの実装自体は断念しましたが、線形代数を復習する良い機会だったと思います。
やったこと自体は来年の目標であるネイティブプラグイン開発にも引き継げると思います。
2019年やりたいこと
来年の目標というか、やってみたい願望を書いてみます。
こういうところは現実主義なので、目標の段階で「無理やん？」みたいなのは自然に除外しているみたいです。
目標を達成していくことで次の２つが実現できると考えています。
- カードゲームのAR化
- コスプレでのAR活用
Unityネイティブプラグイン (継続)
とりあえず趣味レベルとはいえ２年近くC++/CXとUnityを触ってみてわかったことは、どちらも一長一短ですね。 Unityだとエンジンがほぼ全部面倒見てくれて、C++だと細かいところまで手が届く。
なので、これらの美味しいところ取りをしたいと思っています。
どういった場合にどちらが優れているかという点は見えてきたので、Unityをフロントとして、C++はプラグインとして使っていく方向で2019年は動いてみたいと思います。
納得できなければまたC++からDirectX叩けばいいですし。
DeepLearning (継続)
ご無沙汰してる間にDeepLearning界隈も進んだようです。 カードゲームのAR化での画像分類やカード検出で使おうと試しているものをさらに進めてみたいと思います。
やりたいこととしては２つあって、１つ目は学習用のデータ収集です。 まずはアプリ側のプロトタイプ実装を終わらせて、それを使って学習用データを収集するところからですね。 現状のWebAPIから拾ってきたカード画像だけでは限界があります。
２つ目はOpenCVのONNIXローダを試したいですね。
ONNIXというのはDeepLearningのデータ交換用フォーマットです。、乱暴に表現するなら「Web技術でいうJSON/XMLのDeepLearning版」といった感じです。
何ができるかというと、Chainerで学習させたネットワークをONNIXで出力し、そのONNIXをOpenCV(C++)で読み込めるようになります。
これはどういうことかというと、
といったことができそうです。
Hololensだと、識別フェーズの処理ですら厳しいかもしれませんが、試す価値はあると思っています。
次期Hololensに搭載されるという噂のAIチップでONIIXを使えるAPIを公開してくれることを祈りましょう。(そういう用途ではなさそうですし、公開されないでしょうけれど)
電子工作魔法陣 (新規)
ずっとご無沙汰してた電子工作を復活させたいと思います。
今更感ありますが、現状のAR/VRには致命的な問題があると思っていて、それを解決するのが目的です。
AR/VR最大の課題は「デバイスを持っていない人は楽しくない」というところです。
どちらも外野から見ると「何やってんだ？」状態ですし、「装着者が見ている映像はコレです」と見せても、面白さは伝わりにくいです。
Hololensでは映像体験を共有する仕組みがありますが「デバイスorそれに準ずるものを持っていること」という前提条件ありきです。
私としてはコスプレとかのサブカルをテクノロジーで盛り上げたいと思っているので、外野のギャラリー(＝デバイスを持っていない人)にも「面白い」「楽しい」と感じてもらいたいです。
通りがかりに「ちょっと写真一枚撮らせてほしい」という時に、「Hololensでぜひ」というやり取りはムリがあります。
なので、「ARデバイスがなくても楽しい」「傍から見てても楽しい」という物理魔法陣をまた頑張ってみようかなと思った次第です。
魔法(物理)ですね。
ちなみに「デバイスを持っていない人が楽しくない」のであれば「全員がデバイスを持っている環境を作ればいい」という発想で進めているのがHadoとか、VRエンタテインメントなんかの施設だと考えます。
個人活動ではハコモノ作れるわけもなく、そもそも貸し出し用デバイスを購入する資金もありませんので、別のアプローチでいくのが正解だと思っています。
まとめ
今年も色々と試行錯誤して勉強になりました。
自分で手を動かして失敗しないと覚えないタイプなので、順調に進められた一年だったかなと思います。
このブログも更新が少ないのに読者になってくださる方もいてありがたい限りです。
スターとかブクマとかもらえたときにはめっちゃやる気UPしてたりします。
ARそのものをお仕事にできれば楽しそうだとは思っています。
それでは今回はこれくらいで。
皆様よいお年を。
