韓国コスメ のバーチャルメイクのサービス「MAHOU MAKE (BETA)」 を公開しました

こんにちは、バッカムではARや機械学習を使った開発をいろいろやってます。最近だとこのアプリとかこのARサービスとかを開発をしました。フロントエンドはもちろん、最近のコロナ禍でVRの開発もいろいろとやらせていただいてます。

そんななか、1年以上前からコツコツと社内で開発してきたサービスがあります。発端は2年半ほど前のtensorflow.jsの公開に遡ります。それまでバッカムではiOSのARKitやintelのRealsenseを使ってARの開発は行っていましたが、デバイスの機能を使わずにブラウザだけで機械学習の推論ができるというのは衝撃でした。ただ最初は静止画で動かしたり、動画で推論しても動きがカクカクしていて、面白いけどARKitやネイティブアプリと比べると品質的にどうしても見劣りしてました。そう思いつつ面白いのでいろいろ作っていくうちに、PCなら動画でそこそこ動くレベルのものになり、スマホで作りはじめたらスマホでも動画がそこそこ動くようになってきました。

基本的に3Dが大好きなので、ある時顔のパーツを検出してメガネの3Dモデルをかけられないか？とデモを作りはじめました。検出した顔のパーツから顔の回転や傾き、奥行きを計算し、メガネ的な雑なポリゴンを顔に被せることに成功しました。思いのほか２Dの座標から３Dの動きへの変換はうまくできましたが、３Dモデルを顔に重ねた時にメガネの奥の柄の部分と顔の重なりがARKitやホロレンズのような深度を検出したように綺麗に重ねることができませんでした。自分のスキルだと現状そこを解決するのは難しいので、3D的な重なりを表現しなくてもいいものを作りたい、と思うようになります。

そんな技術デモを色々と作ってるタイミングでちょうどはじめにリンクを入れたカネボウさんのARサービスの開発をはじめます。ARサービスを開発するなかでバーチャルメイクという存在を知り、これならやれそうと設計や実装のイメージを作りはじめたのが去年の春くらいです。そこからはスケジュールに余裕のあるメンバーがシステムを作ったり、メイク部分の3D実装をしたり、UIのデザインも何度か変更したりして、ようやく今年の2月の沖縄リゾテックでデモを公開しました。この時点ではまだ静止画のバーチャルメイクでした。

静止画のバーチャルメイクはそれなりに完成度も高く、使い勝手も悪くはなかったです。が、やっぱり動画でやりたい。アプリでは動画のバーチャルメイクは当たり前にあるので、WEBでもそこは実現したい。これまでの開発の経験から動画でも十分できることはわかっていたので、今年の春くらいから本格的に動画への対応をはじめます。並行して扱うコスメを何にするかとか、どう差別化するかとかを考えながら、足りない機能なども追加し、ようやく8月くらいに今の形になってきました。

焦らず今できることでWEBで動画のバーチャルメイクを実現しています。そして今日ついに公開しました。スマートフォンでどうぞ、PCでもできます。

MAHOU MAKE (BETA)　ランディングページ

ランディングページの途中に「Try！」って吹き出しの出てるボタンをクリックするとバーチャルメイクが始まります。

Wake up to Make up,Right here Right Now!😂😂
LIVE VIRTUAL MAKE-UP CAMERA
MAHOU MAKE