今どんなことができる?画像DeepLearning、気なる技術まとめ

AI

個人的に、気になっているものを紹介していきます。

GitHubにソースでているものは、ソース見ながら、順番に試していこうかなと思います。

  • 存在しない人の顔を作る
  • 表情まで真似て、顔を入れ替える
  • 体の動きを真似させる
  • 体、顔、手の動きを検知する
  • 1枚の絵が喋る

そんな、最近の画像系のDeepLearningでどんなことができるか知りたい方、参考ください。

フル活用すれば、好きな人物作って、YouTubeとかできそうな気もします。

VTuberの次は、F(ake)Tuber???

スポンサーリンク

DeepFake

顔を入れ替えるのですが、ただ入れ替えるのではなく、AIが表情を似せて、入れ替えます。

映画のスタントマンの顔を俳優に変えるとか、結婚式の余興とか色々活用できそうですが、

悪用されることの方が圧倒的に多い?技術です。

せっかくの技術なので、問題があるなら、法整備とかで、こんな使い方はOKですよ!とかを示して欲しいなと思います。

問題が多いからだと思いますが、もともとあったFakeAppというアプリはダウンロードできなくなっていました。*2019年8月時点

記事

ainowをよく見るので、そこから引用させていただきます。

ディープフェイク(deepfake)を家族で楽しむ。あるいはいかにして私の妻をトゥナイト・ショーに出演させたか | AI専門ニュースメディア AINOW
【アップデート 2018年2月3日:本投稿の最後にふたつの創作物を追加。最後の作品は本当にうまくいった】 わたしがディープフェイクについて聞いたのは、1週間あまり前のことだ。Twitterに感謝。そして、ありがとう、Tim Soret氏。 There's something called Deepfakes on in...

上記の元記事

Family fun with deepfakes. Or how I got my wife onto the Tonight Show
Yes, it’s pretty damn cyberpunk. But from a superficial point of view, /r/deepfakes…

GitHub

iprerov/DeepFaceLab

iperov/DeepFaceLab
DeepFaceLab is the leading software for creating deepfakes. - iperov/DeepFaceLab

faceswap

deepfakes/faceswap
Deepfakes Software For All. Contribute to deepfakes/faceswap development by creating an account on GitHub.

FakeApp

削除されています。

DeepAnime

ちょっと前に、自動で着色してくれるAIが出ましたが、今度は喋ってくれます。

素人が書いた絵を、自動で着色して、アニメーションにしてくれるのなら、

ちょっと絵を描いてみようかなと思わせてくれる技術です。

サイト

AlgoAge
アカデミアの知見にもとづき、深層学習技術・機械学習技術に代表される人工知能技術(AI)の導入に関するコンサルティング、内製ソリューションの提供、最新技術の調査・開発、人工知能技術に関する教育を行っております。

Youtube

DeepAnime – Generate Character Animation from a Single Image

GitHub

なさそうです。

Character Animation from a Single Photo

一枚の絵から、人やキャラクターが飛び出して動き出します。

DeepAnimeより衝撃的です。動画のインパクトがすごい。

ARで活用しているところも、何かしら使えそうで面白そうです。

試してみたいけど、githubにコードがない、、、

論文読んで実現するのも、大変そう。

記事、論文

Photo Wake-Up: 3D Character Animation from a Single Photo
Photo Wake-Up: 3D Character Animation from a Single Photo
We present a method and application for animating a human subject from a single photo. E.g., the character can walk out, run, sit, or jump in 3D. The key contri...

YouTube

Photo Wake-Up: 3D Character Animation from a Single Photo

GitHub

なさそうです

A Style-Based Generator Architecture for Generative Adversarial Networks

GPUメーカーのNVIDIAが公開している、実在しない人の顔を作ったり、複数人の顔を足し合わせたりすることができます。

架空のアイドルを作るものもありますが、記事読んでいると「生成したアイドルとユーザーの情報紐付け」「合成音声でせりふを読み上げる機能」「ボディーを自動生成する機能」

と、なんでもありですね。

基本的なDCGANは使ったことがありますが、試してみたかっただけだったので、こんな鮮明な画像まで作ったことはありません。

せっかく、GitHubのコードがあるので、試してみようと思います。

論文

A Style-Based Generator Architecture for Generative Adversarial Networks
We propose an alternative generator architecture for generative adversarial networks, borrowing from style transfer literature. The new architecture leads to an...

YouTube

A Style-Based Generator Architecture for Generative Adversarial Networks

GitHub

NVlabs/stylegan
StyleGAN - Official TensorFlow Implementation. Contribute to NVlabs/stylegan development by creating an account on GitHub.

アプリ

上記のコードを活用したアプリ。数秒で実在しない人の顔を作ってくれます。

This Person Does Not Exist
This Person Does Not Exist

Everybody Dance Now

人の動きを真似してくれる技術です。

現状は、みたら普通にAIが作ったとわかるものですが、これからわからないレベルにすぐ

なってしまうのだろうと思います。

動画を見て、私はちょっとニンマリ、笑ってしまいました。

記事

Everybody Dance Now

論文

Everybody Dance Now
This paper presents a simple method for "do as I do" motion transfer: given a source video of a person dancing, we can transfer that performance to a novel (ama...

YouTube

Everybody Dance Now

GitHub

なさそうです

Google HandTracking

手、指の動きを検知してくれ、手のジェスチャーも検知します。

スマフォで動く軽量なもので、GitHubで公開されています。

ジェスチャー操作とかできるようになるだろうし、スマフォのシャッターはそのうち

bluetoothのスイッチでなくて、ジェスチャーになったりするのでしょうか?

他にも活用の幅は広そうです。

記事

On-Device, Real-Time Hand Tracking with MediaPipe
Posted by Valentin Bazarevsky and Fan Zhang, Research Engineers, Google Research The ability to perceive the shape and motion of hands c...

GitHub

google/mediapipe
MediaPipe is the simplest way for researchers and developers to build world-class ML solutions and applications for mobile, edge, cloud and the web. - google/me...

OpenPose

体の関節、手足の検知、顔、目鼻の検知をしてくれます。

これは少し、時間が経っていて、スポーツの解析や、転倒検知など活用されています。

商用利用の場合は年額25000ドルかかりますが、非商用は無料で試しても良いものです。

私は競泳をするので、オリンピック選手と数値で比較だ!と思っても、水泡立つし無理?

論文

Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
We present an approach to efficiently detect the 2D pose of multiple people in an image. The approach uses a nonparametric representation, which we refer to as ...

GitHub

GitHub - CMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation

スポンサーリンク

タイトルとURLをコピーしました