News Home » Technology » アドビのProject Sweet Talkは肖像画に命を吹き込む

Around the World

アドビのProject Sweet Talkは肖像画に命を吹き込む

運営事務局 JIMOPLE 4 November 7, 2019

Adobe MAXで最も興味深いセッションの1つは、伝統的なSneaks基調講演だ。Adobe(アドビ)のさまざまな部門のエンジニアが登場して、最先端の仕事を見せびらかす。そこから製品化されるものもある。もちろん、そうならないものもある。最近は、やはりAIに焦点を当てた仕事が多くなっていて、Adobe Senseiプラットフォームもよく利用されている。今年は、まだ初期の段階のProject Sweet Talkがお披露目された。今回のイベントの注目の1つだ。

画像クレジット:Lisa Werner/Getty Images

アイデアは非常に単純なものだが、それを実現するのは難しい。これは、スケッチでも絵画でもいいが、肖像画を入力すると、そこに描かれた顔のパーツを認識し、ナレーションに合わせて口の動きをアニメーション表示するというもの。すでに、同社のCharacter Animatorでも似たようなことができる。Stephen Colbert(ステファン・コルバート)のThe Late Showのようなショーで見た人もいるだろう。ただし、アニメーションのコマ数に制限があるので、最高のアニメーターの手にかかっても、常にリアルに見えるとは限らない。少なくとも、この製品を使って線画をアニメーション化するような場合にはリアリティに欠けるきらいがある。Project Sweet Talkは、それよりはるかによくできている。ナレーションを分析し、AIを使用して、キャラクターの口と頭の動きをリアルにアニメーション化できるのだ。

このチームは、アドビの研究者のDingzeyu Li(ディンゼユ・リ)氏がリーダーとなり、マサチューセッツ大学アマースト校のYang Zhou(ヤン・チョウ)氏、ともにAdobe ResearchのJose Echevarria(ホセ・エシュバリア)氏、Eli Shectman(エリ・シェクトマン)氏がメンバーとなっている。実在の人々がカメラに向かって話している何千時間ものYouTubeの映像を、独自のモデルに入力した。驚くべきことに、そのモデルは、スケッチや絵画に非常にうまく適用できる。その顔が、単純な動物の顔のスケッチのように、人間の顔には似ても似つかないものであってもだ。

「アニメーションは難しいものだということを、私たちはみな理解しています」と、リ氏は私に語った。「顔の動きを、与えられたオーディオトラックに揃えたいとすれば、さらに難しいものになります。Adobe Character Animatorには、すでに「自動リップシンク」と呼ばれる機能があり、動きをオーディオに合わせることができます。しかし、実際に使ってみると、限界も見えてきます」。現在のCharacter Animatorで動かすことのできるのは口だけ。他のすべての部分は静止したままだ。それでは、もちろんリアリティのある動きは再現できない。この記事に埋め込んだProject Sweet Talkの作成を見れば、自動的に顔を巧みにゆがませて、うまくリアルに見せていることがわかる。これらの元になっているのは、すべて普通のJPEG画像だ。

だたし、この顔の輪郭をゆがませる処理のため、Project Sweet Talkは、写真に対してはそれほど優れた効果を発揮できない。単純に結果の見栄えがよくないのだ。しかしそのせいで、このプロジェクトがディープフェイクに悪用される心配はないということになる。「リアルに見えるディープフェイクを生成するには、多くの学習データが必要となります」とリ氏は言う。「私たちの場合は、目印となるものだけに注目しています。画像の中から抽出できるものです。そして、このようなアニメーションには、目印だけで十分なのです。しかし、私たちの実験によれば、目印だけでは、写真を使ったアニメーションには不十分だということもわかっています」。

将来的にアドビは、この機能をCharacter Animatorに組み込んでくる可能性がある。リ氏は、現在のCharacter Animatorでも可能となっているような、リアルタイムシステムを開発することは、チームの優先順位の上位にあると語った。

原文へ

(翻訳:Fumihiko Shibata)

TechCrunch Japanの最新記事を購読しよう