画像に動きを付ける事がなんと「Pika Labs」を使って無料で出来るようになりました。
そんな「Pika Labs」を触っていき使い方やプロンプトをご紹介していこうと思います。
まずは登録方法
Pika Labs公式サイトへ行きます➡https://pika.art/login
右側のGoogleアカウントかディスコードアカウントで登録しますが、ここで登録しても順番待ちリストに並ぶだけですぐには使えません。
いつ正式に使えるようになるかわかりませんが、とりあえず登録だけしておきます。
現在はβ版がディスコードで使えますのでそちらから使う事にします。ここからはディスコードアカウントを持っていること前提に進みます。
まだディスコードアカウントを持っていない方はコチラから➡https://discord.com/
Pika Labsを使う手順に進みます↓
このログイン画面の下の「Discord」をクリックします。
ディスコードでPika Labsからの「招待を受ける」をクリック。
「Discord」で開くをクリック。
「認証」をクリック。
どちらかを選択するか次へをクリック。(単なるアンケートなのでどっちでもいいです)
ここも適当に選ぶか右下のスキップをクリック
ここもスキップでいいと思う。
「完了」をクリック。
画像⇒動画作成の手順
するとディスコード上のPika Labsの画面になります。
左側を下にスクロールすると、
「generate-1~10」の部屋が出てきます。
これは負荷を分散させてるだけなので好きな番号の部屋に入ります。
ここでは適当にgenerate-7に入りました。
部屋に入ったら①下段の欄に「/」(スラッシュ)を入力すると上の欄に「/animate」というコマンドが出てくるので「/animate」をクリックします。
すると画像ファイルをドラッグ&ドロップする欄が出てくるのでここにドラッグ&ドロップします。
SeaArt.AIで作成した宇宙船の画像を貼り付けてみました。貼り付けたらEnterを押します。
Enterを押してこのような画面になったら作成中ですのでしばらく待ちましょう。
出来上がった動画がこちら
全然動きが出ていません。動きを付ける為にpromptを指示していきます。
パラメータで動きを指示する
①の「他1」をクリックすると②の「prompt」が出てくるのでpromptをクリックします。
下段にPrompt欄が出てくるのでそこにプロンプトを入力します。
パラメータは決められたコードがあるらしく試しに使ってみたのが以下になります。
パラメータでカメラワークを指示すると少しだけ動きが付いたように見えますが、もっと動き付けたいですよね。
パラメータの使い方
パラメータはプロンプトの単語の後に追加する必要があります。スペースを使用して他の単語やプロンプトの単語と区切る必要があります。(以下の赤字がパラメータ部分)
例)/create prompt: A golden lab chasing a ball in the garden -ar 16:9 -motion 3
カメラワーク関連
「-camera ##」が基本、##の部分を変えていく。ひとつの動画に1個しか反映しない。
-camera zoom in ズームイン
-camera zoom out ズームアウト
-camera pan right パンライト
(カメラが右に向く)
-camera rotate clockwise ローテート・クロックワイズ
(カメラが時計回りに回転する)
-camera rotate acw
(カメラが反時計回りに回転する)
以下の動画-camera rotate clockwiseを付け加えた動画です。若干右回りしているのがわかります。
フレームレート
「-fps ##」が基本、##の部分に8~24の数値を入れていく
24がデフォルト
下の動画は「-fps 8」で作った動画です。
下の動画が「-fps 24」です。
モーション
「-motion #」#の部分に0~4の数値を入力
Motionが何を指しているのか不明ですがおそらく動きの表現の強さを表す数値だと予測します。
全く同じプロンプトで0と4を見比べてみます。
今回用意したプロンプトは「快晴、庭でボールを追いかける白いビションフリーゼ」を英訳してパラメータを付けました。
White bichon frise chasing a ball in the garden under clear skies -fps 24 -motion 0
White bichon frise chasing a ball in the garden under clear skies -fps 24 -motion 4
を作成してみました。
-motion 0
-motion 4
モーション0とモーション4の違いがいまいちよくわかりません。後日もう少し検証してみます。
ガイダンススケール
「-gs ##」##の部分に8~24の数値を入れて調整します。デフォルトは12。
ガイダンススケールは、数値が高いほどテキストとの関連性が高くなります。数値を上げればよりテキストに忠実な表現をしてくれることになります。
ネガティブプロンプト
「-neg xxx」xxxの部分に動画に入れたくない単語を入れます。
例)/create prompt: this is an example of a prompt -neg words letters signs
⇒文字・記号を入れないという意味
アスペクト比の調整
「-ar #:#」#の部分に数値を入力。
例)/create prompt: this is an example of a prompt -ar 16:9
⇒アスペクト比16:9
デフォルトは1024:576になっています。
自分で作った動画どこいった?
ディスコードは他の人の投稿もアップされるので自分の投稿が流れて行って作成された動画がどこに行ったかわからなくなる事もあります。
そんな時は検索機能使いましょう。
右上の検索欄に自分のIDかユーザーネームを入れると候補に自分の名前が出てくるのでそれをクリックすると
自分の動画が右側に出てきたり、ジャンプを押すと自分の作成された動画に飛べます。
ダウンロードする際は動画の上にマウスのカーソルを当てると↓矢印が出てくるのでその矢印をクリックするとダウンロードできます。
色々試してみましたが画像⇒動画での動きはあまり大きく動かないっぽいです。プロンプトを色々試行錯誤してここで追記していこうと思います。
プロンプトに文章入れるとある程度反映された
パラメータだけじゃなく、英語でプロンプトを入力してみたら意外と反映されました。
元画像はこの有名な波の画像、これに動きを付けてみます。
プロンプトに「Violent waves, rough surf, splashing water」と、とにかく波の動きや水しぶきの単語を入れてみたら新たに波が作られました。水しぶきは一応元画像に追加された感じになりましたが、波がまったく別物になりました。
色々試してみましたが元の波を動かすには至りませんでした。
さて次は、
テキスト⇒動画の方が動きが大きいみたいなのでそちらの手順を説明していきます。
テキスト⇒動画作成の手順
下段に「/」スラッシュを入力するところまで同じで、今度は出てきたコマンドの「/create」を選択します。
下段に出てきた「prompt」欄に英語でプロンプトを入力します。
今回は「宇宙空間での戦闘機同士のスピード感のある追いかけっこ。」をDEEPLで英訳した「A speedy chase between fighter jets in space.」を入力してみました。
出来上がった動画がこちら
なんか宇宙戦艦ヤマトみたくなってまったく意図していない動画になっちゃいましたけど、テキストからこんな動画が作れる凄さはわかると思います。
「/create」を選択して「他1」を押すと「image」という追加コマンドが出てきました。
イメージ画像を貼り付ける事が出来たので画像を貼り付けて同じプロンプトで作成してみました。
疾走感のある動画を期待したんですが、やはり画像データを使うと極端に動きが少なくなります。
この辺はもっと検証していこうと思います。
何度か作り続けたらようやくスピード感のあるマリオカートが作れました。
使用したプロンプトは「マリオカート、マリオがハイスピードで走行中、ドリフトでコーナーを曲がっていくシーン、CG、3D、ハイクオリティ、高い疾走感」(Mario Kart, Mario driving at high speed, drifting around a corner, CG, 3D, high quality, high speed)
プロンプトは「Mario Kart, Mario driving at high speed, drifting around a corner, inside Bowser Castle, CG, 3D, high quality, high speed,-motion 2」
追記2023年12月26日:ついに使用開始!
スマホのメールにようやく使用開始の案内が来たのでさっそく触ってみました。
ログインするとこんな画面になっています。
①をクリックすると画像をUP出来ます。
②にプロンプトを英語で入力します。
今回はAIで作成した猫の画像を使い、プロンプトで「猫のあくび」と英語でにゅうりょくしてみました。
右の手裏剣みたいなマークをクリックすると作成開始です。
それで作成したのがこちら
あまりあくびしてくれません・・・。
次にオプションをいじってみました。
これはフレームレート、デフォルトで24になっているのでそのままにします。
ここは「カメラワーク」と「動きの強さ」を選択できます。
試しにZoomにしてStrength of motionはデフォルトの1にしておきます。
最後に「ネガティブプロンプト」と「Seed」と「Consistency with the text(プロンプトとの整合性)です。プロンプトとの整合性はデフォルトでは12でしたが試しに25にしてみました。
さっきあまりアクビしなかったので今度はプロンプトを「ネコが鳴いている」としてみました。
猫・・・鳴いてませんね。目も緑色になってるし・・・。
Strength of motionをMaxの4にしてみます。
かなり動きが出てきましたが突然緑色のリボンが首に付いていました。
やはり画像⇒動画だと大きな動きは難しいのかもしれません。
続いては、
AIで作成した街の風景を使ってみます。元画像はこちら
プロンプトは「雪が降り、街灯の光が輝いている街」(A city with snow falling and streetlights shining)
Strength of motionは4、カメラワークは右にパン
出来た動画はコチラ
なんか中央に光の何かが押し寄せてきています・・・よくわからないので、Strength of motionを下げてみます。
Strength of motionを1にして再度作成してみました。
おぉ!今度は良い感じに雪が降る街になりましたね。
次は、テキスト⇒動画で作成してみました。
さっきまでの画像をゴミ箱ボタンで消してそのままのプロンプトで作成してみました。
かなり綺麗に動きが作られました!やはりテキスト⇒動画だと動きが多いです。
猫のあくびは何故かうまくいかないので「ネコの毛づくろい」というプロンプトにしたら毛づくろいではないが可愛らしい動画になりました。
まだまだガチャみたいなもんで実用範囲ではありませんが、風景にちょっとした動きを付けるには良い感じかと思います。
※今後プロンプトや画像からの動画を試して随時更新していきます
コメント