Runwayでは画像から動画を生成する際にプロンプトはなくても問題ないです。
画像だけの場合はその画像に一致するような動画を自動で作成してくれます。
1. Text only: best for creating from only words. Gen-2 will generate footage matching your prompt.
https://help.runwayml.com/hc/en-us/articles/17329337959699-Gen-2-prompt-tips
2. Image only: best for perfectly matching an image. Gen-2 will animate the image into a video. No image previews are provided since the image preview would just be your input image directly.
3. Image and text description: the video will match the image directly and use the text to help create the video.
以下の動画はプロンプトは未入力状態で画像から動画にしたケースです。
プロンプトが未入力でもいい感じに動画化されています。
品質系のプロンプトを試してみる
プロンプトtipsに記載のある品質系の単語をプロンプトに入れて作成してみます。
The following generic prompt modifiers generally produce good results:
https://help.runwayml.com/hc/en-us/articles/17329337959699-Gen-2-prompt-tipsmasterpiececlassiccinematic
プロンプトには以下を追加しました。
masterpiece未入力の動画の方は雨が降っているような感じでしたが「masterpiece」のワードを入れたらそれがなくなってより画像にマッチした動画になりました。
次は以下のプロンプトを追加して動画を生成してみます。
classic個人的にはこの画像にはあってない感じの動画になったなと感じます。
最後は以下のプロンプトを追加して動画を生成してみます。
cinematicこちらは炎が燃え盛る感じが追加されて迫力が増しました。
「masterpiece」か「cinematic」はとりあえず追加したほうが未入力よりも品質の良い動画が作れてると個人的には感じます。
モーション系のプロンプトを試す
プロンプトtipsに記載のあるモーション系の単語をプロンプトに入れて作成してみます。
For more action and movement, try adding keywords like:
https://help.runwayml.com/hc/en-us/articles/17329337959699-Gen-2-prompt-tipscinematic actionflyingspeedingrunning
はじめに以下のプロンプトを試してみます。
cinematic action本体が爆発しましたね。
品質系のプロンプトはキャラクター自体には作用しませんでしたが、モーション系はキャラクターへ作用しそうです。
次に以下のプロンプトを試します。
flyingなんかこちらに向かってきている感じがしますね。
次は以下のプロンプトを試します。
speedingなんかめっちゃ爆発してる…。
このプロンプトはこの画像には適してなさそうですね。
最後は以下のプロンプトを試してみます。
running溶けたあああああー。
やはりモーション系の動画はその画像に適したものを選ぶ必要があるようです。
まとめ
Runwayで画像から動画を生成する際には品質系のプロンプト「masterpiece」か「cinematic」はとりあえず追加したほうが良さそうです。
モーション系はその画像に適したものを選ぶのが大事ということがわかりました。
適切なプロンプトを選べば動画の表現はもっと高まりそうですね。
コメント