用了几天了,总体来说非常强,尤其是对 AI 影视制作会有极大加速。我之前预言的日产几十分钟视频的剧集日更,可能很快就能实现了。
之前 AI 制作影视的工作流中,图生图的主体一致性一直是个大问题。虽然用一些 ComfyUI 的工作流能有所改善,但依然不怎么好用,而且门槛相对较高。尽管最近图生图的主体一致性已经有不小改善,从 GPT-4o 到 FLUX.1 的 Kontext 模型,图生图的主体一致性一直在不断进步,但离商用始终有不小的距离。
所以与其用图片参考的一致性来生成图片,我很多时候更愿意去训练一些自己的 LoRA 模型,在之前 LoRA 模型的主体一致性依然比图生图模型要好。
但是无论是训练自己的 LoRA,还是用图生图的形象或人物参考,始终离不开 PS 的支持,后期总是会耗费不少精力用 PS 辅助保持一致性。
虽然之前的图生图或者 LoRA 已经能将影视制作的速度加快很多,并达到以前许多需要特效才能完成的事情,但总体来说效率依然相对低下。而且再怎么说,至少需要一个熟练的 PS 支持人员。
但是 Nano Banana 改变了整个游戏规则。
我举个例子——首尾帧视频生成。
目前想要相对可控地控制 AI 视频生成,最好的办法就是通过首尾帧进行控制。因为目前的 AI 视频生成技术,一旦首尾帧的主体一致性保持得比较好,那么整个视频中间的主体一致性通常都能处理得很好,从而让视频有较好的连贯一致性。并且确定了视频的首帧和尾帧,视频中间时段的运动过程也就相对比较好推定了,因为一个首帧和尾帧之间的画面变化是相对可预测的。
所以难点就在于如何生成合适的首尾帧,而主体一致性就是两帧之间比较困难的一个问题。但是有了 Banana 这个主体一致性逆天的模型,我们就能比较好地控制首尾帧的主体一致性。
并且由于 Banana 模型有非常好的语义理解能力、语义遵从能力,甚至物理推理能力,我们可以把视频生成的首尾帧的时间间隔拉得更近。
比如我们完全可以在某一帧的基础上,通过语义指令、推理出 0.5 秒甚至 1 秒钟之后的图片状态,借助 Banana 模型几乎完美的图片一致性,获得某一帧图片在极短时间之后的状态,再通过图生视频的首尾帧功能连接起中间的动态。
图生视频的首尾帧距离间隔越短,也就意味着整个视频的可控性将会变得越来越高。
比如说过去首帧和尾帧相隔的时间有 5 秒钟,这中间 5 秒钟的内容都需要通过视频模型进行生成。但是如今我们有 Banana 这个主体一致性非常好、且生成效率非常高效的图生图模型,我们可以把首尾帧的相隔距离缩减得更短,比如说变成 3 秒、2 秒、1 秒甚至 0.5 秒。
比如我用最近的电影《捕风追影》的剧照试了下。

上图是《捕风追影》的一张剧照,如果我想让成龙下一秒站起来,且张子枫身体保持不动,仅仅表情发生一些变换,仅仅通过单张图的图生视频可控性就不会那么高。

但是我可以通过 banana 先生成 0.5 秒之后的状态,再通过首尾帧生成视频,那画面整体的可控性就会高很多。
让后我想进一步精确控制剧情发展和画面精度,比如我想让两人争吵起来,张子枫对着成龙怒目大吼,而成龙不动。我完全可以在上一帧的基础上通过 banana 继续生成图片。

然后我就得到了三帧一致性非常高,几乎没有任何瑕疵的单帧图。
再通过夹逼原理,生成三帧图中间的短时间的动态空白,这整个两三秒视频之间的画面可控性将变得非常之高。而正如我上面提到的一样,生成的帧数越多,两帧画面之间的时间间隔越短,整个视频生成的可控性就会越高。我们可以将这种相对时间距离较短的首尾帧生成视频的方式,理解为一种视频插帧的生成模式。
而目前 Banana 模型的费用极其低廉,尤其是对于商业应用的视频生成来说,成本几乎可以忽略。成本低廉就意味着我可以不计成本地通过工作流,大范围地生成某一帧画面之后想要的画面,再从这些生成的几张几十张画面中选取我想要的那一帧状态。再通过帧与帧之间不断的状态串联,快速连接起几分钟甚至几十分钟的剧情。
然后再通过这些精确可控、非常密集的关键帧,生成我的整个视频。
并且,这个视频制作过程,几乎是没有技术门槛的。
而且 Banana 模型还有一些更恐怖的地方。
比如说它的多主体一致性参考也非常不错,由于成本便宜,你可以多生成几张几十张,“抽卡”到多主体一致性非常好的图片。
另外它对图片中的人物和物体替换也做得很好,你完全可以用 Midjourney 这种审美更好的模型生成非常炫酷的场景设定,再进行人物替换。
通过不同模型之间的组合,你完全可以以 Banana 模型为中心,组建起审美非常好的场景设定工作流,以及主体和场景一致性非常好的关键帧生成工作流。
人人都可以制作短片的时代真的马上要到来了。
而一些成熟一点的视频工作室,甚至有可能借助这些工具和工作流,在建立好一部影视剧的人物素材库和场景素材库之后,达到每天生产几分钟甚至几十分钟剧情的水平,达到日更剧的生产效率。
Nano Banana 无疑是本年度对 AI 影视制作影响最大的模型。


