字节大模型团队从23年开始就是双线作战,一线主攻大语言模型,豆包模型从23年的不如ChatGPT 3.5,直到25年才用Doubao Seed 1.6,证明了自己具有冲击世界第一梯队的实力。而多模态,文生图,文生视频团队则在更早就崭露头角,其生图模型在一众国产模型中,一直以高美感,高精度著称,与同时期的国外模型不相伯仲。
不幸的是Google的nano banana模型刚问世,就掀起波澜,与国产模型拉开代差。幸运的是,这个代差只保持了2周,就又被国产模型追平。
笔者从23年起,使用几组固定的提示词追踪生图模型的表现,下面通过几组实例点评Seedream4.0模型在结构准确性,画面细节,指令遵循等各方面的改进。
Case1,考察复杂物理结构: 一个海滨公园,远处是一架高大的摩天轮,有着白色的外观和浅灰色轿厢。近处是一座旋转木马,上面有不同动物造型的座位,有马,独角兽,长颈鹿,南瓜马车。

摩天轮和旋转木马一直是生图模型的难点,两个物体都有大量细节,并且细节之间有逻辑关联,比如摩天轮的物理结构辐条,轿厢,旋转木马的装饰物,座椅,朝向等。
可以看到Seedream4.0相比前一代3.1在整体结构上有了巨大的改进,粗看画面结构完整,尤其摩天轮的物理支撑结构没有扭曲,旋转木马的装饰画细节丰富。但座椅朝向没有统一顺序。而且提示词没有提到人物,所以默认也没有画游客。
与Seedream干净的像CG不同,banana的生图则更真实,并且补全了环境,看起来像一张随手拍的照片。但坏处是细节错误非常多,人物畸形,摩天轮透视问题等。

Case2,考察纹理和材质:一张商品宣传图,一盘下火锅用的毛肚,高档的盘子,碎冰块铺底,精致的摆盘。盘子边上插着一块竹牌,写着“极品草原毛肚”。适当的背景装饰。

食物是生图模型的另一处难点,之前的模型,包括Seedream的前代,有时连形似都做不到,经常出现食材创造性拼接。而Seedream4.0几乎克服了这个难点,上图第一眼看不出AI感,像一张精修的商品图,只能从局部光照发现漏洞。
对比其前代3.1,可见巨大改进,如下图:

除了单一食材的准确性,在食材组合的呈现上,Seedream4.0也有着恐怖的画面表现力。如Prompt:
生成一幅图,照片级画质,内容是一桌丰盛大餐,有炖鸡,蒸虾,蒸鱼,炒青菜,和四碗白米饭。放在一张玻璃餐桌上。

这一段提示词的难点在准确把握不同食材的外形,并且隐含了不同食材的不同处理方式,装盘方式要求,需要大模型自行把握。Seedream精确度不错,各种食材的形状,尤其虾头,鱼头这些形状杂乱易错部分,也表现很好,甚至炖鸡里鸡腿的个数也是对的。不过蒸虾我们一般不用笼屉,Seedream捕捉到了“蒸”,但显然搞错了。米饭数量也不是3碗。
banana在这个prompt下有自己的理解,他同样把内容放置在合理的场景里,甚至给米饭加了热气,加了景深虚化。但banana对中餐的烹饪理解是有问题的,炖鸡不是这个形态。

Case3,考察人物和环境营造 :生成一张国外街头咖啡厅,人们坐在椅子上聊天

海外场景和人物算的上Seedream及其前身模型的主场优势,从早期2.0版本起,如果提示词不明确指定场景,其输出大概率默认是国外的街道和人物,并且国外主题下,图片的精度和美感更高,这跟模型的训练数据和方式有关,Seed团队用了几个版本逐渐把权重调到国内为主。但不代表新模型就不会国外题材。
这张图可以感受到Seedream4.0模型在这类题材下依然强势,无需额外提示词,其环境营造就已可用。不同人物的姿态自然,表情生动,并且4.0避免了在场景中生成看板,菜单等文字较多的内容,避开了大模型目前的劣势。3.1模型则不避讳文字内容,导致生图总会因为扭曲的文字而出戏。
banana对国外题材就完全主场作战,出图可用性高,同样保持了“照片风格,环境补全”,整体与Seedream类似,但画面空气感更强,背景也更丰富。

Case4,考察商业出图 :生成一幅图,促销海报写实风格,内容是放在中间的红字“圣诞大促”,周边围绕着电器,服装,玩具,厨具,营造一种喜庆氛围。

这段提示词历史也比较悠久,从各大模型还不会写字就开始用,除了考察写字,更考察大模型如何在没有具体提示的情况下,将多种不同元素合理排列,共同营造氛围。Seedream4.0写字不成问题,尤其汉字,甚至可以在没有提示时,根据氛围自行挑选合适字体。元素排列和层次比较到位,错落有致。对“喜庆”的理解表现为红色背景,礼物盒,圣诞树,这些装饰元素。
banana这边是写不了汉字的,为了不欺负他,prompt改成写英文词。可以看到banana再次捕捉到环境氛围,主动加上了飘雪,背景的壁炉等。还把商品排列成一个圣诞花环,算是对“围绕”的另一种理解。只不过这张海报显然不是电商场景想要的东西。

如果强行要banana写汉字,那就会是下面的效果,和国产模型去年表现相似。

总结
总体而言,通过几个例子可以看到Seedream4.0在物体结构,材质方面有长足进步,但对于提示词没有涉及的隐含信息,环境等把握程度则不高,容易出badcase,如果要实现完美效果,需要更详细约束。在图上写汉字,有一定改进,但没有本质区别,与环境的融合度不够高,也不能写太多字。
与nano banana相比,banana在Seedream4.0的短板,如环境营造上,有着更好的“兜底”效果,无需复杂描述,直出效果好。但美国的模型,对中国特色内容理解程度就要弱很多,充斥着拼凑和刻板印象。中国的模型却能很好表现外国场景。
banana这样的模型放在24年,多半会引发舆论探讨中国大模型是不是又落后,差距是不是拉大了。但放在今年,国产模型完全有能力实现部分追平,观众可以松一口气了。
最后,文中使用图片均为各模型1Pass输出,其中Seedream4.0使用火山云API(支持4K,即梦2K),banana使用Google AI Studio。