视频模子悄然了泰半年,,,最近突然热闹了起来。。。。。。
一天内,,,Seedance 推出 2.5,,,升级新版本,,,而 MiniMax 也宣布了新模子 H3。。。。。。
这操作属实不常见,,,世超看了看 Articifial Analysis 的三个视频榜,,,发明 MiniMax H3 直接凑了个 1,,,2,,,3。。。。。。
好家伙,,,隔这儿网络奖杯呢?????
并且更牛的是,,,这模子照旧开源的,,,在外洋创作者里也引起了不小的讨论,,,大伙儿纷纷下场测试。。。。。。
有说它指令遵照精准的,,,视频模子终于能在黑板上准确写字了。。。。。。
尚有说它一致性精彩的,,,影戏叙事和商品广告的效果很好。。。。。。
搞这么热闹,,,那我得尝尝味道怎样了。。。。。。
搓了一堆视频后,,,先省流一波,,,这模子确实有点工具,,,2k 画质下,,,细节和稳固性都很在线。。。。。。
尤其是它 AI 后期的效果,,,美术气概确实带感,,,一度让我惊讶这种文字加排版的重大视频,,,居然是模子搓出来的。。。。。。
尚有定价,,,768P 分辨率五毛一秒,,,2K 则是八毛,,,或许是之前一些旗舰模子三分之一的价钱,,,性价比这块儿相当能打了。。。。。。
话未几说,,,咱先跑一下刚刚的案例验验货,,,只给一句话,,,让它写个欧拉公式看看成色。。。。。。
这使命听着简朴,,,就画几个符号的事儿,,,但现实上无数视频模子都翻过车,,,不是不晓得公式为何物,,,就是还祛除笔,,,字儿就凭空泛起了。。。。。。
这次 MiniMax H3 的体现不赖,,,你不可说它完善,,,但这物理因果基本是对的。。。。。。
最少手,,,粉笔,,,字?????瓷先ズ侠,,,不漂移,,,粉笔写出来的质感和敲击黑板的配音也都没毛呲。。。。。。
接下来再瞅瞅光影体现,,,甩给它一张 3A 射击游戏的截图,,,让它还原一下战场气氛。。。。。。
看这效果,,,你不说我以为又开了一把了呢,,,这光追我平时搁自己电脑上都舍不得开。。。。。。。。。。。。。。。。。。
大伙儿也可以关注一些细节,,,好比左上角的小地图,,,在人物转动视角的时间,,,它是会随着一起转的。。。。。。唬;;;I杏锌沟氖奔,,,枪声和抛壳的频率也是一致的。。。。。。
这就是原生多模态的利益了,,,它能更逼真地模拟物理天下,,,画面声音和物理纪律会相对统一,,,禁止易穿帮。。。。。。
不过右下角的备弹数目照旧漏了点破绽,,,这些小纰漏或许等模子能力再迭代几轮才华搞定。。。。。。
虽然,,,多模态尚有个利益,,,就是生视频的时间,,,你有啥素材只管往里丢就行,,,什么图片,,,视频,,,音频,,,都能当参考。。。。。。
好比这里来个大杂烩,,,先放个视频当运镜参考,,,再来点人物和分镜图,,,最后加俩音频当他们说的话,,,可以说是能喂的都喂了。。。。。。
视频里它倒也能接得住,,,猫狗的毛发都挺有质感,,,一致性也稳到了最后。。。。。。
尤其是指令遵照上,,,提醒词里五花八门的要求基本都知足了,,,切镜,,,神志,,,以及精准卡点的一声叫,,,都很带感。。。。。。
唯一的遗憾是我忘加配景 BGM 了,,,为了省点儿积分,,,手动加了一下,,,味道更足了,,,进军二创视频指日可待。。。。。。。。。。。。。。。。。。
但话说回来,,,整活儿只是稍带的,,,MiniMax 更强的地方着实是视频编辑,,,别忘了,,,编辑相关的跑分它干到了 AA 榜的第一位。。。。。。
我直接对着桌面来了个实拍,,,配合中年帕金森的稍微手抖,,,看看它能怎么拯救视频效果。。。。。。
效果相当 Amazing 啊,,,虽然没什么炫酷的特效,,,但加的这个手绘小玩意儿还挺灵动。。。。。。
它从空中飞到鼠标上,,,顺着镜头爬了两圈,,,一个蓄力跳到了键盘上,,,跳跃的行动跟手抖的部分正好吻合,,,也是让我运上镜了。。。。。。
接下来我又试了试多模态的编辑,,,说人话就是把音频也放进来一起处理。。。。。。之前可能就需要另外找个音频模子,,,先提取音色,,,然后天生配音,,,最后再回到视频模子这儿融合。。。。。。
但 H3 处理起来要简朴些,,,克隆声音就随手的事儿。。。。。。咱素材复用,,,让写公式的老教授启齿念几句诗,,,把一段美式口音丢进去让他克隆,,,再换成英音朗诵。。。。。。
老教授台风很稳,,,扎好架子就开读,,,声音克隆的很还原,,,正宗老伦敦读莎士比亚,,,味道就是正,,,口型没误差,,,肢体小行动也是话剧演讲的那套,,,镜头一拉很专业好吧。。。。。。
测试到这儿,,,也能感受出来,,,MiniMax H3 真正值得聊的,,,着实不在于能不可搓个以假乱真的镜头。。。。。。
由于真实感是个慢工出细活儿的差事,,,需要大宗数据和算力喂养,,,一眼看不到止境。。。。。。
它或许是视频天生模子的主线,,,但肯定不是唯一,,,由于一条真正拿去用的视频,,,除了画面真实感,,,还要有文字排版,,,剪辑转场,,,以致音效和奇异的视觉气概,,,这些都得打磨。。。。。。
而 MiniMax H3 的特殊之处就在于,,,它试图加入到片子的后期制作当中。。。。。。先是点了多模态的手艺,,,又在文字一致性上下功夫,,,配合不俗的天下知识,,,整体的编辑可控性比起之前就强了太多。。。。。。
以是接下来,,,我准备从基础的文字最先,,,一步步加码,,,看看它究竟能把 AI 后期做到什么水平。。。。。。
先看文字,,,直接扔一段歌曲进去,,,让它做一段歌词的 MV。。。。。。
以前老模子做这种视频,,,先不说字体字形的准确性,,,一旦运动起来,,,纵然前面几帧对了,,,后面也有可能模糊掉。。。。。。
但 MiniMax H3 的处理精准的多,,,它提取了 Prompt 中的主要形貌词,,,先统了一下气概,,,明确要搞成旧杂志拼贴的样式。。。。。。
然后将歌词,,,人像和线条融合进报纸碎片中,,,文字不但是字幕,,,会加入进视觉设计,,,随着音乐缩放。。。。。。配景也不是无关元素的堆砌,,,词里有蓝色,,,报纸上是真会甩几滴蓝色油漆。。。。。。
再细点看的话,,,倒是有一处拼写过失,,,刚最先的「try」它拼成了「ttr」,,,得微调一下,,,不过整体文字的动态排版照旧挺靠谱的。。。。。。
作为歌词的 MV,,,这套工具完全可以批量合成,,,演唱的时间就能直接放大屏幕上,,,维持气概的同时每场还能整点花活儿。。。。。。
文字站稳后,,,我又给他上了一张橙子汽水的静态海报。。。。。。
这次,,,我想看它在稳固文字的基础上,,,能不可往专业剪辑的偏向靠,,,给产品加动态镜头,,,处理好空间关系。。。。。。
成片效果不错,,,汽水罐从平面中央逐渐靠近,,,罐体,,,冰块,,,水花冲出原本的海报画框。。。。。。
这个前后景的比照很取巧,,,它不是那种简朴的图片转动图,,,而是用线框划脱离空间,,,突脸给你来个 3D 效果,,,既维持了原来的视觉特征,,,又能把汽水的攻击力渲染出来。。。。。。
不过,,,一张海报再怎么冲出屏幕,,,实质上照旧一个镜头。。。。。。真正的广告片,,,还得会组织多个画面。。。。。。
我们请出编辑部老员工暖锅 ( 幼年版 ) 当模特,,,拿起汽水罐,,,做一条逻辑完整的汽水广告试试。。。。。。
设计是这样的,,,开头让暖锅翻开汽水喝一小口,,,然后给特写,,,人物一直换装,,,然后整体的元素随主题变换。。。。。????Dチ返氖 H3 的资产调理和多镜头的一连性。。。。。。
来看成片,,,15 秒的时间叠加了 4 套主题,,,但无论怎么转场,,,暖锅以及橙子汽水罐的特征都没变形,,,整套橙色视觉系统也延续了下来。。。。。。
特殊是动效组合的不错,,,汽水罐旋转时有变速,,,周围配饰以及上方字体弹出也有惯性,,,配合 BGM 相当丝滑。。。。。。
这种效果比起拿 AE 手搓可能差点细节,,,但都这个速率了,,,还要啥自行车。。。。。。
况且我也就抽了一次,,,一批两个视频,,,第一个汽水罐是上下转的,,,第二个则是左右转,,,思量的还挺全。。。。。。。。。。。。。。。。。。
虽然,,,说到 AE,,,较量常见的就是 MG 动画,,,这个着实是更偏后期的视频类型。。。。。。
它比看上去要难堪多,,,由于上面的宣传视频有角色和产品可以当现实参考,,,但 MG 动画里,,,文字怎么拆,,,粒子怎么飞,,,怎么组合都得自己来设计。。。。。。
咱直接拿差评前沿部的 Logo 交给它,,,让 MiniMax H3 做个动画瞧瞧。。。。。。
你别说,,,整得还挺花里胡哨,,,整体特效围绕粒子和线条组成,,,先散开延展出去,,,然后在三维空间中旋转,,,最后又收束重组回来。。。。。。
21:9 的宽幅比例下,,,视觉重心也没跑偏,,,尤其中心一闪而过的是非效果,,,看着还挺酷炫的。。。。。。
最后,,,咱把前面这些工具打包塞一起,,,给它上个更难的使命,,,让它模拟一下游戏的菜单选人界面。。。。。。
效果视频效果很是利索,,,整体陌头涂鸦的气概很耐看,,,跟友情客串的暖锅也正好匹配。。。。。。
菜单文字没跑偏,,,光标点击也有反馈,,,甚至还能换装,,,装置差别配件,,,这些转变都会实时反馈在暖锅本体上。。。。。。
菜单到游戏的转场也很流通,,,报纸糊住屏幕再撕开,,,暖锅就蹿到了街区上。。。。。。
虽然这实质照旧段动画,,,但关于游戏制作而言,,,这玩意儿已经能被拿去当看法设计,,,或者提案的 Demo 了,,,应用价值很是明确。。。。。。
一堆测试跑下来,,,MiniMax H3 的长板着实已经很清晰了,,,就是它很是来劲的 AI 后期能力。。。。。。
除了天生漂亮的镜头,,,它还想帮你剪完整的片子。。。。。。
虽然没强到指哪打哪,,,但它缩短了通俗人跟成片之间的距离,,,你不必学太多剪辑技巧,,, 靠形貌也能搓个及格的作品出来。。。。。。
22 年的时间,,,Stable Diffusion 1.5 模子的开源引爆了 AI 绘画的热潮,,,社区里大伙儿 DIY 得火朝天,,,种种微调工具层出不穷。。。。。。
而这次的 H3 视频模子也选择了开源,,,那它未来会被各人折腾成什么样子呢?????
这个我是真想看看。。。。。。。。。。。。。。。。。。