henry 发自 凹非寺量子位 | 公众号 QbitAI
要我说， ，，，诺兰的《星际穿越》， ，，，照旧拍守旧了。。
影戏里， ，，，两个平行时空的交汇， ，，，要靠摩斯密码。。
现在天， ，，，AI已经能“附”到任何物体或角色身上， ，，，让它们在另一个天下里启齿、行动， ，，，和你实时视频通话。。
好比， ，，，这只小猫可以一边说着土味情话， ，，，一边弓背、摇尾巴、抬爪子， ，，，还能在自己的天下里往返走动（注重看， ，，，它脚下的影子也会随之转变）。。
主要的是， ，，，这些反映并不是提前编排好的。。
小猫会随着你的声音即时转变：你说一句， ，，，它就凭证新的输入作出新的行动和回应。。
而这只小猫背后， ，，，就是Vivix最新宣布的实时交互多模态模子A1。。
A1让用户可以像打视频电话一样， ，，，与屏幕另一端的虚拟角色一连交流。。
相比古板数字人和视频天生模子， ，，，A1最大的差别在于——
屏幕里的角色真正拥有了身体。。它不再只是对着镜头语言， ，，，而是能够行动、转身、改变姿态， ，，，并与所在天下里的物体和情形一连互动。。
可以说， ，，，这种感受， ，，，真的像在和另一个平行天下连线。。
与此同时， ，，，为了让角色背后的天下也变得越发富厚， ，，，Vivix还同步推出了W1。。
W1让用户不再只是站在屏幕外看故事， ，，，而是可以随时介入， ，，，改变人物的选择、行动， ，，，以及接下来的剧情走向。。
看到这里你可能会想：这得多吃算力。？？？ ？？？
但据Vivix官网手艺博客先容， ，，，A1虽然拥有近30B激活参数， ，，，却通过MJD、原生NVFP4训推战略和一套自研的通讯-盘算调理+mega-kernel推理基础设施， ，，，将安排门槛极致地压到了消耗级GPU实时推理， ，，，近似画质下推理效率提升了近两个数目级。。
与此同时， ，，，其流式调理器响应新输入的时间最短为300毫秒， ，，，从用户发出输入， ，，，到画面首次泛起可见反映， ，，，延迟平均0.6秒。。
也就是说， ，，，这边话音刚落， ，，，屏幕另一端的角色基本已经动起来了。。
官方现已开放内测， ，，，接待会见官网及API开放平台申请体验：https://vivix.ai/
它事实是怎么做到的？？？ ？？？
统一流式架构与原生交互建模
这通平行天下的视频电话要真正接通， ，，，第一步不是让角色回覆得多智慧， ，，，而是让它在一连天生历程中， ，，，始终照旧统一个角色、身处统一个天下。。
Vivix将A1定位为全球首个在一套原生流式架构中， ，，，统一多模态参考实时交互流式天生的基础模子。。
拆开来看， ，，，A1在模子层面主要做了三件事：
参考条件要一连生效， ，，，新的交互要随时插进来， ，，，音频和视频还得一直往下天生。。
统一多模态参考、交互与流式天生
为了实现上面的效果， ，，，A1首先把多模态参考、实时交互和视频天生， ，，，统一进了一套原生流式架构。。
这听起来像是把几个？？？ ？？？榻釉谝黄穑 ，，，但真正难题的地方在于：
模子既要随时响应用户的新输入， ，，，又要在一直向宿世成的历程中， ，，，维持角色、物体和场景的恒久一致性。。
古板clip-based视频模子通常一次天生一个完整片断， ，，，由于可以提前看到整个片断， ，，，它能够统筹前后的行动和画面， ，，，相对容易包管人物、场景和物体关系不爆发显着转变。。
流式天生却没有这样的条件， ，，，它不知道几秒之后会爆发什么， ，，，只能一边看着已经天生的画面， ，，，一边吸收用户刚刚发来的指令， ，，，实时展望下一段内容。。
这就像一边铺铁轨， ，，，一边开火车。。天生一连得越久， ，，，误差就越容易一直累积。。角色的形状、位置和行动可能逐渐漂移， ，，，物体与场景之间的空间关系也可能被破损。。
最简朴的解决步伐， ，，，自然是让角色少动一点， ，，，用僵硬换稳固。。
但一只不敢转身、不敢走动， ，，，甚至不可真正接触情形的猫， ，，，显然谈不上拥有身体。。
A1的做法， ，，，是把图片、视频、声音、交互历史和已经天生的内容配合写入一连状态， ，，，让它们在后续流式天生中重复生效。。
详细的， ，，，A1通过因果时序建模和流式状态维护， ，，，让相邻行动坚持一连， ，，，并在更长时间规模内维持角色身份、场景和物体关系。。
其中， ，，，局部一连性先验认真让相邻行动自然接上， ，，，全局序列先验则看住更长时间里的角色身份、场景和物体关系。。
在此基础上， ，，，模子同时优化开放式指令遵照、时间一连性、角色一致性、物体一致性和运动动态， ，，，重点处理恒久天生中的视觉漂移、误差累积和行动衰减。。
换句话说， ，，，A1既要包管角色一直是它自己， ，，，也不可由于怕蜕化， ，，，就让它站在原地一动不动。。这是它与现有所有数字人相关模子产品最大的差别。。
不过， ，，，让角色和天下坚持一连， ，，，只解决了“它还在不在”的问题。。
想要像视频通话一样互动， ，，，它还得听懂文字之外正在爆发的一切。。
Speech、Audio、Gesture与Event统一建模
今天的大大都数字人， ，，，实质上照旧一条串起来的流水线：
ASR先把语音转成文字， ，，，LLM凭证文字天生回覆， ，，，TTS再把回覆酿成声音， ，，，最后由Motion Model或Video Model补上口型和行动。。
这套要领可以事情， ，，，但链路每多一层， ，，，就会多一次期待和信息交接。。
更贫困的是， ，，，许多信息基础没法被完整压缩成文字。。
一句话里的语气、停留和情绪， ，，，情形里突然响起的雷声、风声， ，，，或者画面中泛起的手势和行动， ，，，都可能在转写历程中被丢掉。。
A1没有把ASR文本看成唯一的交互中心体现， ，，，而是直接建模语言语义、声学特征、非语言声音、情形事务、手势和动态视觉信号。。
如上图所示， ，，，多模态上下文（包括音视频参考、系统prompt、历史帧等）会原生多模态地输入给A1模子， ，，，模子在最小时间片内（约300ms）就会推理出对上述上下文的最新响应token。。这部分可以明确为模子的“快思索”。。
更上层的Director Agent则认真“慢思索”——推理、思索、tool use， ，，，并异步给出长时序的宏观行为控制。。
于是， ，，，角色不必只等一轮完整的文字转写竣事后再行动。。
用户的语气爆发转变， ，，，情形里突然泛起新的声音， ，，，或者画面中有人做出新的行动， ，，，都可以成为新的触发信号， ，，，继续改变尚未天生的内容。。
这就是A1所强调的一连聆听和事务触发响应。。
感知、妄想、行为控制和音视频天生， ，，，不再是几个各自排队的离线使命， ，，，而是进入了统一条实时链路。。
到了这里， ，，，角色已经能够听懂用户， ，，，也知道接下来该做什么。。
但若是下一帧要等上几秒， ，，，这通视频电话依然打不起来。。
MJD把8-Step压缩到2-Step
实时性的下一道瓶颈， ，，，来自视频扩散自己。。
视频扩散的差别采样方法肩负着差别使命：有的先搭出语义结构和运动偏向， ，，，有的增补局部细节， ，，，尚有的认真维持前后画面的一连性。。
因此， ，，，直接镌汰采样步数， ，，，往往会同时损失行动幅度、画面细节和长时稳固性。。
为此， ，，，Vivix提出MJD（Multidimensional Joint Distillation， ，，，多维联合蒸馏）， ，，，以8-Step版本作为质量基线， ，，，把差别去噪阶段肩负的能力配合压缩进2-Step模子， ，，，而不是只针对单帧画质蒸馏。。
详细的， ，，，MJD同时优化三个目的：
Short-Horizon Generation Quality：保存快速采样下的视觉细节和运动体现；；；；Long-Horizon Temporal Consistency：抑制一连rollout中的漂移与累计误差；；；；Multimodal Distribution Alignment：对齐latent空间、像素空间以及语义和行动漫衍。。
别的， ，，，为防止模子通过少动换取稳固， ，，，MJD还让学生模子学习西席模子更完整的行动漫衍， ，，，同时在latent潜空间和原始数据空间中举行优化。。
前者看住整体生身漫衍， ，，，后者增补细小行动、视觉纹理和恒久累计误差优化。。
由此， ，，，视频扩散从8-Step质量基线压缩到2-Step推理， ，，，同时坚持了靠近8-Step版本的短时画质、指令遵照、运动体现和长时稳固性。。
近30B激活参数模子怎样跑进消耗级显卡
近期市面上陆续泛起一些近似实时推理的视频天生模子， ，，，包括一系列实时视频“天下模子”。。
他们的实现方式通常是基于小参数目（如1~5B）或较大的VAE压缩比（如16x16x8）来实现， ，，，牺牲了模子的capacity， ，，，导致模子效果要么不可有大运动， ，，，要么就会频仍泛起较大artifacts。。
从手艺博客中我们看到Vivix本次宣布的两个模子的有用激活参数靠近30B， ，，，并接纳了8x8x4的高质量压缩率， ，，，盘算下来每秒token吞吐需要做到前述事情的数十倍， ，，，这对模子推理本钱和实时性带来了极大挑战。。
为了稳稳接住这条实时链路， ，，，Vivix还推出了VMI， ，，，也就是Vivix Model Infra。。
VMI的思绪可以概括为三步：把相互滋扰的使命拆开， ，，，让模子以更低精度运行， ，，，再把盘算、通讯和内存统一调理。。
Encoder与Decoder解耦
第一步， ，，，是把容易相互堵车的使命拆开。。
多模态Encoder认真处理图片、视频、语音和其他参考条件， ，，，更适适用大Batch追求高吞吐；；；；Real-Time Decoder Loop则要一连逐帧天生， ，，，更在意低延迟、稳固输出和随时打断。。
若是把两者塞进统一个资源池， ，，，Encoder正在处理的批量使命， ，，，就可能堵住Decoder的实时链路。。
VMI因此把它们拆成自力服务， ，，，划分设置历程、资源池和扩缩容战略。。
参考图片和语音可以集中编码， ，，，正在举行的视频互动则不必在后面排队。。
在服务层完成Encoder与Decoder解耦之外， ，，，VMI还在推理阶段引入prefill/decode疏散， ，，，并重新设计了KV Cache传输层。。
这两种“拆开”处理的是差别问题：
前者隔离差别类型的使命负载， ，，，后者镌汰推理阶段之间的状态搬运和期待。。凭证Vivix的说法， ，，，这组成了其面向实时视频天生的PD疏散架构。。
整套链路最终支持稳固一连天生、模子级打断和实时重定向， ，，，Encoder与Decoder也可以自力弹性伸缩。。
据悉， ，，，这套流式调理器响应新输入最短仅需300毫秒， ，，，从用户给出新指令到画面泛起可见反映， ，，，平均延迟低于0.6秒。。
原生NVFP4训推协同
把编码息争码拆开， ，，，相当于先把蹊径疏通了。。
接下来更直接的问题是：近30B激活参数的模子， ，，，怎么装进消耗级显卡？？？ ？？？
谜底首先指向4-bit。。
更低的数值精度可以镌汰显存占用和盘算量， ，，，但视频扩散模子偏偏对量化误差格外敏感。。
单步盘算中的细小数值误差会沿去噪链路和长时间rollout一直累积， ，，，最终体现为细节退化、角色漂移和时序不稳固。。
以是， ，，，真正难题的并不是“能不可用4-bit跑起来”， ，，，而是跑起来以后， ，，，视频还能不可保住行动、细节和恒久稳固性。。
针对这一问题， ，，，VMI把Blackwell GPU支持的NVFP4 GEMM直接设为目的推理路径， ，，，并在训练和蒸馏阶段引入low-precision-aware distillation， ，，，让模子提前顺应4-bit数值漫衍， ，，，而非训练完成后直接做PTQ。。
别的， ，，，针对视频天生链路， ，，，VMI还加入了专门的去噪误差校正， ，，，压住量化误差在差别timestep和一连帧之间的累积。。
整套训练历程也会直接对齐最终安排使用的NVFP4 GEMM Kernel， ，，，镌汰训练精度与推理精度之间的漫衍偏移。。
实测现实， ，，，NVFP4相对BF16基线实现了天生质量靠近无损， ，，，同时降低显存占用并提高推理吞吐。。
极致的盘算、通讯调理与mega-kernel
NVFP4让模子装得下、算得动。。
但在多卡系统里， ，，，尚有最后一道不太显眼的瓶颈：GPU、PCIe和显存不可总在相互期待。。
在RTX级消耗GPU上， ，，，多卡通讯主要经由PCIe。。
若是GPU算完以后等数据， ，，，PCIe传完数据以后等盘算， ，，，大宗冷状态还一直占着显存， ，，，那么纵然每一个单独？？？ ？？？槎己芸欤 ，，，整条链路依然跑不起来。。
VMI为此构建了Compute-Communication-Memory Co-Scheduling Engine， ，，，将盘算、通讯和显存调理统一纳入统一张推理执行图。。
它先让Attention通讯、显存Offload和跨服务数据传输运行在差别CUDA Stream中， ，，，尽可能和GPU盘算重叠；；；；
再把盘算与通讯融合进Mega Kernel， ，，，镌汰中心状态写回和同步期待；；；；
最后使用CUDA Graphs捕获整张流式推理图， ，，，把原本数百次Kernel Launch压缩成少量统一提交。。
说得直白一点， ，，，就是能并行的只管并行， ，，，能合并的只管合并， ，，，不让Python、CPU和PCIe成为GPU前面的红灯。。
凭证测试效果， ，，，VMI实现单卡吞吐凌驾10000 video tokens/s；；；；在多卡链路中， ，，，PCIe带宽使用率抵达88%+。。
把三项优化放在一起看， ，，，逻辑着实很清晰：
Encoder与Decoder解耦， ，，，认真疏通实时链路；；；；原生NVFP4训推协同， ，，，认真让近30B激活参数模子装得下、跑得动；；；；盘算、通讯和内存协同调理， ，，，则认真祛除多卡系统里那些看不见的期待。。
到这里， ，，，A1才算完成了从“模子可以交互”， ，，，到“交互可以实时运行”的最后一公里。。
从一个角色， ，，，到一个一连演变的天下
从统一多模态参考与流式天生， ，，，到原生交互信号建模；；；；从8-Step压缩到2-Step， ，，，再到Encoder/Decoder解耦、原生NVFP4和整套协同调理引擎， ，，，六项手艺配合补上了实时交互链路中的差别缺口。。
一套组合拳下来， ，，，最终实现了近30B激活参数、近似无损的消耗原生NVFP4、消耗级显卡实时天生。。
以是， ，，，Vivix-A1交付的不再只是一个实时交互的看法， ，，，而是一套已经运行起来的原生流式多模态模子。。
现在， ，，，屏幕另一端的AI已经最先闻声你、转过身， ，，，并继续在自己的天下里向前走。。
今天， ，，，A1先让谁人角色活了起来。。W1想做的， ，，，则是让它死后的天下， ，，，也随着你的选择一起改变。。
虽然， ，，，这距离真正的“平行天下”虽然还很远。。
但至少， ，，，这通电话已经传来了第一声回音。。
