阿里云联合上海交大攻关DiT推理加速,,3篇论文入选视觉顶会ECCV
2026-07-18 04:49:00 宣布
泉源:霏凡软件站
作者:郑玲冰
浏览:9641次
7月9日新闻,,欧洲盘算机视觉顶级聚会ECCV 2026宣布效果,,阿里云与上海交通大学张林峰教授团队相助的3篇论文被主会收录,,研究偏向均聚焦Diffusion Transformer(DiT)架构下的高效推理加速,,涵盖时序误差校正、自顺应特征剖析、时空令牌筛选三条手艺蹊径。。。。。其中在高分辨率图片天生场景下,,可将算力需求缩短近90%,,综合提速最高14.76倍。。。。。
ECCV是盘算机视觉领域公认的三大国际顶级学术聚会之一,,目的检测、图像支解、视觉Transformer等多项影响行业名堂的焦点手艺,,均首次亮相该聚会。。。。。DiT作为目今主流视觉天生模子的通用架构,,普遍应用于文生图、文生视频、图像编辑等领域,,但推理本钱高、天生耗时长的问题日益突出,,被业界视为AIGC规;;;;涞氐闹饕烤敝。。。。。
3篇论文入选视觉顶会ECCV 2026
第一篇论文《Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache》聚焦时序缓存误差校正。。。。。DiT天生一张图通常要跑几十上百步去噪,,业界常用“特征缓存”跳步复用,,但展望误差会随之滚雪球式放大。。。。。团队发明缓存残差在局部严酷听从零均值高斯漫衍,,据此用高斯历程回归搭建轻量级校正模????,,可无缝挂载至主流时序缓存算法之后。。。。。与TaylorSeer连系后,,在Qwen-Image上把盘算量再降19.3%的同时,,PSNR提升0.9dB,,LPIPS从0.65降至0.29,,实现更快且更清晰的天生效果,,破解了长区间展望漂移难题。。。。。
比照差别基线缓存要领与GP-Refiner连系前后天生图像的视觉效果
第二篇论文《LinCa: Accelerating Diffusion Models via Learnable Decomposed Feature Caching》提出基于可学习可逆网络的特征缓存框架LinCa,,首次系统性地发明扩散特征演化的异质性同时保存于跨模子、跨去噪阶段、跨特征维度三个层面。。。。。LinCa将原始特征沿通道维度剖析为差别“性格”的子分量,,对一连性强的子分量接纳高阶展望器外推,,对突变性强的子分量则直接复用,,单卡GPU训练1小时即可完成适配。。。。。测试中,,FLUX.1-dev实现5.51倍加速,,Qwen-Image达6.95倍,,HunyuanVideo视频模子实现5.50倍加速,,画质指标周全领先主流方案。。。。。
在Qwen-Image-Edit上,,LinCa体现出更优的提醒明确能力,,并天生高保真图像,,同时坚持未编辑区域的一致性
动态分辨率是高分辨率DiT推理的焦点加速偏向之一,,但古板方案在分辨率切换时会统一上采样所有隐式令牌,,导致大宗配景、低语义区域爆发冗余盘算;;;;现有局部上采样要领多依赖边沿、纹理等底层视觉特征,,难以匹配文本语义与编辑指令的需求,,容易造成要害区域细节缺失。。。。。
阿里云和交大相助的第三篇论文《AViTS: Adaptive Spatiotemporal Token Selection for Efficient DiTs with Dynamic Resolution》提出了时空动态令牌筛选框架AViTS,,通过“低分辨率打底—选择性上采样—全分辨率精修”三阶段天生流程,,砍掉配景与低语义区域的冗余算力。。。。。该要领完全在推理阶段执行,,无须重新训练,,且与特征缓存、模子蒸馏、量化等加速手艺完全正交。。。。。实验数据显示,,AViTS在FLUX模子上最高实现6.34倍推理加速,,编辑场景FLOPs削减近9倍;;;;叠加方法蒸馏后,,综合提速最高可达14.76倍。。。。。
AViTS 整体架构:包括时空主要度盘算模????橛肴斗直媛实萁骼砹鞒
据相识,,上述3项手艺已完整集成至阿里云自研的WuYingDiT推理加速引擎,,并全量落地至无影灵构一站式AIGC创研平台,,服务游戏美术、电商设计、影视制作、新媒体等行业客户,,原生适配FLUX、Qwen、混元视频等主流天生基座,,客户无需刷新现有事情流即可一键启用。。。。。
阿里云方面体现,,未来将一连在端侧天生式AI前沿手艺偏向开展研究,,把真实营业场景中的手艺难题与学术研究相连系,,一连迭代WuYingDiT加速引擎,,进一步降低端侧、边沿场景高保真天生式AI的应用门槛。。。。。
作为“止痒市肆”认真选品和创意的认真人,,罗子渊以为自己着实“很苦、很累、很忙”。。。。。由于她要时时刻刻地关注生涯,,洞察市场上年轻人所需要的“止痒点”,,然后一直地实验、否认,,最后找到一个真正让各人都以为“有趣”的工具来。。。。。
责任编辑:王家玮 校对:黄琼来