通过实现帧内并行采样,帧间自回归的方式,NFD让视频生成在保持较高生成质量的同时,生成效率大幅提升。
值得一提的是,前段时间在X上火了的一款基于Minecraft的交互式自回归世界模型——MineWorld,也是这个微软研究院的团队做的。
当前多数的自回归视频生成模型如VideoPoet采用类似于Language Model的方式,将视频编码成离散视频Token,并逐个生成Token。
因此,研究人员采用了Next-Frame Diffusion(NFD)的方式来建模视频,其使用帧内双向注意力,帧间因果注意力机制的方式来建模视频,并采用扩散模型多步迭代生成连续Token。
将一致性蒸馏扩展到视频领域,并专门针对视频模型优化,从而少量采样步骤,实现高效推理;提出了投机采样方法。由于相邻帧常常动作输入相同,模型使用当前动作输入生成多个后续帧,若输入动作发生变化,则丢弃投机生成的帧,以充分利用并行计算能力。
具体来说,NFD的架构包含一个将原始视觉信号转换为Token的Tokenizer,以及生成这些Token的基于扩散的Transformer模型。在Transformer内,研究人员使用了块状因果注意力机制,结合帧内的双向注意力和帧间的因果依赖,高效建模时空依赖性。
相比计算密集的3D全注意力,该方法将整体成本减少50%,支持高效地并行预测下一帧所有Token。
研究人员基于Flow Matching构建训练流程,追求简单和稳定性。对于视频帧xi,分配一个独立时间步t,并通过线性插值生成加噪版本:
在采样阶段,研究人员采用DPM-Solver++,通过以下公式对同一帧的所有Token去噪:
虽然NFD在推理阶段支持并行Token采样,受限于扩散模型的多步采样,实现实时视频生成仍具挑战性。
因此,研究人员首先将一致性蒸馏扩展到视频领域,通过数学变换将流匹配模型转换TrigFlow模型,从而简化了连续时间一致性模型的训练,并针对视频数据的特性进行调整。
在投机生成后,将预测动作与实际后续动作输入进行比较。一旦检测到预测与真实动作不一致,丢弃之后的所有投机帧,并从最后验证的帧重新开始生成
其中,NFD指使用Flow Matching目标训练并通过DPM-Solver++进行18次采样的模型;NFD+为加速版本,通过一致性蒸馏实现4步采样,并结合了投机采样技术。
NFD+通过高效采样策略显著加速:130M和310M模型分别达到42.46FPS和31.14FPS,远超所有基线。
即使速度提升,NFD+仍保持竞争力的视觉质量,310M模型在PSNR上达到16.83,FVD为227,与更大的MineWorld模型表现相当。
最后总结来说,团队认为当下视频生成模型在各个领域百花齐放,有诞生像Sora、可灵、Veo3这样的产品,也有Genie、MineWorld这样的游戏世界模拟器,为未来世界模型的实现提供了巨大意义。随着视频模型广泛的应用,更灵活、更高效的生成范式变得越来越重要。
嫩芽翠绿欲滴,伸展到近前,让它忍不住大叫,眼中充满了惊惧,双翅一展,雷电交织,它冲霄而上,就要逃走。
三是要注重学习,学以致用。在学习方面,我们要带着问题去学习、去思考。例如:新农合是怎样收取的?是怎样发展的?只有结合自身的实际,带着问题去听取授课教师的讲课,才能更好地学到所需要的知识,从而提高处理各种问题的能力。
“呀,我做到了。”小不点松手,巨石顺着瀑布滚落了下去,隆隆声惊天动地,宛若发生了一场大地震。
2。生活中我们肯定用了不少纸盒、瓶子,那么多材料我们能够直接回收,或者废物利用。我们能够把瓶子洗净,用来继续喝水;我们能够在瓶子盖头上戳几个小洞,把已用过的水灌进去,变成一个浇花器;我们能够把废盒子的顶部剪去,再在竖着的另外四面进行装饰、修剪花纹,能够做成一个收纳盒……自我动手,发挥想象吧!
第一,深刻认识召开第十一次党代会对学校发展的重要意义。开好党代会是建设高水平、特色型大学,培养创新人才,实现学校跨越式发展的需要。为国家经济建设和社会发展培养合格的建设者和可靠接班人是高等院校坚持社会主义办学方向的本质要求。我校第十次党代会召开以来,我们通过召开七次全委会,围绕着“培养什么人,怎样培养人”和“办什么样的大学,怎样办好大学”等重要问题,以学科建设为龙头,实施学校人才强校战略,推进学科建设,促进申请优势学科平台,加强师资队伍建设,推进高等教育质量工程等等,为推动学校改革发展稳定提供了坚强的政治、思想和组织保障。当前,我国正处在一个由高等教育大国向高等教育强国迈进的新的历史起点,学校的发展也进入到了一个关键的发展时期。国家对高等教育、培养创新人才提出了新的要求,建设创新型国家已经成为国家发展的战略核心。培养具有创新精神和创新能力的优秀拔尖人才,提升学校的办学水平和质量已经成为当前我们办学面临的一个重要问题。最近,在施建军校长的倡导下召开的学科建设研讨会、国际化工程启动会和博士生培养工作会等就抓住了我们学校学科建设、人才培养的关键。通过调研和讨论,全校教职员工、全校上下对学校的发展定位、发展战略和发展路径,在凝聚共识的基础上,进一步细化为实施。要把这些已经确定的共识、思路和具体实施办法变成实际的成果,就需要全校上下、各级党组织和全体的支持、参与、团结全校师生员工来推进学校的发展。通过筹备召开第十一次党代会,我们要认真总结过去近五年工作中的经验和做法。特别是党建工作围绕学校发展所做的工作,围绕学科建设、师资队伍建设、人才培养,调动各方面积极性和创造性,全力推进学校事业发展的经验来总结党的工作,提高党建工作的水平。
近年来,尤其是“十五”以来,我市围绕“领先”的整体目标,把加快城镇化作为促进全市经济社会发展的重要措施之一,城镇建设取得了显著成绩,可以说,无论是新城区开发、老城区改造还是小城镇建设,都有大变化、新亮点、好经验,城镇面貌发生了历史性巨变,显现以下五个特点:
大湖也正是因为这种剧烈的山势变化而干涸的,这片大泽如今死气沉沉,再也没有了当年碧波连天、浩瀚无垠的景象。
新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证
连日来,在福成镇古城村的大棚里,一个个色泽金黄、大小均匀的甜瓜,错落有致垂挂在藤蔓上,散发着清甜气息。 20多个农户们正紧张忙碌着,有的穿梭在瓜蔓间,熟练地采摘,...
胡一天新对接的项目应该就要开了,他已经500多天没进组了,离开华策之后基本上对接的项目都不太成,片酬一直没怎么降 最近因为肉丝的事,很多人马思纯拉出来比较,说她当...
在这个信息爆炸的时代,网络上的各种爆料层出不穷,令人目不暇接。从离奇的家庭纷争到荒诞不经的名字由来,再到虚拟与现实的双重面孔,每一个故事都让人在惊讶之余不禁深思。今天,我们就来盘点一些...
视频中,肉肉老公表情淡定,先是爆料自己抓包妻子与其他男性在被窝里聊天,而后以戏谑的口吻讲述了自己与妻子之间纠葛。 明眼人都能看出肉肉老公发布视频明面上希望妻子回归...