Skip to content

王炸 wan2.2 视频加速的生产力工具

youxiaohanpian
Published date:

万相视频是目前唯一一个免费开源和可灵接近的ai生成工具了,必须要研究一下

Image

先说实际测试结果:

Wan2.2 14B+LightX2V_r64+sageattn2.2 744x504x81帧 6步 5090=46秒,但动作略失细节 10步=68秒,细节几乎完美。显存最高占用22g,4090+24g也完全可用。如果加上 blockswap,16g 显存毫无压力

速度问题

Image

玩2.2模型的问题 ,虽效果好但速度慢、显存占用大。它并非单独MOE模型,运行效率低。

目前新功能基本支持且还在更新。通过使用官方工作流分析其两次采样机制。 初始工作流分析与首次加速尝试:704x544分辨率,4090运行生成5s正常运行约500s, 第一次用高噪模型规划视频运动,第二次用低噪模型提升细节,时间均约200秒。

  1. 4090先采用 Teacatch+SageAttention 方法,添加 KJ 的 Patch Sage Attention (挂在底模后面,加两次) 设置 Teacatch 阈值主要为 0.25-0.26 ,速度从约 500 秒缩至 250秒。不开 Sageattention 加速在 20s 170s,都加上则速度为 123s,速度已经快一倍
  2. 添加 lightxt2v 加速框架,6rack64,可以尝试128的,还考虑到不同框架的步数及质量问题。
  1. 调整总步数、采样步数、调度器等参数,在保证质量前提下,速度提升到约90秒。如将总步数设为12步,前后各6步,后考虑质量问题将light textube设为每次3步,最终调整为6步,调度器改为LCM跟simple 。经这些调整,速度提升到约一分半,且画面质量无明显损失。
  2. 探讨进一步优化可能,认为速度快到一定程度后,应更关注质量

注意事项

Sage Attention 和 Teacache不兼容,不能同时使用

wan2.2关键字整合

光源:

日光:Daylight 实用光:Practical Light 阴天光:Overcast Light 人工光:Artificial Light 火光:Firelight 混合光:Mixed Lighting 月光:Moonlight 荧光:Fluorescent Light 晴天光:Direct Sunlight

光线:

柔光:Soft Light 侧光:Side Light 边缘光:Rim Light 硬光:Hard Light 背光 :Backlight 剪影光:Silhouette 顶光:Top Light 底光:Bottom Light 高对比度:High Contrast

时间:

白天Daytime 日落Sunset 夜晚Nighttime 黎明Dawn 黄昏Twilight 日出Sunrise

机位角度:

过肩角度:Over the Shoulder 倾斜角度:Dutch Angle 高角度:High Angle 航拍:Aerial Shot 低角度:Low Angle 俯视角度:Overhead

构图:

中心构图:Centered 对称构图:Symmetrical 右/左侧重构图:Right/Left Weighted 平衡构图:Balanced 短边构图:Short Siding

镜头焦段:

中焦距:Standard 望远:Long Lens 广角:Wide 超广角/鱼眼:Fisheye 长焦:Telephoto Lens

镜头类型:

干净的单人镜头:Single Shot 群像镜头:Group Shot 双人镜头:Two Shot 定场镜头:Establishing Shot 三人镜头:Three Shot

色调:

暖色调:Warm Tone 高饱和度:High Saturation 冷色调:Cool Tone 低饱和度:Low Saturation

基础运镜:

镜头推进:Pull in 镜头向左移动:Pan Left 镜头拉远:Pull Back 镜头上摇:Tilt Up 镜头向右移动:Pan Right

高级运镜:

手持镜头:Handheld shot 跟随镜头:Tracking shot 复合运镜:Multi camera motions 环绕运镜:Orbiting camera

人物表情:

愤怒:Angry 悲伤:Sad 恐惧:Fear 惊讶:Surprised 高兴:Happy

景别:

特写:Extreme Close-up 中全景:Medium Long Shot 近景:Close-up shot 全景:Long Shot 中景:Medium Shot 广角:Wide Shot


Previous
梦的低语——一首英文小诗
Next
【心理学畅销】《人生十二法则》及《人生十二法则2》读书笔记