万相视频是目前唯一一个免费开源和可灵接近的ai生成工具了,必须要研究一下

先说实际测试结果:
Wan2.2 14B+LightX2V_r64+sageattn2.2 744x504x81帧 6步 5090=46秒,但动作略失细节 10步=68秒,细节几乎完美。显存最高占用22g,4090+24g也完全可用。如果加上 blockswap,16g 显存毫无压力
速度问题

玩2.2模型的问题 ,虽效果好但速度慢、显存占用大。它并非单独MOE模型,运行效率低。
目前新功能基本支持且还在更新。通过使用官方工作流分析其两次采样机制。 初始工作流分析与首次加速尝试:704x544分辨率,4090运行生成5s正常运行约500s, 第一次用高噪模型规划视频运动,第二次用低噪模型提升细节,时间均约200秒。
- 4090先采用 Teacatch+SageAttention 方法,添加 KJ 的 Patch Sage Attention (挂在底模后面,加两次) 设置 Teacatch 阈值主要为 0.25-0.26 ,速度从约 500 秒缩至 250秒。不开 Sageattention 加速在 20s 170s,都加上则速度为 123s,速度已经快一倍
- 添加 lightxt2v 加速框架,6rack64,可以尝试128的,还考虑到不同框架的步数及质量问题。
- 能否加 FusionX,可能可以,但会改变改变人物一致性
- xvideo 步数要求更高,早期加速框架
- cosvid 质量不是很好,导致变色
- 调整总步数、采样步数、调度器等参数,在保证质量前提下,速度提升到约90秒。如将总步数设为12步,前后各6步,后考虑质量问题将light textube设为每次3步,最终调整为6步,调度器改为LCM跟simple 。经这些调整,速度提升到约一分半,且画面质量无明显损失。
- 探讨进一步优化可能,认为速度快到一定程度后,应更关注质量
注意事项
Sage Attention 和 Teacache不兼容,不能同时使用
wan2.2关键字整合
光源:
日光:Daylight 实用光:Practical Light 阴天光:Overcast Light 人工光:Artificial Light 火光:Firelight 混合光:Mixed Lighting 月光:Moonlight 荧光:Fluorescent Light 晴天光:Direct Sunlight
光线:
柔光:Soft Light 侧光:Side Light 边缘光:Rim Light 硬光:Hard Light 背光 :Backlight 剪影光:Silhouette 顶光:Top Light 底光:Bottom Light 高对比度:High Contrast
时间:
白天Daytime 日落Sunset 夜晚Nighttime 黎明Dawn 黄昏Twilight 日出Sunrise
机位角度:
过肩角度:Over the Shoulder 倾斜角度:Dutch Angle 高角度:High Angle 航拍:Aerial Shot 低角度:Low Angle 俯视角度:Overhead
构图:
中心构图:Centered 对称构图:Symmetrical 右/左侧重构图:Right/Left Weighted 平衡构图:Balanced 短边构图:Short Siding
镜头焦段:
中焦距:Standard 望远:Long Lens 广角:Wide 超广角/鱼眼:Fisheye 长焦:Telephoto Lens
镜头类型:
干净的单人镜头:Single Shot 群像镜头:Group Shot 双人镜头:Two Shot 定场镜头:Establishing Shot 三人镜头:Three Shot
色调:
暖色调:Warm Tone 高饱和度:High Saturation 冷色调:Cool Tone 低饱和度:Low Saturation
基础运镜:
镜头推进:Pull in 镜头向左移动:Pan Left 镜头拉远:Pull Back 镜头上摇:Tilt Up 镜头向右移动:Pan Right
高级运镜:
手持镜头:Handheld shot 跟随镜头:Tracking shot 复合运镜:Multi camera motions 环绕运镜:Orbiting camera
人物表情:
愤怒:Angry 悲伤:Sad 恐惧:Fear 惊讶:Surprised 高兴:Happy
景别:
特写:Extreme Close-up 中全景:Medium Long Shot 近景:Close-up shot 全景:Long Shot 中景:Medium Shot 广角:Wide Shot