这是一个关于个人训练混元视频Lora测试工作流,附加一些个人笔记

lora提示词参考已经内置工作流内

但是目前个人建议还是下载本地运行

Lora下载地址:

https://www.liblib.art/modelinfo/7544a9b3572a49b093039ef1d740aea6?from=personal_page&versionUuid=0fdc25d3a16d443883242aa626424f0c


关于笔记部分:

HunyuanVideo已知的版本有:混元官方标准版本、fp8版本、fastvideo版本、gguf版本

混元官方标准版本需要很大的显存,参考45g\60g

而fp8版本4090用没压力,fastvideo同理,gguf版本更低显存可以使用


个人测试:

fp8官方版本,总帧数:73,生成尺寸:720*1280 4090 24g炸显存,544*960正常生成,生成时间4分钟左右

129帧544*960,gpu拉满,VRAM占用96%-99%

当使用KJ大佬的插件在云平台部署,attention_mode==sdpa时生成黑屏,修改成comfyui/flash模式正常


fastVideo模型在KJ插件下运行(原生comfyui支持好像不行),fastvideo 6step, 49帧用时间:80秒左右

加入STG_A需要sdpa模式

STG_R 用comfyui,VRAM占用87% 33帧,时间85秒

个人感觉STG并没让视频质量高多少,个人不推荐使用


GGUF版本Q4_0:

720*1280 37帧 4090 24g,耗时:4分钟,正常出结果

720*1280 73帧 4090 24g采样正常,解码炸显存

544*960 73帧 4090 24g采样正常,解码炸显存

随后解码替换成分块解码正常出结果


关于clip:  

clip_l建议用openai-clip替代

fp8模式下,在原生comfyui支持用双clip,需要下载llava_llama3_fp8_scaled.safetensors


所有的资源在huggingface都可以下载到

测试小结:

GGUF质量堪忧,fastvideo稍好一丢丢,个人都不建议使用

fp8标准版本可以放心使用,如果你有更好的卡 例如A800 等,可以尝试用fp32(多卡或单卡显存>45g)