deepfacelab个人训练心得
本帖最后由 随风漂流 于 2025-6-11 09:32 编辑SRC 素材质量很重要，好的src素材才可以训练出好的清晰的模型，有时候需要从多个电视剧才能提取出全角度的素材，src素材是最麻烦的， 推荐4k视频提取 1024 头像，src角度尽可能的全，下牙的素材也需要找出来，素材数量推荐在 2K 到- 8K张左右
src 图片越多，需要训练的次数越多才能达到模型清晰，举个不太恰当的例子 ： 2000张 src 素材 需要训练50万迭代， 那么 8000 张 src 素材 需要训练150万迭代，当然这个举例不太恰当，但是意思就是这样，src素材越多需要训练更多的迭代次数才能让模型变清晰
如果素材太多，训练次数少oss值大 ，模型相似度也会降低
如果 src 素材 几十张，角度也比较齐全，训练速度会很快，也许几个小时就可以训练清晰，但是由于src素材太少，src素材缺失很多角度表情导致模型学不到，最终的模型效果也不太理想，比如 笑，哭，闭眼等模型学不到相似度会很低
关于 bs （batch size），开启随机扭曲的时候，224分辨率，256分辨率， 288分辨率， bs = 4 或者 bs = 6 或者 bs =8 都可以（三维适中）
如果是 320分辨率以上，开启扭曲训练bs =4 ，模型训练处理相似度会比较低， 推荐 bs = 8
src 素材和 dst素材， dst里边不要放 src 素材，要不然模型训练出来相似度会降低
如果是直播换脸，推荐 224 256 288 这三个分辨率liae架构的模型，并且模型三维参数不要太高，模型参数太高的话，训练速度会很慢，并且直播的时候帧率会很低
如果是视频换脸， 可以选择df 架构， 推荐 rope，facefusion，VIsoMaster 这些换脸工具，都支持dfm模型，当然也可以使用 deepfacelab 自带的， deepfacelab自带的合成换脸视频非常落伍了，操作比较麻烦
注意事项，
我一般用 288分辨率模型，deepfacelab-MVE训练
第一步开扭曲bs 等于 4开启随机颜色（开启随机颜色模型光影效果好）
其他参考https://www.aibl.vip/forum.php?mod=viewthread&tid=13
最后一步 关闭随机颜色，开gan的时候，bs开到最大，颜色转换选择 rct
随机压缩和 随机采样降低采样率 一直开启
（liae架构的一般不会出现坏丹，Enable gt zoeulipping 梯度递减一般不开启， df架构的需要开启梯度递减 ）
模型训练一般在 100W-200W 迭代就可以出个很清晰的模型，src素材非常重要
deepfacelab-MVE：https://www.aibl.vip/forum.php?mod=viewthread&tid=597
女性dst素材推荐： https://www.aibl.vip/forum.php?mod=viewthread&tid=1774
dst的数量应该也非常增加训练时间，
而且数量多一倍，训练时间应该不止增加一倍而已
所以，我现在的做法是，假如我要换的dst不会出现的明暗、表情、眼神、发型，我都会尽量剔除掉，
以减少训练的时间，
也就是我的dst训练集是要有针对性的，不能包罗万有，否则很多的训练应该是用不上的 Jitbowu 发表于 2025-6-11 01:43
dst的数量应该也非常增加训练时间，
而且数量多一倍，训练时间应该不止增加一倍而已
所以，我现在的做法是 ...
我是训练万能直播模型的，不是换视频的 本帖最后由 DFL小白02 于 2025-6-11 12:13 编辑
隔壁有人说dst人脸太杂的话训练的越多相似度会反而降低？有这种感觉吗 向大佬请教一个问题，用rope配合dfm，为什么出来的人脸，中远景还可以，近景的大脸会出现重影，也就是糊了，是不是模型质量不行 noor 发表于 2025-6-12 18:13
向大佬请教一个问题，用rope配合dfm，为什么出来的人脸，中远景还可以，近景的大脸会出现重影，也就是糊了 ...
可能是模型质量，你用我的 彭小冉的模型 试试 本帖最后由 aibl81316 于 2025-6-14 20:09 编辑
感谢分享！
页:
[1]