deepfacelab个人训练心得

随风漂流

SRC 素材质量很重要，好的src素材才可以训练出好的清晰的模型，有时候需要从多个电视剧才能提取出全角度的素材，src素材是最麻烦的， 推荐4k视频提取 1024 头像，src角度尽可能的全，下牙的素材也需要找出来，素材数量推荐在 2K 到- 8K张左右
src 图片越多，需要训练的次数越多才能达到模型清晰，举个不太恰当的例子 ： 2000张 src 素材 需要训练  50万迭代， 那么 8000 张 src 素材 需要训练150万迭代，当然这个举例不太恰当，但是意思就是这样，src素材越多需要训练更多的迭代次数才能让模型变清晰
如果素材太多，训练次数少oss值大 ，模型相似度也会降低
如果 src 素材 几十张，角度也比较齐全，训练速度会很快，也许几个小时就可以训练清晰，但是由于src素材太少，src素材缺失很多角度表情导致模型学不到，最终的模型效果也不太理想，比如 笑，哭，闭眼等模型学不到相似度会很低
关于 bs （batch size），开启随机扭曲的时候，224分辨率，256分辨率， 288分辨率， bs = 4 或者 bs = 6 或者 bs =8 都可以（三维适中）
如果是 320分辨率以上，开启扭曲训练bs =4 ，模型训练处理相似度会比较低， 推荐 bs = 8
src 素材和 dst素材， dst里边不要放 src 素材，要不然模型训练出来相似度会降低
如果是直播换脸，推荐 224 256 288 这三个分辨率liae架构的模型，并且模型三维参数不要太高，模型参数太高的话，训练速度会很慢，并且直播的时候帧率会很低
如果是视频换脸， 可以选择df 架构， 推荐 rope，facefusion，VIsoMaster 这些换脸工具，都支持dfm模型，当然也可以使用 deepfacelab 自带的， deepfacelab自带的合成换脸视频非常落伍了，操作比较麻烦
注意事项，
我一般用 288分辨率模型，deepfacelab-MVE训练
第一步开扭曲  bs 等于 4  开启随机颜色（开启随机颜色模型光影效果好）
其他参考  https://www.aibl.vip/forum.php?mod=viewthread&tid=13
最后一步 关闭随机颜色，开gan的时候，bs开到最大，颜色转换选择 rct

随机压缩  和 随机采样降低采样率 一直开启  
（liae架构的一般不会出现坏丹，Enable gt zoeulipping 梯度递减一般不开启， df架构的需要开启梯度递减 ）
模型训练一般在 100W-200W 迭代就可以出个很清晰的模型，src素材非常重要




deepfacelab-MVE：https://www.aibl.vip/forum.php?mod=viewthread&tid=597
女性dst素材推荐：   https://www.aibl.vip/forum.php?mod=viewthread&tid=1774

Jitbowu

dst的数量应该也非常增加训练时间，
而且数量多一倍，训练时间应该不止增加一倍而已
所以，我现在的做法是，假如我要换的dst不会出现的明暗、表情、眼神、发型，我都会尽量剔除掉，
以减少训练的时间，
也就是我的dst训练集是要有针对性的，不能包罗万有，否则很多的训练应该是用不上的

随风漂流

Jitbowu 发表于 2025-6-11 01:43
dst的数量应该也非常增加训练时间，
而且数量多一倍，训练时间应该不止增加一倍而已
所以，我现在的做法是 ...

我是训练万能直播模型的，不是换视频的

DFL小白02

隔壁有人说dst人脸太杂的话训练的越多相似度会反而降低？有这种感觉吗                                                                                                                                                                                             

noor

向大佬请教一个问题，用rope配合dfm，为什么出来的人脸，中远景还可以，近景的大脸会出现重影，也就是糊了，是不是模型质量不行

随风漂流

noor 发表于 2025-6-12 18:13
向大佬请教一个问题，用rope配合dfm，为什么出来的人脸，中远景还可以，近景的大脸会出现重影，也就是糊了 ...

可能是模型质量，你用我的 彭小冉的模型 试试