转DFL换脸技术关键三要素

woshini

素材---模型---方法

----------------------------三个关键要素缺哪个都影响着整个换脸效果

---换脸目的就是把SRC的面貌特征整体搬到DST上
---从脸庞能让人分辨出是某人，无不在于动作，表情及神情姿态
---要把这些特征能尽可能的搬到DST上，模型架构很重要，这就是为什么我热衷DF模型架构的原因之一
---模型是面折射镜，效果好坏全靠素材的映射，模型再好若没好素材就成了面照妖镜
---好素材、好模型，出好效果后还需要好方法才能合成出好的效果

素材
---所谓一套完整的SRC素材，包含各种角度，各种光景，各种表情，各种神态；除非你是要做大工程，不然并没有必要去追求
---SRC素材只要有DST的角度范围内的表情，神态，特征已经能完成一次换脸操作
---素材如果缺角度，那效果就不能换出SRC的角度样子（换出来轮廓看上去不像，百分之60的不像都因轮廓）
---素材如果缺表情，那效果就不能体现SRC的表情特征（换出来该闭眼的没闭，该笑的却在哭等）
---素材如果缺光影，那效果就不能溶入DST的背景光线（脸部出现闪烁，颜色不对，很难融合等）
---素材清晰度是各人追求，如果DST素材原本不算高清，也没必要SRC的超清，非要毛孔都出来的，这也是一种追求
---总的来说，素材如果不齐，效果就不可能会好，最关键的要素


模型
---当你有了一套完整的SRC素材，如果没有好的模型去给你映射出效果，那也是需要花费很大的时间与精力
---是不是有时训练的迭代数很多很久都觉得不像SRC？又或者SRC素材本来很齐全，却怎么都练不出好的效果？怎么看都留有DST的影子？很难变得清晰？这时你就要考虑是模型的问题
---如果用亚州女性人像练的模型，在换男性人脸时会很慢，换欧美人时会更慢，为什么？因为人像练出来的模型局限性很大，不同人种的五观位置不一样，限定模型在某个特定区域对色彩的学习
---这种情况常在遇到五观位置差别大时就会出现，一但出现就要通过开启各种参数来重新调整让模型学习
---把模型当作一辆车，一档起步，到了时速20KM时换二档，30KM换三档，40KM换四档，50换五档，80以上换6档
---相当于在训练过程中视迭代效果来开启各项参数，以保证模型的正常学习率
---后来对模型研究有了深入的了解和突破，相当于把一辆车的各项性能都调较得比较完美，只需要一组参数就能跑到输出，连LRD，GAN都不需要了。相当于起步一档就到120KM
---所以有好素材，没有好的模型，效果也不会有预期中的理想，好模型是你成功换脸的第二关键要素

方法
---新手就按照下边的方法

参数开关		第一阶段	第二阶段	第三阶段	第四阶段	第五阶段	第六阶段	第七阶段	第八阶段	完成阶段
SRC随机反转:Flip SRC faces randonly (不太建议使用)		关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭
DST随机反转:Flip Dst focey randomly (素材较少时建   常开)		开启	开启	开启	开启	开启	开启	开启	开启	开启
批量大小:Batchszdoo(如模型崩溃，请尝试降低此参数至正常运行）		4/8	8/16	8/16	8/16	8/16	8/16	8/16	推荐16	8/16
训练遑罩:Masked calning (建议全程开启)		开启	开启	开启	开启	开启	开启	开启	开启	开启
眼嘴优先:Eyesand mouth priority		关闭	开启	关闭	关闭	关闭	开启	关闭	关闭	开启
侧脸优化:Uniform yaw distribution of samples		关闭	关闭	开启	开启	关闭	关闭	开启	关闭	开启
迪媢边掾模糊:Blur out mask (建议中后期开启)		关闭	关闭	关闭	关闭	开启	开启	开启	关闭	开启
模型和优化器放GPU上: Place models and optimizer on GPU		开启	开启	开启	开启	开启	开启	开启	开启	开启
信仰优化器:Use AdaBeliefoptimizer (建议全程开启)		开启	开启	开启	开启	开启	开启	开启	开启	开启
学习率下降:Use learning rate dropout		关闭	关闭	关闭	开启	关闭	关闭	关闭	开启	关闭
随机扭曲:Enable random warp of samples		开启	开启	开启	开启	关闭	关闭	关闭	关闭	关闭
随机色调/饱和度/光强度		关闭	关闭	关闭	关闭	0.01	0.01	0.01	关闭	关闭
Gan强度:GAN power(容易崩溃，抛出想要效果后及时关闭）		关闭	关闭	关闭	关闭	关闭	关闭	关闭	0.01	关闭
真睑强度: True face' power		关闭	关闭	关闭	关闭	0.01	0.01	0.01	关闭	关闭
背景强度:Background style powe		关闭	关闭	关闭	关闭	0.01	0.01	0.01	关闭	0.01
颜色转换模式:Color trevsier oroaceset		none	none	none	none	rct/lct	rct/lct	rct/lct	rct/lct	rct/lct
梯度剪裁:Enable gt zoeulipping		开启	开启	开启	开启	开启	开启	开启	开启	开启
预训练(不是跑万能底就无需开启)		关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭
阶段转换条件，主要看预压窗口效果建议每次调整参数前都先备份好模型文件		loss<0.3或	loss极慢或不降反升	loss<0.3或 不降反升	loss<0.1或 不降反升	loss极慢或 不降反升	loss极慢或 不降反升	loss极慢或不降反升	注意备份 至少2-3W
		不降反升

yzc281

感谢分享

a1640000

感谢分享

brianhiew

想学好的还是建议多多尝试各种参数，主要是选各种不同的短视频开始摸索，才能有自己的一套

是短视频 短视频 短视频

很重要说三次

感谢分享

gngn003

就是原始素材要很多很多，才行不然换出来 来的4不像

huangyiqiu

感谢分享

jinjin

感谢分享