AAAI | 达摩院经典自适应多域联合优化训练框架及其应用
一、论文&代码
论文链接:Robust Optimization overMultiple Domains
redis分片集群搭建
活体识别应用:https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
opencv
https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
软件异常
通信
二、背景
本文简要介绍一下我们在AAAI 2019上的论文"Robust Optimization over Multiple Domains"。在这篇文章中,我们提出了一种新的优化方法,通过对抗的训练方式使训出的模型在多个域上都能取得较好的识别效果。
ACM 模式
由于实际业务场景多样,不同业务场景图片所属的域不相同,在一个域上表现的比较好的模型在其他域上的表现会比较差。如果直接把不同域的数据混合在一起进行训练,则由于不同域的样本量和难易程度的不同,也会造成模型在其中一些域上效果较好,在某些域上则效果较差。因此提出一种对多域进行联合优化的方法,使模型在多个域中的表现都能达到比较好的效果。
Graal
举个例子,如下图所示:在业务中,分属于三个不同域的使用者对同一个模型体验到的识别效果是不一致的。
windows mobile
CubeMX配置CAN
由于训练过程中,User3对应的域没有进行很好的优化,该域下的使用者会反馈比较差的使用体验,甚至放弃使用该模型。我们提出的多域联合优化方法的目的是通过对混合训练中表现比较差的域增加权重,从而使得模型在各个域都取得较均衡的识别能力。因此问题可以抽象为:优化混合训练中表现最差的域。
功能测试
三、方法
根据前边的分析,可以把对应的优化目标定为:
损失函数
表示了第k个domain的loss值的权重,即在训练过程中通过优化
使总的损失函数最大,然后再优化这个最大化之后的损失函数。把该目标函数对应到训练的算法为:
websocket
训练过程中,我们用梯度下降的方式更新模型:
篮球小程序
对分布来说,我们用对抗的方式来进行更新:
swift
四、结果
活体识别多域联合优化应用。活体识别是区分一张图片是真实样本产生的还是由剪纸,屏幕等攻击产生的。由于不同设备摄像头和ISP参数的不同,会对成像质量造成比较大的差异,活体识别依赖于成像的质量,因此用多域联合优化的方法进行联合优化。实验结果:
wx.downloadFile
uniapp小程序微信支付
D1,D2和D3分别表示了三种成像设备采集的图片构成的集合。可以看到多域联合优化的方法可以取得较均衡的效果。
Spring中的bean使用
五、应用
本文应用模型已在maas上呈现。另外给大家介绍下maas上其他相关开源免费模型,欢迎大家体验、下载(大部分手机端即可体验):
extern
https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary
java面试汇总
https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary
ES6面试题
https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary
城市功能区划分布数据
https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary
ssl
https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary
go
https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary
分区
https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary
技术美术
https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
魔法方法
https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
ParticleSystem
https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary
目标检测
https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary
https抓包
https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary
分布式消息中间件