分享好友 最新动态首页 最新动态分类 切换频道
CVPR2023|清华大学提出GAM:神经网络“一阶平滑优化器”,显著提升模型“泛化能力”
2024-12-26 23:24



关注公众号,发现CV技术之美

CVPR2023|清华大学提出GAM:神经网络“一阶平滑优化器”,显著提升模型“泛化能力”




近年来,神经网络收敛位置的平滑性(flatness)被证明与模型泛化能力有直接的联系,而现有对平滑性的定义仍局限于sharpness-aware minimization(SAM)及其变体的零阶平滑性(zeroth-order flatness),即收敛位置邻域域内最大损失值与当前损失值的差。清华大学崔鹏教授的CVPR2023 Highlight论文”Gradient norm aware minimization seeks first-order flatness and improves generalization”发现零阶平滑性有一定的局限性,所以提出了一阶平滑性的概念,并进一步提出了可以约束一阶平滑性的优化器GAM,大量实验证明GAM相比于现有优化器有更强的泛化能力。

  • 论文:https://arxiv.org/abs/2303.03108
  • 代码:https://github.com/xxgege/GAM

sharpness-aware minimization(SAM)[3]理论证明了平滑极值点在测试数据上的泛化误差低于尖锐极值点,并进一步提出了优化零阶平滑性,即收敛位置邻域半径(perturbation radius,




加入「计算机视觉交流群

最新文章
如何在微信中高效转发聊天记录及注意事项总结
微信怎么转发聊天记录How to Forward Chat History on WeChat  在当今数字化时代,社交软件已经成为我们日常生活中不可或缺的一部分。微信作为中国最流行的通讯工具之一,不仅可以进行文字聊天、语音通话,还支持图片、视频、文件等多种
海外短视频软件,分享生活瞬间的热门应用
在这个数字化的时代,短视频已经成为了人们分享生活瞬间的热门方式。海外短视频软件更是让用户可以与全球的人分享自己的生活点滴,让生活变得更加有趣和有意义。如果你还没有尝试过使用海外短视频软件,那么介绍一些值得一试的应用,以及如
香港正版免费大全资料,重要性解释落实方法_Deluxe43.709
在这个数字化和信息化飞速发展的时代,获取信息的途径变得多样化,但随之而来的是版权问题的日益突出。香港作为一个国际化大都市,对版权的保护和正版资料的重视程度尤为重要。正版资料不仅能够确保信息的准确性和可靠性,还能维护创作者的
Root精灵
新买来的手机里总是充满了许多预装软件,这些软件普遍信价比不高,更有一些出名的无赖软件。想要删除这些软件也并不容易,需要手机的最高管理员权限,一顿操作后可能还不成功,这个时候就需要《Root精灵》这样的软件了,可以帮你迅速获得RO
谷歌SEO,如何给竞争关键词排名?
在数字营销领域,谷歌SEO无疑是获取流量和曝光度的关键。我深知,在这个日新月异的行业中,如何让自己的网站在谷歌搜索中脱颖而出,对于每一个SEO从业者来说都至关重要。今天,我将结合我的实战经验,分享一些关于如何给竞争关键词排名的实
微信清理大师
《微信清理大师》是一款简单实用的微信优化和清理的手机工具,这款软件操作方便,而且对于用户的隐私信息也有保护作用全方位扫描,为用户清理微信后台垃圾,释放手机空间,加速手机微信的运行的速度,让自己的微信更加的极速!感兴趣的小伙
排行榜:五款免费大头贴制作软件推荐
下面给大家推荐几款好用的免费的大头贴制作软件,有需要的小伙伴们来了解一下。美图拍拍是一款功能强大的摄像头自拍软件,兼容所有主流摄像头。它不仅能够轻松实现大头贴的拍摄,还支持视频录制和搞笑QQ表情制作等丰富功能。该软件拥有众多
镇江屋顶漏水维修电话〈免费上门〉镇江屋顶防水补漏师傅
不砸砖、不砸墙;免砸砖防水补漏技术,2小时快速解决漏水问题,超长保修期。漏水维修服务项目:房顶漏水、窗台防水补漏、楼顶漏水、泳池渗水、楼顶裂缝漏水、厨房间漏水、天棚漏水、别墅房顶漏水、地板下暗管漏水、飘窗防水、飘窗渗水、楼顶防
社会保险认证人脸识别平台:便捷、高效与安全并重的社保认证新方式
一、引言随着科技的飞速发展,社会保险认证方式也在不断创新。社会保险认证人脸识别平台作为一种新兴的社保认证方式,凭借其便捷性、高效性和安全性,逐渐受到广大参保人员的青睐。本文将详细介绍社会保险认证人脸识别平台的功能、优势、使
相关文章
发表评论
0评