欢迎访问法甲下注_法甲竞猜_法甲联赛下注-官网有限公司官网 !

法甲下注_法甲竞猜_法甲联赛下注-官网

联系我们

全国咨询热线:0755-33506161

公司名称:深圳市法甲下注有限公司
电话:0755-33506161
传真:0755-33605535
手机:13922830701
地址:深圳市宝安区松岗镇广田路天恒石材市场8号厂房

[法甲联赛下注]AAAI 2020 | 王培松:稀疏二值神经网

文章来源:http://www.cityml.com 发表时间:2020-04-21 作者:[db:作者]

法甲联赛下注是24小时提供时政新闻,国内新闻,国际新闻,生活新闻,时事热点,新闻图片,军事,历史,生活,的专业时事报道门户网站。

作者 | 王培松

编辑 | Camel

本文是对中科院自动化所完成,被 AAAI2020 录用的论文《Sparsity-inducing Binarized Neural Networks》进行解读。

二值网络(BNN)由于其对于硬件非常友好,获得了学术界和工业界的广泛关注。虽然二值网络执行效率非常高,但是相对于全精度浮点网络,其精度损失严重。

目前二值网络普遍使用sign函数对网络的权值和激活量化到-1和+1,对二值网络的研究方向主要包括提高二值网络的训练技巧、修改网络结构使得网络结构对于二值量化不敏感等,然而二值表达形式却被研究者忽略。

在本文中,我们提出了稀疏量化,即对网络激活量化到0和+1,而网络权值依然量化到-1和+1。我们验证了在使用0-1量化时,不会引入任何额外的计算量,但网络性能却获得大幅度提升。同时,针对稀疏二值量化网络中超参选择问题,我们提出一种高效的自动化学习方法,进一步提升二值网络性能。

通过实验发现,我们在没有使用任何额外技巧的情况下,网络精度能够达到目前最高水平。

相关报道:

AAAI2020 | 新型冠状病毒疫情下,还去开会吗?

网站声明:法甲联赛下注法甲下注平台所有文章均来源网络,本站仅本着给广大网友传递信息的初衷,文章中所有涉及的观点与言论仅代表原作者本人,不代表本站立场,如文章有侵犯他人权利,请联系本站删除,谢谢合作!