智能物联 链接未来 2018中国(广州)物联网产业论坛圆满落幕
AAAI2020|王培松:稀疏二值神经网络,不需要任何技巧,取得SOTA精度(视频解读)
原标题:AAAI 2020 | 王培松:稀疏二值神经网络,不需要任何技巧,取得SOTA精度(视频解读)
作者 | 王培松
编辑 | Camel
本文是对中科院自动化所完成,被 AAAI2020 录用的论文《Sparsity-inducing Binarized Neural Networks》进行解读。
二值网络(BNN)由于其对于硬件非常友好,获得了学术界和工业界的广泛关注。虽然二值网络执行效率非常高,但是相对于全精度浮点网络,其精度损失严重。
目前二值网络普遍使用sign函数对网络的权值和激活量化到-1和+1,对二值网络的研究方向主要包括提高二值网络的训练技巧、修改网络结构使得网络结构对于二值量化不敏感等,然而二值表达形式却被研究者忽略。
在本文中,我们提出了稀疏量化,即对网络激活量化到0和+1,而网络权值依然量化到-1和+1。我们验证了在使用0-1量化时,不会引入任何额外的计算量,但网络性能却获得大幅度提升。同时,针对稀疏二值量化网络中超参选择问题,我们提出一种高效的自动化学习方法,进一步提升二值网络性能。
通过实验发现,我们在没有使用任何额外技巧的情况下,网络精度能够达到目前最高水平。
相关报道:
AAAI2020 | 新型冠状病毒疫情下,还去开会吗?
显示全文
相关文章
-
-
疫情引爆在线教育市场互联网巨头切入点有何不同
-
阿里、京东、拼多多的“好日子”各有各的逻辑
-
被携程“耽误”的梁建章
-
【PW早报】社交产品的大日子:张一鸣、罗永浩、王欣今日将发布三款社交app
-
年轻人的第一套出租屋?小米新公司成立:经营房屋租赁业务
-
荣耀“转场”时尚圈:以TechChic拥抱Z世代
-
收下这7个实用工具,手机办证、查社保不再跑断腿
-
[观点]华泰证券:高新兴正在深度转型是更懂5G的车联网公司
-
早报丨马云马化腾李彦宏获改革先锋称号;联想全球首发骁龙855,价格是亮点
-
拍照全球第一的华为P40Pro,我们从实拍的角度来看看到底如何?
-
西瓜视频拿什么跟B站斗?
-
焦点分析丨盒马mini“小跑”,跑去下沉市场
-
realme抢先中兴,约20GRAM机型抢先发布
-
500亿,这家巨头一年帮中小企业省了这些钱它用7年做了这些事
-
Facebook用户隐私又泄露?中国互联网企业需引以为戒
-
腾讯成长守护平台再升级,保护未成年人逐渐成为游戏行业普遍共识
-
Uber增聘美银、巴克莱等6家投行参与IPO承销,力争上半年上市
-
昂贵苹果吞下“后悔药”,国产手机慌不慌?
-
不再赚小学生钱的腾讯,能否成为游戏防沉迷的引导者?
-
iPhone销量大跳水,日媒指责苹果坑惨日企|2月1日坏消息榜
-
助力文旅服务高质量发展
-
天堂w登陆失败/登陆/卡顿掉线报错解决教程
-
热点|齐向东回应与周鸿祎分家称奇安信将登陆科创
-
热点 | 百度发布含淫秽、色情等违法广告被罚60万
-
7000家山寨店围攻鹿角巷背后:一场李逵与李鬼的商标大战
-
爱屋吉屋凉凉背后:高估互联网思维、低估传统房产中介
-
聊一聊:你现在的电脑用的是什么输入法?
-
【钛晨报】“换帅”风波后,吴雄昂再度以Arm中国董事长身份出席活动;中金携手腾讯成立合资技术公司;滴滴在日本11个县停止服务