苹果AppStore遭美国反垄断审查,主要针对苹果税等支付政策
AAAI2020|王培松:稀疏二值神经网络,不需要任何技巧,取得SOTA精度(视频解读)
原标题:AAAI 2020 | 王培松:稀疏二值神经网络,不需要任何技巧,取得SOTA精度(视频解读)
作者 | 王培松
编辑 | Camel
本文是对中科院自动化所完成,被 AAAI2020 录用的论文《Sparsity-inducing Binarized Neural Networks》进行解读。
二值网络(BNN)由于其对于硬件非常友好,获得了学术界和工业界的广泛关注。虽然二值网络执行效率非常高,但是相对于全精度浮点网络,其精度损失严重。
目前二值网络普遍使用sign函数对网络的权值和激活量化到-1和+1,对二值网络的研究方向主要包括提高二值网络的训练技巧、修改网络结构使得网络结构对于二值量化不敏感等,然而二值表达形式却被研究者忽略。
在本文中,我们提出了稀疏量化,即对网络激活量化到0和+1,而网络权值依然量化到-1和+1。我们验证了在使用0-1量化时,不会引入任何额外的计算量,但网络性能却获得大幅度提升。同时,针对稀疏二值量化网络中超参选择问题,我们提出一种高效的自动化学习方法,进一步提升二值网络性能。
通过实验发现,我们在没有使用任何额外技巧的情况下,网络精度能够达到目前最高水平。
相关报道:
AAAI2020 | 新型冠状病毒疫情下,还去开会吗?
显示全文
相关文章
-
-
阿里独占中国云计算近半份额,腾讯第二,全球老大只能排第三
-
苹果官宣“最大规模”电脑与iPad创新 股价冲高回落
-
什么时候开始,评分成了发泄情绪的垃圾场?
-
视频伪app
-
社交赛道抢跑者,Soul如何斩获五千万用户?
-
两万字深入解密Go语言接口的那些事儿|技术头条
-
金品质立天下不再,轰然倒下的金立败于刘立荣赌博?
-
跨境电商黑科技门店能查产品真伪,3年要开1000家!
-
【PW早报】新冠状病毒正式命名为“Covid-19”,疫苗可能在18个月内完成
-
在不同的产品阶段,该如何思考产品需求?
-
可口可乐公司发布2019年第三季度财报
-
阿里巴巴展厅采用先进语音讲解系统
-
谷歌AI造芯新突破!6小时设计AI芯片,质量超最先进算法
-
复盘2018手机圈,这几大"最"你都了解吗?
-
今日头条因发布违法医疗广告,被罚超300万元
-
2018 微信数据报告出炉!各年龄段爱用表情包公布,快来看看你是几零后?
-
4月1日起增值税下调在天猫国际买进口商品一年能省500多
-
大数据时代背景下档案管理工作,合肥档案信息化管理
-
简述一对一直播视频聊天交友的功能和盈利点
-
寄件都要排队的泰国人,终于盼来了中国的快递公司
-
还没正式开售就好评就达98%?OPPOEncoX2预定千元最香TWS耳机!
-
杨振宁:你是农民的儿子,我是大学教授的儿子;莫言回答一针见血
-
徐谈谈|先开始,比什么都重要
-
为什么人越来越不好用?因为时代变了!
-
于敦德:创业不分早晚,“坚持”才是真知
-
2021年网站移动端首页排名为什么现在越来越难了
-
马大个素人网红孵化课视频MP4格式,价值辨别减少试错成本
-
深度资讯|电子烟迅速开启下半场,集体涌入线下渠道抢夺生路