NeurIPS2021|一文洞悉因果机器学习前沿进展
原标题:NeurIPS 2021 | 一文洞悉因果机器学习前沿进展
微软中国MSDN 点击上方 蓝字关注我们
(转载自微软研究院AI头条)
编者按:近年来,因果机器学习在人工智能和诸多交叉领域产生了卓越的影响,得到了越来越多的关注。借助因果关系推理,机器学习的鲁棒性、泛化能力、可解释性等方面都将得到有效提升。今天我们精选了三篇微软亚洲研究院关于因果机器学习的 NeurIPS 2021 论文,为大家介绍该领域的最新科研进展。论文内容涵盖:在单源域泛化预测、多源域泛化预测,以及模仿学习三类任务中学习因果关系的方法和理论,并展示了利用因果关系提高模型在环境和分布发生变化时的稳健性。未来,微软亚洲研究院将进一步推进机器学习方法在更多更严苛的现实任务上的应用。
近年来,随着机器学习模型性能的不断提高,人们逐渐不再满足于它们在标准数据集上的表现,而是还希望它们能在真实的应用场景中同样具有稳定可靠的表现。但实现此目的的一个重要挑战是,真实场景中的环境情况通常与干净的标准训练数据集不同,会有数据分布的变化从而会遇到分布外样例,而模型不一定会在新环境中给出合理的结果。
这为机器学习模型带来了新的要求,即 模型需要学到做出预测或判断的本质原因和规律,而非依赖于表面“看上去”的关联关系,因为后者可能只是在特定环境下的表象,只有前者决定着环境变化之后的规律,可对分布外样例给出合理的结果。这便引出了因果机器学习这一新的研究方向。在 NeurIPS 2021 上,微软亚洲研究院的研究员们发表了一系列因果机器学习领域的研究成果。
学习用于分布外预测的因果语义表示
- 论文链接: https://arxiv.org/pdf/2011.01681
- 代码链接: https://github.com/changliu00/causal-semantic-generative-model
人们已经发现标准的有监督学习方法,特别是深度学习方法对分布外样例的预测表现欠佳。例如图1中的例子[Ribeiro’16],若训练集中大部分“哈士奇”的图片都是暗背景而大部分“狼”的图片都是雪地背景,那对于处在雪地中的“哈士奇”的测试样例,模型会预测为“狼”。若对模型进行可视化可发现模型更关注于背景,因为在这样的数据集上,背景与前景物体具有很强的关联性,并且背景是一个比前景物体更有区分度的特征,但只有前景物体决定图片的标注。
图1:分布外预测任务的挑战
基于这个因果角度的考虑,研究员们提出了 “因果语义生成模型”(Causal Semantic Generative model, CSG),如图2(a)所示(注意基于前面的考虑,图中去掉了v→y)。此外,根据上面的例子,s和v在特定环境中常会相关,例如“哈士奇”/“狼”常与暗背景/雪地背景一起出现,但此相关性并非因为两者间有因果关系,比如把“哈士奇”放到雪地中不会让它变成“狼”,也不会把背景变暗。因此研究员们使用了一个无向边来连接它们。这不同于大部分已有工作,那些工作认为各隐因子间都是独立的。
相关文章
-
海南省科技厅与上海科创办举行座谈会
-
如何免费自定义qq主题
-
“带着用户一起创新”的布谷BUGU能否引领互联网家电行业创变?
-
发表论文的证明材料是什么?
-
最前线丨腾讯总市值超过阿里巴巴,逾4.7万亿港元
-
盒马招聘剥虾师,宗庆后退休倒计时,视觉中国否认恢复上线|天下网事4.22
-
AdobePremierePro视频编辑入门到精通学习教程
-
亚马逊将宣布退出中国?内部人士否认
-
如何快速成功地发表论文?
-
网信办重拳出击半个月后,那些大厂的App们都改成啥了?
-
“元游戏”如何打破“第四堵墙”?
-
超过400万人24小时内从Epic领了《装机模拟器》
-
从首汽约车“低价忽悠”看网约车管理难题
-
从英国网络全崩,看中国基础网络为何独领风骚?
-
买智能音箱或许会上瘾,近6成用户表示拥有两台以上的智能音箱
-
华为的冬天真的来了,春天又在何方?
-
苹果提交新证据,以阻止高通在华禁售 iPhone
-
首次出手区块链创企,Facebook的区块链野望
-
国宝数字回归|腾讯揽入法国文博有何深意?
-
吉利李书福公开回应“黑公关”事件,格局强大,令对手惭愧!
-
水滴筹本质是企业,当以更专业的“生意”成就“善意”
-
平安好医生是不是好生意?
-
【虎嗅晚报】华为:没有华为的5G,就像新西兰没有橄榄球;京东否认刘强东离婚传言
-
摩托罗拉经典款手机要出折叠屏,联想开始卖情怀了?
-
材勤宝盒网站地址这里查看
-
智慧农业像啥样子?欣赏一组国外的智慧农场!(五十五)
-
一小时不回复的自由
-
【苹果、谷歌、FaceBook、亚马逊CEO国会听证会改至30日举行】
-
“赔偿9000万、道歉30天”!抖音起诉百度,互联网巨头恩怨升级