不仅教人穿衣服,还要给人换衣服:这两篇ICCV论文出自同一人
原标题:不仅教人穿衣服,还要给人换衣服:这两篇ICCV论文出自同一人
乾明 假装发自 首尔
量子位 报道 | 公众号 QbitAI
人在ICCV 2019,刚从韩国首尔离开。【doge
说两篇有意思的论文吧,来自一个中国小哥,都是关于“衣服”的研究。
一篇教人穿衣服,另一篇给人换衣服。
比脱衣服的研究难多了,而且颇具商业价值。
第一篇教人穿衣服:FiNet模型
这篇论文题目为Compatible and Diverse Fashion Image Inpainting,还被接收为Oral论文(接受率仅4.6%),研究方向是时装搭配。
研究到了这个程度,只是简单地将输入图像中缺失的时尚单品补全已经不够用了。
想要突出还要注重整体搭配的协调性与真实性。
在这个过程中,最棘手的一个问题是,如何在耦合形状和外观时,妥善处理衣服的边界。
这也是同类模型效果不如人意,且无法商业化的关键点之一。
这个论文中,作者提出了一个名为FiNet的模型,基于两阶段的变分自编码器的生成网络,在满足多样性和兼容性的条件下,来填充图像中缺失的时尚商品。
核心思路是,分别用形状生成网络和外观生成网络,来依次生成缺失衣服的形状和外观。
从而使FiNet可以在目标区域中修复出具有不同形状和外观的服装。
△形状生成网络
△外观生成网络
为了保证兼容性,作者也在其中集成了一个兼容性模块,将兼容性信息编码到网络中,来保证让生成衣服的形状和外观都是和其他衣服是兼容搭配的。
如此研究,应用场景也颇为广泛。
从用户的角度来说,在不知道穿什么衣服出门的时候,可以让计算机模型自动生成搭配的潮流服装。
而商家,则是可以将这一技术,应用到时装设计和新时尚商品推荐等应用中,来更好的实现商业购买转化,进一步激发用户的消费力。
那效果如何呢?在论文中,作者给出的效果是这样的:
直观来看,与Pix2Pix+noise、BicyleGAN、VUNET、ClothNet等方法相比,效果比较好。
从实际应用的角度来分析,FiNet模型的结果,也相对更接近落地一些。
论文地址:
FiNet:Compatible and Diverse Fashion Image Inpainting
https://arxiv.org/abs/1902.01096v2
第二篇:给人换衣服,ClothFlow模型
这篇论文名为ClothFlow: A Flow-Based Model for Clothed Person Generation,研究主题也是衣服生成。
但与FiNet模型比起来,这篇论文的实现方式与应用方向都有很大不同。
ClothFlow是一个基于外观流的衣服生成模型。
主要用于将一个图片中的服装渲染到另外一张图片上,其想要实现的效果是这样的:
具体的实现方式,是使用一个级联的特征金字塔网络,估算源服装区域和目标服装区域的几何变换,然后通过多个基于编码器-解码器的生成网络来实现“衣服迁移”。
在论文中,作者也多次提到了这一研究的应用场景——虚拟试衣等服装相关应用。
尤其是在直播场景中,有不少的想象空间。
这一技术成熟后,主播可以虚拟换装,省去买衣服的成本和换衣服的时间。
而且, 用户也可以根据自己的喜好给主播选穿什么样的衣服。
论文地址:
ClothFlow: A Flow-Based Model for Clothed Person Generation
http://openaccess.thecvf.com/content_ICCV_2019/papers/Han_ClothFlow_A_Flow-Based_Model_for_Clothed_Person_Generation_ICCV_2019_paper.pdf
作者
最后简单介绍下论文作者吧。
主题相近、方法不同的两篇入会论文,一作都是一位叫韩欣彤的小哥。
随手查了下履历:
上海交大本科、马里兰大学帕克分校博士。
2018年进入工业界,先在创业公司码隆科技任职算法研究员。
最新已被挖到虎牙,是中国直播一哥公司的计算机视觉Tech Lead。
他说,接下来还是会持续关注直播内容生成方向,比如人脸和人体的驱动和生成。
韩欣彤很年轻,但已经在CVPR,ICCV,ECCV等顶级会议发表了近十篇论文。
而且据他自己介绍,是上海交大本科三年级时才真正接触计算机视觉,至今7年。
所以也是真正找到了兴趣和擅长,也赶上了时代潮流。
我们问虎牙,这次韩欣彤博士穿衣服、换衣服的研究,会跟他现在在虎牙的工作进一步相关起来吗?
比如——一个大胆而规矩的想法,在直播中给主播虚拟换装,或者让用户给主播换衣服。
他们没给直接肯定的答案。
不过也云山雾罩透露:在学在产,虎牙的技术研发都不会仅仅存在于论文中,也会进一步进入到平台业务中。
所以,就说你们这些搞技术研究的,赞得很。(大误)
— 完 —
相关文章
-
一天离职400人,996本质上是落后的泰罗制管理
-
再见,钱包、手机!“刷脸”时代到来,支付宝要干什么?
-
纳税516亿,阿里巴巴是如何践行企业社会责任的?
-
圣诞玩嗨了?今早苹果Apple Store又双叒叕“挂”了
-
重新定义风投公司的a16z,刚刚又重新定义了自己
-
科技神回复|南阳工信局称水氢发动机消息有误,南阳高中生听了都想打人吧
-
阿里最强AI芯片发布!1秒处理7.8万张照片,一块顶10块GPU
-
奥拓电子开启“智慧教育百城合作伙伴招募计划”涉及XR虚拟拍摄实训室、数字人实训室等
-
景区票务管理系统方案-电子票系统的特点
-
百度“被死亡”刷屏其实是用户体验太“痛苦”的反馈
-
清晰理解用户观点,百度情感分析助企业实现评论分析智能化
-
长安评论聚焦!宿州市微智治推进大平安
-
热点|人人车回应“破产”传闻:消息不实
-
苹果新财报发布后,股价盘后大涨近6%
-
业主解约,OTA封杀,“野蛮人”OYO在华失速
-
苏宁6.18促销挑战京东价格再低10%背后是零售生态价值的释放
-
2018中国互联网哈哈榜之8:十大语录
-
从雀巢速溶到小众精品,中国人对咖啡越来越讲究?
-
2020年没有Libra?
-
【Facebook员工内网感慨:历史不会给我们好评价的】
-
阿里女员工疑被侵害,涉事男员工曾通过字节初轮面试,字节:已拉黑,永不录用
-
花了108个小时,我总结了大众点评的达人运营策略!
-
小鸣单车每辆车被贱卖12元!你上次骑共享单车是几个月前?
-
请感觉人生被苹果支配的恐惧 因为他们造的汽车要来了
-
4999元起!iQOO8Pro今日正式开售
-
咪蒙式“权健版精神传销”:何去何从?
-
爬架葫芦和大吨位手拉葫芦分别针对哪种目标
-
微信视频号被曝改版,设立影视专区鼓励二创短视频
-
动图格式“GIF”的发明人去世了