一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)
原标题:一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)
作者:Reiichiro Nakano
编辑:肖琴
【新智元导读】一位日本小哥用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo,只使用了一个单一的模型。demo效果相当不错,并且也开源了代码。
用一个模型就能实现所有类型的风格转换!一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。
作者是日本小哥Reiichiro Nakano,他用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo。
不像以前的快速风格转换算法那样需要每种风格都有一个单独的网络,在这个demo中,所有风格图像只使用一个单一的模型。并且,你可以自由混合不同的风格。
使用也非常简单,你只需要选择一张内容图像(content image)和一张风格图像(style image),然后点击“Stylize”,静候片刻,一张风格化的图像就处理好了。
如图所示,我们在“内容图像”选择一张芝加哥城市风景图,“风格图像”选择一张港口的版画风格图像,风格化后得到一张版画风格的芝加哥风景图。
其中,内容图像和风格图像都可以自定义,也就是说,你可以上传任意图像。风格化的强度也可以调整。
作者还提供了混合两种风格的效果。
总结而言,这个风格网络被训练并用于为任意绘画风格生成一个100-D的风格向量(style vector)。然后,将该向量与内容图像一起馈送到一个的转换网络,进行实际的风格转换。
这个100D的向量基本上是一个“style”的潜在空间。我们可以利用这个“潜在空间”做一些有趣的事情。
我们可以通过对风格图像和内容图像的风格向量进行加权平均,来控制风格化的强度。作者发现,这对于风格特别鲜明的内容图像很有用。
我们还可以通过在它们的风格向量之间插值,来组合不同的风格,并让网络猜测这两幅图像之间的风格是什么样子的。
将模型移植到浏览器上的最大问题是模型大小。风格网络基于Inception-v3,它的权重> 97MB。作者使用distillation,能够用9.6MB的MobileNet-v2替换它,尺寸缩小了10倍。所以作者认为distillation这种技术被低估了,它可以为浏览器带来一些很酷的ML功能,因为很多模型由于太大而无法在资源有限的环境中进行部署。
这个demo建立在谷歌大脑和蒙特利尔大学合作的论文Exploring the structure of a real-time, arbitrary neural artistic stylization network之上,这是图像风格化的经典论文之一。作者开源了代码。
下面我们简要介绍一下论文的主要思想。
模型和方法
这篇论文的核心是通过构建一个风格学习网络来实现快速的风格迁移。
论文提出了一种将艺术风格神经算法的灵活性和快速风格迁移网络的速度相结合的方法,允许使用任何内容/风格图像进行实时的风格化。
这个模型成功地用大约80000幅画作的数据库进行了训练,并能够推广到以前未见过的画作。
论文的主要贡献包括:
1、介绍了一种新的算法,用于快速、任意的艺术风格迁移;在80000幅画作上训练,并能对未观察过的画作实时运行。
2、在紧凑的嵌入空间中呈现左右绘画风格,捕捉绘画的语义特征。
3、证明用大量画作进行训练之后,模型能够预测以前从未观察过的风格。
4、嵌入空间允许对艺术家的艺术范围进行新的探索。
图1:网络在大量的绘画和纹理上训练生成的造型
图2:模型架构图示
如图2所示,整个网络架构由风格学习网络P和风格转换网络T组成,学习的目的是style loss和content loss。风格学习网络P预测来自输入风格图像的嵌入向量S,为风格转换网络提供一组归一化常数。风格转换网络将照片转换为风格化的表示。Content loss和style loss来源于VGG图像分类网络的表征空间距离。风格学习网络主要遵循Inception-v3架构。
Demo 链接:
https://reiinakano.github.io/arbitrary-image-stylization-tfjs/
源代码:
https://github.com/reiinakano/arbitrary-image-stylization-tfjs
论文:
https://arxiv.org/pdf/1705.06830.pdf
相关文章
-
没有谁能逼你996,但生活可以
-
2020微信公开课:与零售相关的6重利好和5个趋势
-
审美意识觉醒,8090后开始为室内设计买单
-
个人邮箱怎样群发邮件?邮件群发助手工具哪个好用?
-
问题多多的淘集集疯狂收割流量的同时别忘了用户信任
-
南科大查封贺建奎办公室,苹果下线拼多多等数百款应用
-
微信头像也能设置离线状态,休假再也不用被工作烦扰了
-
新冠抗原自测教程点播、24小时防疫热线一键拨号……
-
腾讯公司yoo视频更名为火锅视频,它跟微视不是“两兄弟打架”
-
三星治雾霾,华为种水稻,科技公司也玩“跨界”?
-
产品观察|淘宝终于有了自己的QQ秀
-
"坤伦大战"带火微博超话兴趣社区值得不值得?
-
【钛晨报】格力股权转让获正式批复;2020年中国5G投资将达9000亿元,2025年5G渗透率达48%
-
爱奇艺CEO:95后00后普遍以看盗版内容为耻
-
剑指支付宝!腾讯与Line在日本联合推动移动支付服务
-
【动点播报】苹果允许用户iOS13中删除记录,支付宝微信禁止用于虚拟币交易
-
专访阿里云MVP黄胜蓝:90 后 CTO花了6年,改变了你日常生活里的这
-
NVIDIA显卡价格集中大跌:1000多买3050!
-
百度输入法2021年度流行语出炉,年轻人们在用什么完成表达?
-
拼多多发首封股东信:打破垄断,求长期生存权
-
《古董局中局》互动剧上线腾讯视频,「互影科技」说“互动内容”才是未来
-
瑞银:iPhone XR需求疲软 旧机型更受欢迎
-
谁是新零售领跑者?这份2018新网商大奖入围榜单告诉你
-
44岁的微软下一步是什么?
-
斥巨资购买版权,苹果公司也开始“豪横”了?
-
【钛晨报】京东投资12.7亿元购买五星电器46%股份;Uber接近与软银等达成总计10亿美元投资协议;亚马逊将关闭中国国内电商业务
-
居家期间,这些免费神仙软件了解一下
-
退休倒计时!马云又悄悄干了2件事,网友:大佬,收下我的膝盖!
-
台积电:7nm全速开工 28nm仍至关重要