一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)
原标题:一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)
作者:Reiichiro Nakano
编辑:肖琴
【新智元导读】一位日本小哥用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo,只使用了一个单一的模型。demo效果相当不错,并且也开源了代码。
用一个模型就能实现所有类型的风格转换!一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。
作者是日本小哥Reiichiro Nakano,他用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo。
不像以前的快速风格转换算法那样需要每种风格都有一个单独的网络,在这个demo中,所有风格图像只使用一个单一的模型。并且,你可以自由混合不同的风格。
使用也非常简单,你只需要选择一张内容图像(content image)和一张风格图像(style image),然后点击“Stylize”,静候片刻,一张风格化的图像就处理好了。
如图所示,我们在“内容图像”选择一张芝加哥城市风景图,“风格图像”选择一张港口的版画风格图像,风格化后得到一张版画风格的芝加哥风景图。
其中,内容图像和风格图像都可以自定义,也就是说,你可以上传任意图像。风格化的强度也可以调整。
作者还提供了混合两种风格的效果。
总结而言,这个风格网络被训练并用于为任意绘画风格生成一个100-D的风格向量(style vector)。然后,将该向量与内容图像一起馈送到一个的转换网络,进行实际的风格转换。
这个100D的向量基本上是一个“style”的潜在空间。我们可以利用这个“潜在空间”做一些有趣的事情。
我们可以通过对风格图像和内容图像的风格向量进行加权平均,来控制风格化的强度。作者发现,这对于风格特别鲜明的内容图像很有用。
我们还可以通过在它们的风格向量之间插值,来组合不同的风格,并让网络猜测这两幅图像之间的风格是什么样子的。
将模型移植到浏览器上的最大问题是模型大小。风格网络基于Inception-v3,它的权重> 97MB。作者使用distillation,能够用9.6MB的MobileNet-v2替换它,尺寸缩小了10倍。所以作者认为distillation这种技术被低估了,它可以为浏览器带来一些很酷的ML功能,因为很多模型由于太大而无法在资源有限的环境中进行部署。
这个demo建立在谷歌大脑和蒙特利尔大学合作的论文Exploring the structure of a real-time, arbitrary neural artistic stylization network之上,这是图像风格化的经典论文之一。作者开源了代码。
下面我们简要介绍一下论文的主要思想。
模型和方法
这篇论文的核心是通过构建一个风格学习网络来实现快速的风格迁移。
论文提出了一种将艺术风格神经算法的灵活性和快速风格迁移网络的速度相结合的方法,允许使用任何内容/风格图像进行实时的风格化。
这个模型成功地用大约80000幅画作的数据库进行了训练,并能够推广到以前未见过的画作。
论文的主要贡献包括:
1、介绍了一种新的算法,用于快速、任意的艺术风格迁移;在80000幅画作上训练,并能对未观察过的画作实时运行。
2、在紧凑的嵌入空间中呈现左右绘画风格,捕捉绘画的语义特征。
3、证明用大量画作进行训练之后,模型能够预测以前从未观察过的风格。
4、嵌入空间允许对艺术家的艺术范围进行新的探索。
图1:网络在大量的绘画和纹理上训练生成的造型
图2:模型架构图示
如图2所示,整个网络架构由风格学习网络P和风格转换网络T组成,学习的目的是style loss和content loss。风格学习网络P预测来自输入风格图像的嵌入向量S,为风格转换网络提供一组归一化常数。风格转换网络将照片转换为风格化的表示。Content loss和style loss来源于VGG图像分类网络的表征空间距离。风格学习网络主要遵循Inception-v3架构。
Demo 链接:
https://reiinakano.github.io/arbitrary-image-stylization-tfjs/
源代码:
https://github.com/reiinakano/arbitrary-image-stylization-tfjs
论文:
https://arxiv.org/pdf/1705.06830.pdf
相关文章
-
8点1氪|百度第二季度净利润同比下降62%;字节跳动正开发新电商App;达达-京东到家回应赴美上市:不准确
-
索尼推出新PS+会员6月上线第一方游戏不会第一时间加入
-
让独立音乐人既追逐梦想又获得营利,「Stem」开发乐队财务工具平台
-
解析:EVA泡棉可以分为哪几种
-
QQ号真的可以注销了!腾讯客服意外爆料
-
李开复:制定年度目标的5个关键
-
宇联表Union|与你有关
-
再一次突破雷神外设做电竞行业的领军者
-
石家庄猿代码:推荐21个好用的持续集成工具
-
近期苹果、Facebook等科技巨头股价缘何不断下跌?
-
京东发布智能内容创作平台:莎士比亚、李白联手
-
原有品总经理高自光晋升小米副总裁,分管中国区新零售
-
云栖洞察:阿里云智能背后的系统力量
-
抖音直播带货话术是怎么样的?月销千万的主播话术—看完你就会了
-
京东云智能城市助力天津科技防疫8小时上线重点人员筛查系统
-
无代码将死,低代码长存
-
滑盖手机时代来临?小米MIX3和荣耀Magic2撞脸,联想Z5 Pro凑
-
自媒体小白适合搬运那些平台
-
公开薪资后,我会被解雇吗?
-
IPFS到底有前景吗?一分钟带你了解Filecoin
-
焦点分析 | 大环境影响电商消费,腾讯给京东的爱越来越少
-
最前线丨“再造下一个大众点评”的抖音,这次发起了5折餐饮券
-
【钛晨报】ofo回应破产传闻:消息严重不实,运营正常;阿里妈妈内容营销团队并入优酷
-
微信小游戏全面实名制未成年人非理性消费可退款
-
【虎嗅早报】联想复盘“撤出中国”谣言诞生始末;苹果推出新iPodTouch
-
两万字深入解密Go语言接口的那些事儿|技术头条
-
自动分拣系统模型
-
高通高管:苹果应认真对待中国iPhone禁令
-
发挥知识价值