如何使用人工智能生成动漫人物?相信每个人都会被卡哇伊的二次元妹子萌到,我们很多人也可能梦想自己创作二次元人物,但奈何技艺不精、功力不足,得到的结果往往无法达到我们的期望。现在人工智能来帮你了!近日,来自复旦大学、纽约州立大学石溪分校和同济大学的一些研究者打造了一个基于 GAN 的动漫人物面部图像生成器,并且还开放了一个网页版本
如何使用人工智能生成动漫人物?
相信每个人都会被卡哇伊的二次元妹子萌到,我们很多人也可能梦想自己创作二次元人物,但奈何技艺不精、功力不足,得到的结果往往无法达到我们的期望。现在人工智能来帮你了!近日,来自复旦大学、纽约州立大学石溪分校和同济大学的一些研究者打造了一个基于 GAN 的动漫人物面部图像生成器,并且还开放了一个网页版本。研究者近日发表了一篇博客对该项研究进行了介绍。我们都喜欢动漫人物,也可能会想自己做一些,但我们大多数人因为没经过训练所以无法做到。如果可以自动生成专业水准的动漫人物呢?现在,只需指定金发/双马尾/微笑等属性,无需任何进一步干预就能生成为你定制的动漫人物!在动漫生成领域,之前已经有一些(xiē)先驱了,比如:
- ChainerDCGAN:https://github.com/pfnet-research/chainer-gan-lib
- Chainer を使ってコンピュータにイラストを描かせる:http://qiita.com/rezoolab/items/5cc96b6d31153e0c86bc
- IllustrationGAN:https://github.com/tdrussell/IllustrationGAN
- AnimeGAN:https://github.com/jayleicn/animeGAN
数据集:模型要想质量好,首先需要好数据集
要教计算机学会做事,就需要高质量的数据,我们的情况也不例外。Danbooru(https://danbooru.donmai.us )和 Safebooru(https://safebooru.org )等大规模图像讨论版的数据有很多噪声,我们认为这是之前成果的问题的部分原因,所以我们使用了在 Getchu 上销售的游戏的立绘(立ち絵)图像。Getchu 是一家展示日本游戏的信息并进行销售的网站。立绘具有足够的多样化,因为它们具有不同的风格,来自不同主题的游戏;但它们也具有很好的一致性,因为它们全部都属于人物图像。我们也需要分类的元数据(即标签/属(繁:屬)性(拼音:xìng)),比如头发颜色、是否微笑。Getchu 并没提供这样的元数据,所以我们使用了 Illustration2Vec,这是一个基于卷积神经网络的用于估计动漫标签的工具,地址:https://makegirlsmoe.github.io/main/2017/08/14/saito2015illustration2vec
模型:核心部分
为了实现我们的目标,就必须要有一个优良的生成模型。这个生成器需要能理解并遵从用户给出的特定属性,这被称为我们的前提(prior);而且它还需要足够的自由度来生成不同的详细的视觉特征,这是使用噪声(noise)建模的。为了实现这个生成器,我们使用了生成对抗网络(GAN)这种流行的框架。GAN 使用一个生成器网络根据前提和噪声输入来生成图像,GAN 还有另一个网络会试图将生成的图像和真实图像区分开。我们同时训练这两个网络,最终会使得生成器生成的图像无法与(繁:與)对应前提下的真实图像区分开。但是(拼音:shì)众所周知要训练一个合适的 GAN 是【练:shì】非常困难的,而且非常耗时
幸运的是,最近一项名为 DRAGAN 的进展让我们仅需相对很少的计算能力,就能实现可与其它 GAN 媲美的结果。我们成【练:chéng】功训练了一个 DRAGAN,它(繁:牠)的生成器类似于 SRResNet。
我们也需要我们的{练:de}生成器了解标签信息,这样才能将用户给出的指标整合进来。受 ACGAN 的启发,我们向生成器输入标签澳门巴黎人以及噪声,并在鉴别器的顶层增加了一个多标签分类器,用来预测图像所分配的标签。
使用这些数据和这个模【练:mó】型,我们直接在 GPU 驱动的机器上进行了训练。
本节所涉及的技术澳门银河(繁体:術):
- GAN:https://papers.nips.cc/paper/5423-generative-adversarial-nets
- DRAGAN:https://arxiv.org/abs/1705.07215
- SRResNet:https://arxiv.org/abs/1609.04802
- ACGAN:https://arxiv.org/abs/1610.09585
样例:一张图片胜过千言万语
为了了解我们的模型的质量,请参看下面的图像,可以发现我们的模型能很好地处理不同的属性和视觉特征。固定随机噪声并且采样随机前提是一个很有意思的设置。现在,该模型被要求生成具有相似主要视觉特征的图像,同时结合不同的属性,结果也很不错:
另外,通过固定前提和采样随机噪声,该模型可以生成具有不同《繁体:衕》视觉特征,但具有相同属性的【拼音:de】图像:
网页接口:在你的浏览器上使用神经生成器
为了将我们的模型提供给大家使用,我们使用 React.js 构建了一个网站接口,并且开放了出来:http://make.girls.moe 。通过利用 WebDNN 并将训练后的 Chainer 模型转换成基于 WebAssembly 的 Javascript 模型,我们让生成过程完全在浏览器上完成。为了更好的用户体验,我们限制了生成器模型的大小,因为用户在生成之前需要下载该模型我们选择了 SRResNet 生成器,使得该模型比流行的 DCGAN 生成器小了好开云体育几倍,而且也不会影响到生成结果的质量。速度方面,即使所有的计算都在客户端上完成,一般生成一张图像也只需要【pinyin:yào】几秒钟。
论澳门银河文{pinyin:wén}:Create Anime Characters with A.I. #21
地澳门伦敦人址{zhǐ}:https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf
摘要:自从生成对抗网络(GAN)问世之后,面部图像的自动生成已经得到了很好的研究。在将 GAN 模型应用到动漫人物的面部图像生成【读:chéng】问【练:wèn】题上已经有过一些尝试,但现有的成果都不能得到有前途的(de)结果。在这项成果中,我们探索了专门用于动漫面部图像数据集的 GAN 模型的训练
我们从数据和模型方面解决了这一问题——通过收集更加清洁更加合适的数据集以及利用 DRAGAN 的合适实际应用。通过定量分析和案例研究,我们表明我们的研究可以得到稳定且高质量的模型。此外,为了协助从事动漫(màn)人物设计的人,我们建立了一个网站,通过在线【繁:線】的方式提供了我们预训练的模型,从而让大众可以轻松(繁:鬆)获取该模型
生成器【练:qì】架构
鉴(繁体:鑑)别器架构
本文链接:http://10.21taiyang.com/Scooters/25230408.html
用{练:yòng}户画像生成器转载请注明出处来源