谷歌上线AI新玩法：随手乱涂鸦，一键变怪兽

师师发自凹非寺
量子位报道 | 公众号 QbitAI

小明随意地涂鸦了一个头部，再简单地画了个翅膀，加上一个大尾巴……再单击「转换」键。

一只面目狰狞、皮肤粗糙、纹理细致的大怪兽就创造出来了。

这是Google研究人员制作的AI工具奇美拉画家（Chimera Painter）。

这是个线上绘画工具，可以将涂鸦变成一个栩栩如生的怪物。

奇美拉的条件型GAN

研究人员建立了一个生物混合体的概念，就像是一个纸牌游戏。

比如你拿到一张「鲸」卡，通过组合，可以变成一个「鲸VS大象」的嵌合体怪兽。

这个组合而成艺术作品，还能保留原始图像的视觉特征。

在此之前生成式对抗网络（GAN, Generative Adversarial Networks ）被广泛用于图像创作上。GAN一般包含两个模块：

生成模型（Generative Model）
判别模型（Discriminative Model）

两个模块互相博弈学习产生相当好的输出。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。

例如，麻省理工学院和IBM合作，开发出了“GAN绘画工作室”。

允许用户上传自选图像以从多种角度修改其外观，从更改对象的大小到添加全新的物体，例如如树木、窗户、建筑物、桌子……等等。

再有，英伟达（Nvidia）最新的AI软件将粗糙的涂鸦变成真实的风景。

而在奇美拉画家中，与前两者注重照片写实的GAN不一样，他们采用了一种称作条件型GAN的方法。

这种方法与一般的GAN不一样，一般的GAN是在一系列图片基础上，生成器和判别器相互对抗磨合，形成全新的图。

奇美拉画家则是需要在生成器中输入一张创作图，在此基础上，再通过GAN生成新图。

将怪兽肢解建模，再组合渲染

为了训练GAN，研究人员创建了10000多个全彩色图像的数据集，包含不同生物的3D模型。

在这个生物模型的数据库中，不仅描绘了每个生物整体的大小和形状，还提供了肢体、器官、躯干的分割图。

艺术家就在这些“肢解”模型的基础上，重新组合出新的“生物”。可以选择头、牙齿、躯干、翅膀等不同部分进行绘画。

可以看到左侧有各种肢体部分选项按钮。

然后经过GAN，选出组合得最好的模型，将之合并，输出到Chimera Painter中。

得先制作生物纹理

在GAN模型中，在渲染对比度低的图像部分时，会有跳格，使图像失去空间连贯性。

例如这张图的腿和眼睛的识别界限不清晰，导致输出来的图像奇奇怪怪。

为了解决这个问题，奇美拉画家的研究人员开发了一种新的半自动化方法。

奇美拉画家对每种所需的生物类型（例如鬣狗或狮子）都会建立一个模型。

然后，艺术家使用虚幻引擎制作了叠加在3D模型上的彩色纹理。

再将「分割图」的单色（例如头，耳，颈等部分）套用到模型上，确保GAN了解到艺术家指定的的结构，形状，纹理和比例。

再次使用虚幻引擎将3D生物模型放置在简单的3D场景中。

为了增加数据库的模型数量，一个自动化脚本会主动采用这个3D场景。在10000张生物模型的基础上，继续补充，生成了10000+张图像+分割图。

根据生物的不同姿势，在视点和缩放级别之间进行插值，创建出全色图像和分割图，形成GAN新的训练数据集。

而每次手动创建这些数据，需要20多分钟。

谷歌表示，奇美拉画家为艺术家节省了数百万小时的时间。

参考链接：
https://www.theverge.com/2019/3/19/18272602/ai-art-generation-gan-nvidia-doodle-landscapes
https://www.theverge.com/tldr/2020/11/18/21572884/google-ai-tool-gan-chimera-painter-machine-learning-monsters
https://storage.googleapis.com/chimera-painter/index.html
https://www.ithome.com/0/433/709.htm

https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

天下没有难画的简笔画，愿天下知识都能秒会

福利：懒人简笔画发粉丝红包了，支付宝首页搜索“9092116”领取，现金发放，人人有份

javascript
1.第1个程序helloworld	2.简明教程	3.技巧大全
4.Qrcode生成二维码	5.qrious生成二维码	6.jquery生成二维码
7.开发js小游戏	8.经典类库	9.13个类库
10.12个图表类库	11.几十个学习网站	12.js正则表达式
13.weui等18个库

function go

{

var allHtml="";

var h=35;//高

var w=30;//宽

var l=25; //每行l个

var cell=80;//格子大小

for( var i=0;i<500;i++)

{

var yTop=Math.tan(26.5*2*Math.PI/360)*w;

var x1=10+i%l*cell;

var y1=parseInt(i/l)*cell;

var x2=x1+w;

var y2=y1-yTop;

var x3=x1+w+w;

var y3=y1;

var x4=x3;

var y4=y1+h;

var x5=x2;

var y5=y4+yTop;

var x6=x1;

var y6=y4;

var x7=x2;

var y7=y1+yTop;

var strh=h.toString;

var strw=w.toString;

var strx1=x1.toString;

var stry1=y1.toString;

var strx2=x2.toString;

var stry2=y2.toString;

var strx3=x3.toString;

var stry3=y3.toString;

var strx4=x4.toString;

var stry4=y4.toString;

var strx5=x5.toString;

var stry5=y5.toString;

var strx6=x6.toString;

var stry6=y6.toString;

var strx7=x7.toString;

var stry7=y7.toString;

if( y5<=y7 ) break;

allHtml+="<g><polyline fill=\"none\" stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" points=\""+strx1+","+stry1+" "+strx2+","+stry2+" "+strx3+","+stry3+" "+strx4+","+stry4+" "+strx5+","+stry5+" "+strx6+","+stry6+" "+strx1+","+stry1+"\"/>";

allHtml+="\n";

allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx1+"\" y1=\""+stry1+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/>";

allHtml+="\n";

allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx3+"\" y1=\""+stry3+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/>";

allHtml+="\n";

allHtml+="<line stroke=\"#000000\" stroke-linecap=\"round\" stroke-linejoin=\"round\" stroke-miterlimit=\"10\" x1=\""+strx5+"\" y1=\""+stry5+"\" x2=\""+strx7+"\" y2=\""+stry7+"\"/></g>";

h-=0.1;

}

document.getElementById('txt1').value=allHtml;

}

</script>

简笔画
1.工具	2.排线	3.自动画画
4.表情	5.眼睛	6.鼻子
7.嘴	8.发	9.手
10.身	11.姿势	12.衣服
13.火柴人	14.Q版人物	15.十二生肖
16.猫	17.鼠	18.牛
19.虎	20.兔	21.龙
22.蛇	23.马	24.羊
25.猴	26.鸡	27.狗
28.猪	29.大象	30.狮子
31.长颈鹿	32.鸟	33.虾蟹
34.鱼	35.蛙	36.建筑
37.家具	38.文具	39.交通
40.花草	41.树	42.水果
43.蛋糕	44.食物	45.春节
46.圣诞素材	47.盆栽	48.风景
49.车	50.乐器	51.房子
52.京剧	53.3D	54.七龙珠全家福
55.小丸子全家福	56.蜡笔小新全家福	57.机器猫全家福
58.巴巴爸爸全家福	59.小猪佩奇全家福	60.旅行青蛙全家福
61.光头强熊出没全家福	62.海绵宝宝全家福	63.丁老头全家福
64.米老鼠全家福	65.大白	66.粉红豹
67.葫芦娃全家福	68.蓝精灵全家福	69.超级飞侠
70.柯南	71.老夫子	72.辛普森
73.喜羊羊	74.花仙子	75.挤娃娃
76.装饰画	77.英语花体	78.纹身画
79.灰尘画	80.漫画插画家	81.沙画
82.像素画	83.春节	84.粉红豹
85.阿狸	86.超人	87.猫和老鼠
88.石头画	89.插花	90.思维导图
91.ai	92.sai	93.photoshop
94.狐狸	95.阿拉蕾	96.花木兰
97.奥特曼	98.一拳超人	99.复仇者联盟
100.英雄联盟	101.河马	102.尔康
103.地图

懒人大学-愿天下知识都能秒会
1.简笔画	2.公开课	3.水彩
4.水墨画	5.书法	6.手抄报
7.像素画	8.数位板	9.手帐
10.素描	11.速写	12.花体
13.自动画画	14.折纸	15.唱歌
16.编曲	17.尤克里里	18.吉他
19.物理	20.化学	21.少儿舞蹈
22.C语言	23.爬虫	24.AI音箱评测
25.手机评测	26.PPT	27.ai
28.sai	29.Excel	30.程序员网站
31.Linux	32.ih5	33.小程序
34.javascript	35.公众号	36.搜索引擎
37.中国历史	38.声律启蒙	39.鬼故事
40.幸福故事	41.解剖学	42.常见病
43.国学	44.国际音标	45.日语
46.马来语	47.德语	48.藏语
49.意大利语	50.葡萄牙语	51.西班牙语
52.越南语	53.泰语	54.俄语
55.阿拉伯语	56.韩语	57.英语
58.法语	59.Adobe Illustrator	60.Adobe Photoshop
61.摄影教程汇总	62.经典片头欣赏	63.粥
64.饺子	65.烹饪教程汇总	66.会计
67.插花教程汇总	68.健身	69.瑜伽
70.ted演讲汇总	71.思维导图	72.整理教程汇总
73.装修	74.包包DIY教程	75.科学
76.区块链	77.伟人	78.玩具
79.体育	80.电子	81.考研政治
82.哲学	83.旅游	84.服装
85.股票	86.种菜	87.建筑
88.t恤	89.数字电路	90.高考
91.AE特效	92.生物学	93.人工智能
94.棋牌	95.机器人	96.童话
97.玩具	98.粥	99.征稿
100.炒菜机	101.access	102.自媒体
103.投资	104.武器	105.力学

找不到您需要的教程?加群留言吧

懒人大学vip QQ群433569528

《懒人简笔画》同名图书已发售

京东，当当，淘宝，亚马逊搜懒人简笔画

史上第1本手残党秒会画画的书

报名懒人大学1对1培训班请加微信:mhw1212666

投稿请私信微博：懒人简笔画

福利：打开支付宝首页搜索“9092116”，即可领懒人大学专属随机红包，每天都有哦

辑：好困

【新智元导读】近日，清华大学提出的非成对人脸照片肖像线条画生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）录取为regular paper。代码已经全部在Github上开源。

近三年，刘永进教授课题组在该方向上已经发表了四篇PAMI和CVPR论文。

而这4篇论文有着相同的一作：易冉。

易冉现在是上海交通大学计算机系助理教授。她于2016年获得清华大学工学学士学位，2021年获得清华大学工学博士学位。她的研究方向包括计算机图形学、计算机视觉和计算几何。近五年共发表录用20余篇论文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等国际期刊和会议。

2021年12月，易冉获得中国图象图形学学会2021年度石青云女科学家奖。

她的博士学位论文《艺术肖像画的多风格与跨模态深度生成模型研究》，受到答辩委员会主席张钹院士、委员查红彬教授、陈熙霖教授、史元春教授和胡事民教授的一致好评，入选2021年清华大学优秀博士学位论文。

除此以外，易冉还获得过中国计算机学会计算机视觉专委会学术新锐奖、第十六届图像图形技术与应用学术会议（IGTA2021）论文竞赛一等奖、北京市图象图形学学会优秀博士论文、微软学者提名奖等学术奖项。

并且她还担任中国图象图形学学会智能图形专委会、动画与数字娱乐专委会委员，AAAI程序委员会委员，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊会议审稿人。

课题组部分成员合影

连续4年发表顶刊顶会论文

2022

论文链接：https://doi.org/10.1109/TPAMI.2022.3147570
代码链接：https://github.com/yiranran/QMUPD

2021

论文链接：https://doi.org/10.1109/TPAMI.2020.2987931
代码链接：https://github.com/yiranran/APDrawingGAN2

2020

论文链接：https://doi.org/10.1109/CVPR42600.2020.00824

代码链接：https://github.com/yiranran/Unpaired-Portrait-Drawing

2019

论文链接：https://doi.org/10.1109/CVPR.2019.01100

代码链接：https://github.com/yiranran/APDrawingGAN

实现方法

肖像线条画是一种高度抽象、具有表现力的艺术形式，将人物肖像中的丰富信息进行高度压缩，仅用稀疏的图形元素（如线条）表示。精致的肖像线条画需要艺术家精心绘制，十分耗费时间。一些现有方法使用成对训练数据生成肖像画，但是收集数据的过程是昂贵且耗时的。

论文提出一种基于非成对数据的从人脸照片生成肖像线条画的方法，该方法可以（1）使用单个网络生成多种风格的高质量肖像线条画，以及（2）生成训练数据中未出现的「新风格」肖像画。

论文提出一种从人类感知数据中学习肖像线条画质量指标（quality metric）的方法。首先使用现有方法生成许多肖像线条画，并与艺术家的画作混合，收集的样本如下图所示。

通过用户实验收集人类对这些肖像线条画的偏好，由此计算得到每个肖像线条画的质量分数（quality score）。然后用这些数据训练一个回归网络，其输入为一幅肖像线条画，输出为该肖像线条画的质量分数。

该回归网络从人类评估数据中学习，因此其预测的分数可以帮助引导肖像画生成器生成更高质量的结果。

为训练质量度量模型收集的肖像线条画样本，包括生成的与艺术家绘制的肖像画。从上至下肖像画质量逐渐下降。

在网络模型的结构方面：

（1）该模型基于非对称循环映射结构和截断损失，以解决非成对训练场景下已有方法常出现的信息隐藏和重要特征缺失问题。

（2）提出基于上述质量度量模型的质量损失（quality loss），以引导生成网络生成「更好看」的肖像画。

（3）通过在生成器部分引入风格特征及风格分类鉴别器，进一步使得单个模型能实现多种风格的肖像线条画的生成。

网络结构示意图

论文进一步提出生成训练数据中未出现的「新风格」肖像线条画的方法。在模型的多风格生成场景下，不同的风格特征会导致不同的风格输出，三种目标风格分别对应于向量[1,0,0],[0,1,0]和[0,0,1]。

给定一个「新」风格的肖像线条画参考图，论文提出使用训练好的生成器，在风格特征空间中搜索一个最优的风格特征，使其生成的肖像线条画在风格上与参考图最相似。最佳的风格特征向量通过优化该向量引导生成的肖像画与目标之间的风格距离得到。

「新」风格生成示例

给定（a）中的目标「新」风格肖像画（即在训练数据中看不到的风格），我们通过优化风格损失，找到合适的风格特征向量，生成与目标相似的肖像画。优化过程如（c）所示，最终生成的结果如（d）所示。优化过程中风格损失的变化如（e）所示。

论文对生成模型进行了特征图可视化，并将其与人脸语义图进行比较，以进一步分析生成网络。实验结果验证了生成器在生成过程中学习了人脸的语义信息。大量实验表明，论文所提出的模型优于目前最先进的方法。

下图给出了所提出的方法与多种风格迁移、图像到图像转换方法的对比结果。论文所提出方法生成了比现有方法更高质量的结果，既保留了人脸结构，又具有良好的图像和线条质量。

与最新方法的比较

(a)输入人脸照片；(b-c)风格迁移方法：Gatys和线性风格转换方法；（f)单模态的图像到图像的转换方法：DualGAN，CycleGAN，UNIT；（d）多模态的图像到图像的转换方法MUNIT；(e)论文的方法去除质量损失，输出的三种风格；（i）使用成对训练数据的肖像生成方法APDrawingGAN++方法；(j)论文方法生成的三种风格。

更多实验对比

(a)输入人脸照片；(b)DualGAN方法结果；(c)CycleGAN结果；(d)UNIT结果；(e-g)论文方法的结果。

参考资料：

https://news.sjtu.edu.cn/zhxw/20211222/165563.html

[1]Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data

https://doi.org/10.1109/TPAMI.2022.3147570
https://github.com/yiranran/QMUPD

[2]Line Drawings for Face Portraits from Photos using Global and Local Structure based GANs

https://doi.org/10.1109/TPAMI.2020.2987931
https://github.com/yiranran/APDrawingGAN

在线咨询

上一篇：2022年上半年湖北省高等教育自学考试转考2月21日
下一篇：token实现单点登录

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商

谷歌上线AI新玩法：随手乱涂鸦，一键变怪兽

师师 发自 凹非寺 量子位 报道 | 公众号 QbitAI

奇美拉的条件型GAN

将怪兽肢解建模，再组合渲染

得先制作生物纹理

【新智元导读】近日，清华大学提出的非成对人脸照片肖像线条画生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）录取为regular paper。代码已经全部在Github上开源。

连续4年发表顶刊顶会论文

实现方法

您的项目需求

师师发自凹非寺
量子位报道 | 公众号 QbitAI