特效大神用真人视频一键生成动画，动画师要失业了？

网友对 AI 生成图片的各种尝试，比想象中的还要狂暴。

之前把普通照片变成二次元画风的各种 AI，大家或多或少都了解过：

又或者是让 AI 创造一个真实的美女：

不过这些都是静态的图片，有些人则在思考能不能让 AI 搞出点片子来看。

近期外国知名视频特效团队 Corridor 就整了一个狠活儿，AI 在他们手中要创作的不再是一幅画，而是要让画面组成一个完成的动画。例如下面这个片段，其实就是 AI 照着真人绘制的：

动画中两位王子进行了了一场惨烈的决斗，而方式竟然是「剪刀石头布」！虽然沙雕，但这画面确实够热血的：

看不出来是 AI 做的？可以对比一下真人镜头，简直完美同步，无缝切换：

画面干净，表情生动，没有鬼畜，甚至画风还有点经典。就好像是有一个动画团队用画笔照着现实中的人物绘制了一幅幅画面。但其实 Corridor 仅仅用到了四五个人，而且他们压根也都不会制作动画。

可以想象一下，AI 先是让你能从 0 基础变成画师，现在又有可能变成动画制作者，听起来创作更加轻松自由，这就有点科幻了。

所以，他们到底是怎么做的？

整个步骤简单来说，就是先让真人演一下，然后让 AI 把真人视频弄成动画版本。当然这个过程说起来容易，做起来复杂。

他们使用的工具是我们之前介绍过的 Stable Diffusion，关键词给到 AI，根据你添加的模板，它能帮忙生成各种风格的画面。

而想做视频首先要解决的问题，就是画面的不稳定性。

因为每一帧的画面不同，AI 生成的画面也会有明显差异。例如之前网友制作的「塞尔达风格侏罗纪公园」，作品已经相当流畅，但依然可以看出人物本身都在飞速变化，发型不断改变。

所以 Corridor 先尝试在几帧内固定了画面风格，以此来让画面大体稳定住，不要变动得太离谱。

但此时人物风格依然在不断转变，比如每张图中，角色的眼睛大小、画风都会更换，甚至有时候戴眼镜有时候不戴。

为了解决这个问题，就要用到一个固定的模型，统一画风，让 AI 别想太多。

于是他们用《吸血鬼猎人 D》的画面对 AI 进行训练，使用的截图包括各种面部特写、肢体、身体等等：

这样一来，生成的画面都是以这部动画为基础，眼睛也就不会忽大忽小了。

同时还要解决一个问题，那就是脸部的细节依然不稳定，而处理这个问题的方法，就是同时训练一个演员自己的真人模型。需要演员穿上戏服，然后多角度疯狂拍照，给 AI 制作素材。

制作团队不仅要给 AI 锁定了动画的风格，同时也要锁定演员的样貌，大幅度减少生成的图片的随机性。

经过训练的 AI 也可以生成演员的图像，只不过手指头偶尔还是残缺的。

接着还需要继续训练，用演员的照片生成动画形象，不断迭代，最终才有了比较满意且稳定的动画形象。

在多重训练的加持下，动画的效果也就变得理想了一些，画面的统一性基本稳定下来了：

再用上视频特效技术减少闪烁，画面由此变得更加惊艳，人物的情绪饱满，动作连贯而且流畅：

再加一些漫画特效，你说这是某部动画里剪辑出来的片段都没问题。

接下来他们要给自己的动画设计故事情节与背景：「国王死了，两个王子要用石头剪刀布争夺王位」，这剧情听着都像是 AI 写的。

技术有了，故事脚本有了，接下来开始正式制作。例如开始配音，虽然没有画面，但几位老哥还是吼到声嘶力竭。

之后就是从网上搞一下服装，两个主演穿上就去拍戏了。

真人视频拍好就交给 AI 处理画面，同时加入各种细节对画面进行调整。

于是现实中的各种演出，就这样被 AI 一点点给动画化了。

把绿幕抠掉，人物素材就基本完成。

接着还需要制作背景。于是他们直接用虚幻引擎中的素材，从素材中寻找镜头图片：

然后把图喂给 AI，再生成一大堆的背景图。

接下来就是对视频的整合与进一步处理，包括镜头、衣服、光线的变化等等。

例如让背景平移，这样镜头看起来像是在旋转，动态感就有了：

人物与背景相结合，最后输出成动画：

在动画中，甚至一些微表情也能对照真人进行还原，眼角的跳动，嘴角的抽搐，真人怎么做，AI 就怎么画：

石头剪刀布搞得像是放出了杀招一样，看着又尬又好玩：

这样的制作，已经完全脱离 AI 画图的感觉了。

这部动画在推出后目前已经有了超过 200 万的播放量，并引发了激烈讨论。

大多数人的观点再次认为，AI 将引发新一轮的革命，要失业的感觉笼罩了不少网友。

但也有人指出，AI 的成本并不比画师的工作量小。

首先，Corridor 是一个极为专业的特效团队，每个人都能力出众。以前恶搞波士顿动力机器人反杀人类的视频就出自他们之手，当时很多人对此都真假难分。

所以与其说是 AI 生成得好，不如说他们本身就拍得好，花了两个月才有了动画的精彩演出，普通人想要这样操作还有点遥远。

同时画风也是锁死的，因为他们的动画是根据真人来制作的，所以画风也贴近写实，如果画风再夸张一点效果可能又会变得不理想。

最后争论的就是版权问题，不少画师还是很抵触自己的作品被喂给 AI 的。

但想要完全脱离画师制作动画也不现实，像是这次的制作就还是使用了《吸血鬼猎人 D》的画面进行训练，想让 AI 完全自己绘制还是两个概念。

对此也有人指出，只要工具好用，动画公司会自己搞定版权，最后受伤的只有普通打工人。

话说回来，我还是对 AI 的成长充满期待。

生成一张图片，改变图片的风格，生成真人，又把真人变成动画，AI 的玩法明显越来越多。过几天说不定语音都不用真人去录制，视频都不再用真人去拍摄。

按照这个进化趋势，以后把一部电视剧喂给 AI，说不定也能轻松输出一部动画版本。一想到这里，这下不得不期待了。

参考资料：

• https://twitter.com/t_takasaka

• https://www.youtube.com/@Corridor/videos

• https://www.youtube.com/watch?v=GVT3WUa-48Y&t=95s

• https://www.youtube.com/watch?v=ljBSmQdL_Ow&t=296s

• https://www.youtube.com/watch?v=_9LX9HSQkWo&t=3s

• https://www.corridordigital.com/

• https://twitter.com/CorridorDigital

• https://twitter.com/CorridorDigital/status/1630330915284197376

本文来自微信公众号：狂丸研究所 （ID：kuangwanplay），作者：狂丸