提示：
1.本文字符数约1.8万字，阅读时间约55分钟。
2.本文最早发在微信公众号Joesmemo上，受微信图文篇幅及外链限制，部分内容无法详细展开、无法添加各类链接地址。
3.本文内容仅供参考交流、如有错漏,敬请指正。
目录
1/ 什么是<虚拟制片Virtual Production>
2/ 为何会出现<虚拟制片Virtual Production>
3/ <虚拟制片Virtual Production>的价值
4/ <虚拟制片Virtual Production>的特性与优势
5/ <虚拟制片Virtual Production>的部分技术点简述
6/ <虚拟制片Virtual Production>的挑战和展望
1/ 什么是<虚拟制片Virtual Production>
接触虚拟制片以来，有个一直很疑惑却又非常值得重点讨论的问题，那就是在近些年大家一直在讨论“虚拟制片Virtual Production”话题的时候。我们究竟讨论的是什么、什么是虚拟制片、或者我们如何去定义“虚拟制片Virtual Production”。
英国著名艺术指导Alex McDowell（亚历克斯·麦克道尔）曾在2007年提出过关于在整体虚拟空间中进行虚拟生产的概念以及“Hybrid Filmmaking-混合电影生产”这一概念。Weta Digital前CTO Sebastian Sylwan 也曾说 “There’s no checklist of things you can go through and say, if you have all of these, this is virtual production.”（）同时他也解释:“该行业仍在学习和探索过程中。因此很难定义虚拟生产可能涉及的诸多方面”。如果我们真的要寻找一个定义，2009年发起创立的“虚拟制片协会”或许可以给到一个答案。美国虚拟制片协会（位于美国好莱坞的虚拟制片协会是由美国电影技师协会、艺术导演协会、视觉效果协会、视觉预视化协会和美国制片人协会联合发起的）于2012年发表文章，其中曾经提到关于虚拟制片的定义:”a collaborative and interactive digital filmmaking process which begins with virtual design and digital asset development and continues in an interactive, nonlinear process throughout the production”（从虚拟设计和数字资产开发开始，并在整个生产过程中继续进行互动，非线性的协作和互动的数字电影制作过程）。
还有一个相对明确的答案：根据2019年Noah Kadner诺亚·卡德纳编写、UnrealEngine发布的《虚拟制片实践指南-The Virtual Production Field Guide》。我们可以发现这样的定义： 虚拟制片 (Virtual Production) 是一个含义广泛的术语，包含了各种各样旨在增强创新和节省时间的计算机辅助电影制作方法。借助虚幻引擎这类实时工具可以将传统的线性流程变为并行流程，模糊前期制作、制作和后期制作之间的界限，使整个流程具有更高的流动性和协作性。《虚拟制片实践指南-The Virtual Production Field Guide》中也引用了维塔数码团队 (Weta Digital) 的一个定义：“虚拟制片是现实和数字世界交融的区域。”值得一提的是，《虚拟制片实践指南-The Virtual Production Field Guide》对于大伙学习”虚拟制片”并体系化的建立基本认知是很有帮助的。值得反复阅读。
2/ 为何会出现<虚拟制片Virtual Production>
在我的印象中，当绝大多数行业诞生一项新的技术时，往往会获得无数关注与讨论，但最终依然需要将注意力回归价值归属，那就是不断地致力于落地应用（提升生产力）与规范化（慎重对待技术的阴暗面）这两大核心任务。因此，深入的了解虚拟制片的形成与演变有助于我们理性的看待及利用这项技术。
虚拟制片其实是由行业内部需求驱动，由决策者引导，自我迭代及变革形成的。必须首先强调的是：虚拟制片技术的发展出发点，并非为了去创造一种新型制片意识形态、去打造一个获得资本追捧的概念。而是为了切实可行的解决行业从业人员遇到的诸多问题。也是见证并试图推动行业变革的过程。
究竟是哪些问题驱动了虚拟制片的形成.这些问题背后又是如何产生的？在弄清楚这些之前，我尝试先快速的了解了一下电影的发展历程。
2.1.1 / 历程 – 从无到有
19世纪初。伴随着“法拉第轮”的出现，英国人约翰·赫歇尔的一次物理实验，让我们看到了神奇的一幕–插在转动的圆盘上面的画片真的动了起来。后来这项艺术不断迭代，逐渐实现了从动画到实拍、黑白到彩色、从无声到有声、从粗糙到精致。显而易见的，快速的革新与发展让这个行业的开拓者尝到了甜头。20世纪初，以爱迪生、维他格拉夫、比沃格拉夫等美国与欧洲企业家开创了具备体系的影视工业。在Studio System这一模式下，几大好莱坞公司诸如FOX、MGM、Paramount名声大噪，赚的盆满钵满。但好景不长。1948年，美国司法部判定多家好莱坞公司违反了反垄断法（因为他们往往同时拥有院线和制作业务）。同一时期，又一种新兴影视技术的出现彻底影响了电影行业，那就是电视。贪婪的除了资本家之外，还有观众，在任何一项视觉技术面前，观众总希望最大程度的满足自己的视觉神经。
2.1.2/ 历程 – 从现实到虚拟
电视的出现让院线不再是唯一的视频娱乐渠道，受电视冲击，电影需要差异化的竞争策略。这种策略也直接导致了一种非常容易量化的区别，就是两者的平均制作成本截然不同。电影人也不断想出各种方法来区分于电视并吸引观众：惊人的立体声效、3D/4D立体电影、巨型荧幕等。这个趋势一直延续到现在。20世纪50年代后期，电影人开始不满足于完全基于现实的拍摄手法。科幻电影先行者Ray Harryhausen(雷·哈里豪森)使用了动态动画技巧，运用二次曝光将实景拍摄的前景元素与胶片实现了合成。20世界80年代，非线编技术快速发展了起来，电影制作的数字化革命直接导致了工作流发生了改变。伴随着第一部全CG电影的问世。虚拟制作的内容开始逐渐占领好莱坞。视效内容如同让人上瘾的味精，一幕幕奇观让大荧幕面前的观众又一次得到了充分满足。敏锐的电影资本家自然会察觉到这一点，视效行业随着高昂的成本与不俗的票房表现巍然崛起。直到现在：票房大赢家往往依靠大量的虚拟拍摄与视觉特效。而正是这些特效又大幅度的提高影片的制作成本。甚至大量影片的后期制作成本及时间远远超越前期。电影又一次用另外一种方式证明了自己确实是“昂贵的艺术”。
简单了解这两段发展历程后，非常庆幸自己可以进入这样一个行业。在无数的开拓者不断努力下、在他们无数次的失败与经验中。我们才可以尝试去摸索一个前进的方向。电影艺术的发展已经印证了技术迭代将改变或被改变行业的生产力及行业价值。这一次的改变已经悄然开始。但在这次看似温和的变革中我们所发现的一系列问题是非常严重的。
2.2.1/ 问题 – 无奈的导演
在很多的特效片中，从第一个绿幕镜头开始使用起，作为这部电影的最重要的决策者——导演的角色开始变得尴尬。一部特效作品中。随着大量的视效内容、大量的绿幕虚拟拍摄使得导演在拍摄现场已经无法对成片的效果负责。虽然导演看似依然是那个掌舵者。只不过他驾驶的可能是一辆陌生的火车。他无法掌控方向，他只能在该停的站点停下。在这样的作品中，导演只能寄希望于特效团队有着惊人的发挥。因为你无法要求每个导演都精通后期制作。对于不熟悉特效制作流程的导演只能在绿幕面前茫然的拍完虚拟镜头，看着故事版与粗糙的Privz，从视效指导那里得到一些模糊的意见后喊“cut”。每一位专业的导演都更擅长在拍摄现场从监视器中直接确认镜头拍摄结果，在拍摄现场导演对于镜头的把控可以通过多次的拍摄和不断的调整来最终确认。在每个镜头的拍摄中，导演往往会选择类似“迭代”+“递归”的方式去进行反复优化创作。而在绿幕的工作流中这样的创作手法及其决策流程完全失效。决定大量特效镜头制作标准的人已经不是导演，而是视效总监及其视效公司。不得不承认导演在看到第一版小样之前存在大量“赌的成分”。这样的无奈也属于在拍摄现场的所有工作人员，即便是再优秀的摄影师与灯光师傅也无法在大脑中进行“实时渲染”。而最好的选择就是默默的认可导演的决定、相信导演的决策。关系一部电影质量的第一决策者失去了决策能力时是非常危险的。如果这期间发生沟通上面的问题。导致的结果将是一场灾难。在特效方面我们已经见过无数失败的案例。在这种结果下，导演并没有做错任何事情，但尴尬的导演不得不为“五毛特效”背锅。
2.2.2/ 问题 – 视效公司的危机
随着视效技术的普及，创造无数神奇画面的视效公司其实被动的转变为劳动密集型企业。视效公司的营业收入与项目订单挂钩；成本支出以人力成本为主；同时订单数量与人力成本大致成正比；若要做更多的项目则需要雇佣更多的人。因此在营业利润方面很难出现爆发性增长。同时视效公司竞争激烈、服务报价透明化也导致整体的毛利率持续下滑。因此低毛利率，低增长率的视效公司很难独立进入一级市场融资。但视效公司项目订单客单价较高。往往很多视效机构具备较高的营业额，因此被大型公司并购是很多视效公司创始人及投资者的资本退出途径。
提升生产效率，降低人力成本，似乎成为视效公司的生存要领。也是扩大利润率的最佳方式。但视效公司的企业管理难度之高堪称艺术。面对较高的人员流动性。需要根据档期特性及生产周期对潜在订单及生产力之间做好平衡。在多个维度实行微妙的人力资源动态管理。稍有失误则很容易出现空档浪费、人才流失。又或者出现生产周期重叠、出现交付风险。为了节省成本。很多中大型视效机构会选择一些人工成本较低的地区发展分支机构。从美国到印度，从北京到成都，在异地协同生产系统的支撑下。这些尝试是非常有效的。地方政府当然也会鼓励并通过优惠的税收政策吸引这些公司来本地落地。因为他们在提升公司自身利润空间的同时，也为当地培养了大量的优秀行业人才。美中不足的是。所有的优秀人才以及低收入地区都会成为这些大公司的未来竞争者。在这样的竞争格局下，大大小小的视效公司通过合作与分包形成了有趣的行业默契：不管是分散招标还是集中招标，往往都是少数的头部视效机构去承接专业的、更具有挑战性的的项目。因为他们往往具备研发和创新能力。而无数的中小型视效公司则承担了大量的常规视效生产工作。著名视效总监杰弗里·奥肯称之为“TheCommoditization of Visual Effects – 视效货品化”。
但在这种行业默契之外，有大量的视效公司在空档期时往往会采取“宁滥毋缺”的销售策略用于“保住团队”以止损。“少赚点也比没活儿强”“少亏点也比闲着强”的思维使得行业竞争逐渐呈现负和博弈姿态。这一系列的问题已经在慢慢的侵蚀我们所热爱的这个行业了。虽然我们都不希望视效行业出现危机。但危机早已开始。
2.2.3/ 问题 – 项目方的困惑
对于项目方而言，在市场的推动下，投资一部特效精良的“好莱坞大片”或许可以获得票房大丰收。但项目方制片人与视效公司之间存在一种微妙的博弈。最直接的就是制片人出于对成本的考虑，会不断的试图压低特效公司的报价。而处在生产链条末端的视效公司往往并不具备太多的议价权。然而已形成“货品化”的视效行业内以及与项目方之间其实无法通过公平的招投标流程建立经济责任制的，而且绝大多数项目标包都是固定价标（Fixed Bid）。这样的不合理性有一个很主要的原因是因为视效公司服务的非标化及服务环节存在较大的不确定性。因为这种特殊性，长期以来合作双方都无法在签署合同之前明确交付成果的技术及艺术标准。因此项目方在签约时需要承担巨大的合作信任成本，这种高昂信任成本也使得原本就相对孤立的视效行业无法进行全面的市场化竞争。因为项目方都会去选择那个有过合作经历或者值得信任的合作伙伴。即便如此，对于双方合作约定的交付结果双方仍然存在很大的偏差。现阶段，促使最终交付的主要原因是时间线。即“不得不交付了，就他了！”。在交付节点未到之前则主要依靠“改改改”，这种修改对所有人来讲都是不公平的。不过确实是由很多方面原因造成的：一方面这是导演的无奈之举，因为他在拍摄现场只能看到空洞的绿幕镜头而已。另外一方面要算在视效公司头上。视效公司在当初拿下这个项目订单时会展现出强大的销售能力，可以依靠过往案例的精彩混剪及令人眼花缭乱的PPT说服项目方。当然，这样会帮助视效公司拿下订单，但这样的副作用则是会大幅提升项目方的期望值。在高预期及“一口价”的合作框架内。“改改改”是唯一的选择。但即便不是一口价，也是唯一的选择。“当利益和纠错成本矛盾时，纠错成本永远优于利益，因为错误和偏差是必然的。无法纠错造成的巨大损失迟早将吞噬所有的利益”（王川,《论决策机制与纠错成本》）。当然也有很多项目方通过这种方式拉长交付周期，减缓现金流的压力。
2.2.4/ 问题 – 模糊的生产流
传统的视效片制作环节主要为三个阶段：前期预演阶段，拍摄阶段，后期制作阶段。在前期预演阶段包含概设、故事板、动画预演、技术预演等一系列准备工作。视效总监及导演会在这一阶段高频的沟通，自然也有会美术、摄影等部门加入参与。项目方与视效公司都意识到这一阶段将会为接下来的生产打下基础，希望在进入片场实拍之前尽可能的准备充分，视效公司也会让团队大量的优秀视效艺术家贡献最多的创意量提出最优质的视效方案。但从进入片场那一刻起，除了现场视效组之外那些远坐在视效公司电脑前的视效人员就已经无法再次影响片场的拍摄。现场会在导演的带领下，通过与现场部门的通力合作，根据预先制定的拍摄计划进行实拍素材的摄制。同样的，完成现场拍摄并交付素材后，拍摄期间的大多数团队都将再也无法影响后续的成片结果。看上去这是一种稳定的并且分工明确的流水线。但这种“稳定”其实是被迫选择下的一种僵化。
在视效镜头的拍摄阶段：因为摄影、美术、灯光、甚至演员等所有前期参与者根本没有能力去为最后的结果负责。整个部门只能在绿棚中看着演员努力的对着空气或者参照物表演。“还是得靠后期”这一思维大大的降低了前期部门的参与度与责任感。这是一种非常糟糕的工作状态。这种状态本身就抑制所有前期团队进行创造性的发挥。接下来只能期待拍摄顺利完成。而拍摄完成后，后期生产人员的噩梦才刚刚开始。因为种种原因所导致的频繁修改让后期从业人员长期处于失落、沮丧的工作状态。前期拍摄时可能导演及项目方很少会让美术团队重做一间小木屋。而在“神奇”的后期团队面前，很多人会误认为“重做一个大楼应该都是分分钟的事儿”，这种基于知识结构造成的认知偏差是永远无法调和的。后期生产者一直处于“费力不讨好”的阴影下必将会失去创造力与参与度。最后只能变成大家在反复的纠缠与压力中煎熬等待最终期限的到来。
几乎全部的电影项目都是跨部门跨组织合作完成的。而项目的执行主体“剧组”则是一个临时性组织结构。剧组内部之间存在大量项目制的、短期的、兼职的、复杂的劳务合作关系。这样的结构具有天然的松散型。虽然很多大型企业都在尝试内部整合部分制作团队而实现更高的可控性。但即便如此，模糊与失衡的生产及责任关系将依然存在，因为资本驱动下的视效大片必然以结果为导向。而整个视效片生产却依然采取最传统的线性生产流程。整个过程中却始终缺乏“一种敏捷的纠错机制”以及可以用于进行“迭代式生产”的生产工具。
3/ <虚拟制片Virtual Production>的价值
众所周知，在生产制作中充分的沟通尤其重要。因为沟通似乎能解决很多问题。但如果把所有的问题都归结在“沟通”上，这似乎本身就是在逃避问题。上段内容仅是尝试去发掘部分虚拟生产技术所针对的行业痛点。如引起部分从业人员不适，望见谅。问题背后的成因复杂且多样较难详解，我们大可不必重复讨论问题、强化问题。关键在于虚拟生产技术是如何解决这些问题的。
3.1/ 回归导演的艺术
虚拟制片自形成之初就为导演提供了一个友好的生产环境。狭义的理解：在这个环境中，导演可以通过实时渲染及展示快速的在拍摄现场对视效镜头进行审阅及决策。借助虚拟制片技术，使得原本晦涩尴尬的绿幕将在镜头内实时展现出非常完整的镜头艺术。重新掌握决策力的导演可以在现场同步的进行敏捷的调整及二次创作，这一系列的调整在监视器内都将以直观的、接近成片的效果展示。不仅导演，演员也可以在现场立刻看到自己的发挥，让原本荒芜的表演环境回归故事场景。这一技术还同时有利于整个现场团队各部门之间深入的理解项目。实时技术让大量现场各部门工作人员可以轻松的真正加入视效大片工作流。因为每一束灯光的微妙变化，每一个细微的近景道具，都将通过虚拟制片技术实时展示在现场监视器中。参与度的提高将增强所有现场部门的责任感与创作积极性。总体看来，虚拟制片首先带来的是一种回归。“导演工作是一种拥有整体影像的想法，这附带有演员，台词，布景，道具。你要找最合适的来表达。-Abraham Polonsky 亚伯拉罕·鲍伦斯基-[美]埃里克·舍曼《Directing the Film：Film Directors on Their Art 导演电影：电影的艺术 》”
3.2/ 帮助视效公司再次崛起
在不久的将来，虚拟制片技术带来的变革将对行业座次进行重新排座。因为生产流程的彻底转变，之前一直处于产业链末端的视效公司可能是这次变革的最大推动者及直接获益者。所有通过虚拟制片技术武装自己并转型成功的视效团队必将再次崛起。或将重新创造一个全新的“Studios System ”时代。视效公司通过多年的积累，大量的前期预演、后期制作项目经验使其牢牢掌握了虚拟制片的核心生产资料。传统工作流下的很多危机将迎刃而解。同时虚拟制片相对广泛的适用性可以打破“视效公司只服务视效类型片”这一目标市场枷锁。非视效大片同样适用于虚拟制片。随着虚拟制片的普及，视效公司将释放大量的无效生产力，在一定程度上减少过度修改带来的成本。部分资产及摄制方法的虚拟化可以帮助视效公司合理的整合吸收一些关联业务点。拥有资产重建、虚拟摄影系统、虚拟灯光系统、LED Wall、以及虚拟生产车间等虚拟制片生产工具的视效公司将在项目生产制作中拥有非常高的话语权。视效公司的天花板将拉升至一个新的高度。
3.3/ 让项目减预算，提利润
资本似乎永远是赢家，这次也不例外。虚拟制片可以增加项目的生产可控性、直接减少项目的制作周期同时降低项目的制作成本，这一点是显而易见的。但同时更高的可控性也意味着影片会更容易的达到预期设定的结果，让项目方与项目投资人更有信心去面对票房面对观众。更重要的是项目方通过虚拟制片可以沉淀大量的虚拟资产，虚拟制片技术下又赋予了这些虚拟资产的更多应用场景。这些资产可以反复使用，永不折旧。他们不仅是项目中的生产资料。又是可以进行资本化的一种存量价值。虚拟制片的广泛应用必然会解决虚拟资产的流通性及货币化问题。而这两个问题则是长期依赖困扰虚拟资产发展的两个拦路虎。更多的项目变现手段及投资退出渠道会对影视资本市场起到积极的刺激作用。
3.4/ 更加完善的生产流程
虚拟制片的生产流程提供了一种迭代式的并行生产方式。这使得整个生产环节的协作性大大提升。不仅仅是指多个后期生产者同时在一个场景中进行地编。更多的存在于跨地域、跨岗位、跨部门、跨系统之间的协作。游戏引擎及云服务在此显得至关重要。以虚幻引擎为例，在这个统一的标准及框架下。软件与硬件相互兼容的服务于所有生产者：灯光师、摄影与美术老师可以同时对场景进行创作与调整并实时渲染及展示。即便这一切发生在紧张的拍摄现场，任务链的时间轴都是以“on-set”（实时）或“on-time”（及时）的标准进行约束。相比于传统的生产流程这都是非常高效的。生产流程的进步使得二次创作的各方面成本大大降低。各部门将在相互交叉配合中清晰的履行各自的职责与义务。参与度与责任感将是确保影片质量的保证。
3.5/ 更多价值
虚拟制片技术对于影视行业内部带来的诸多价值是显而易见的。例如：对美术行业的赋能及充分延伸、对影视教育领域提供更有实践意义的教学工具、让充满创意的小型工作室（技术密度较高的）可以低门槛的尝试制作更优质的内容等。虚拟制片技术的形成可能需要依靠电影及电视剧项目的推进，但很多技术点在“泛表演艺术领域”中已长期应用并取得过不俗的表现。例如演唱会、舞台剧、广告、商业Show、流媒体等。有理由相信,经过一段时间的理论研究和实践探索，虚拟制片技术将有可能广泛应用与更多领域，发挥更多价值。
4/ <虚拟制片Virtual Production>的特性与优势
当理解了虚拟制片的一些价值后，我希望去尝试归纳虚拟制片的“关键特性和优势”。在这一部分中，其实可以完全参照《虚拟制片实践指南-The Virtual Production Field Guide》一文。文章中关于这部分的归纳及总结非常准确而且全面：
特性和优势：
• 资源创建
• 优质资源
• 实时引擎
• 更加灵活的工具
• 远程/多用户协作
• 实时物理效果
• 分布式渲染
• 真实的摄像机移动
• 资源追踪和数据管理
• 避免预算攀升
因为虚拟制片而受惠颇多的其中一个领域就是资源创建。创建资源时，在视觉保真和 实时效率方面付出的努力越多，从视效预览到最终成像阶段就越能频繁地利用资源， 而不必付出额外的成本和时间来重新创建所需对象。细节层级（LOD）控制和资源优 化被直接整合进引擎中，使得相同的高质量源资源在适当的处理后，能够在目标帧率 下实时工作，并且始终保持视觉真实度。
此外，由于优质资源是考量的一部分，并且创建数字背景和道具屋会带来额外的商 机，这些商机可通过规模经济使长期制作受益，并催生新的服务提供商。这些相同的 制作资源可得到快速调整并被交付到辅助流水线上，以便创建与电影相匹配的宣传图 像、游戏资源和玩具。无需为每个应用重建资源即可完成，既节省了时间，又避免了因重建可能导致的质量/一致性问题。
实时引擎提供更具可塑性的工具，并且可定制工具以满足电影制作人的需求，原因在 于其始终处于活跃的开发状态。如果你是一名摄影指导，希望在虚拟采景图像中始终 能看到一些特定的取景线，引擎可快速为你定制该功能。或者如果你希望在场景中看 到某种视觉特效，你可以添加并重复使用它。
传统电影场景中的远程/多用户协作通常包括远程视频反馈或屏幕分享。实时引擎因其游戏开发本质，早已深度集成“多用户”远程协作和通信功能。例如，它可以共享 远程虚拟采景会话，也使参与者能直接以协作的方式控制并参与表演捕捉会话。
实时物理效果是另一项优势，这一优势源自实时引擎的游戏起源。这意味着你不仅可以在理论上创建特技并检查摄像机的移动轨迹，还可以用类似于真实的物理效果来进 行模拟。此外，你也可以使用更加逼真的物理效果为视效预览和最终画面创建动画， 而不必从头创建。
分布式渲染对于视觉特效动画而言并非新概念，它可能会让人联想到大量服务器机房逐帧渲染图像的场景。在实时引擎中，可利用分布式渲染来实时提高动画的性能和分 辨率。可将多个引擎实例并行并协力输出到视频转换器，这意味着镜头内的实时视觉 特效可以超过4K甚至8K的图像分辨率，从而提供惊人的图像真实度。
用于增强真实色彩的摄像机物理运动同样可用于虚拟制片。由于一切都是实时发生的，之前被归为后期制作的许多其他内容均可以现场拍摄。合成也可以现场完成，以便在现场对其进行评估，而不是推迟到后期制作计划中的尾声阶段。事实上，采用虚 拟制片可以改变整个团队的思维方式，将其从“在后期中解决”转变为“在制作前解 决”和“在制作中解决”。
通过提高协作水平可避免后期阶段预算攀升，这是虚拟制片的又一大优势。由于图像由具有可塑性的实时引擎创建，而不是由更为传统的建模和动画流水线渲染完成，所以完成后的取景镜头可在后期阶段中进行改进和更新，并且不会浪费过多的时间和金钱。
资源跟踪和数据管理与本地开发工具总是麻烦不断。之所以要创建这些本地工具，原因是在制作过程中要使用这些工具管理资源的数量和版本。实时引擎由于其固有的编程属性，从设计之初就能精确跟踪各类资源并为其设置版本，从而将此前的难题通过引擎内置功能化解。简而言之，实时引擎“免费”提供的这部分优势同样能为电影制作带来显著的益处和实用性。
5/ <虚拟制片Virtual Production>的部分技术点简述
学习虚拟制片是一个长期的过程，并且包含较多跨领域、跨学科知识要素。受我个人能力及信息获取的局限性影响。我采取的是自下而上学习方式：做大量的调研及实践探究，通过反复试错并积累逐步建立认知。因此我将直接分享对于一部分<虚拟制片Virtual Production>的技术点的简单介绍。希望共同学习的同仁可结合自身行业与岗位形成属于各位自己的认知模式和知识架构。
5.1/ 虚拟摄影机系统
虚拟摄影机系统在电视领域已经落地应用很久了。因为虚拟摄影机系统也包含较多的含义，在本文的语境之下，我们特指一种摄影机仿真追踪技术，可以记录真实摄影机的运动及数据参数并在虚拟场景中实时体现。也可指代替真实摄影机在真实场景中进行虚拟拍摄的技术。
这项技术在电影领域的应用要追溯到电影《阿凡达》的筹备阶段。早在1995年詹姆斯卡梅隆计划《阿凡达》项目的时候就对虚拟摄影机及动作捕捉等技术提出了应用需求。但受当时技术限制项目被搁置。直到2001年。詹姆斯卡梅隆在影片《人工智能》（Artificial Intelligence: AI）的拍摄中使用虚拟摄影机系统（天花板标记方案）。2005年在电影《阿凡达》的拍摄中使用了包含虚拟摄影机的整体解决方案Simulcam。从此，虚拟摄影机系统开始被好莱坞广泛认知并应用。现在我们已经可以在大量的影视作品中看到这项技术。
虚拟摄影机系统是一项复合型的应用型技术。实现路径及解决方案多种多样，方案成本及功能也略有区别。核心技术要素在于：TOF相机定位技术、RGB双目图像特征测深定位技术、基于结构光的追踪技术、利用传感器的惯性定位技术、基于传感器或数据仿真的镜头数据采集、针对诸如Lens Data System (LDS）技术的二次开发等。
以学习测试为目的可以选择基于AR kit/AR core的方案。通过手机或平板电脑即可实现。例如：
Unreal Remote（iOS）
Virtual App （Android）
除此之外，也可以选择广受欢迎的HTC VIVE方案：HTC VIVE Pro 2 代基站目前已经支持4基站串联。在实际测试中可以实现10m*10m*3m的较精准的相机追踪反馈。
完整的商用虚拟摄像机系统往往定价较高。但在延迟及场景适应性上却有着非常不俗的表现。常见的几种方案有：
Ncam Technologies-Ncam Reality
Ncam Technologies-Ncam Mk2
Lightcrafttech-Previzion
Solidanim-SolidTrack
mo-sys-StarTrack
Stype-RedSpy
Avid-xync 2.0 CameraTrackingSystem
Shotoku-Free-D2
Glassbox-DragonFly
TrackMen-VioTrack R/S/F
Leyard-Insight VCS Power by: OptiTrack
5.2/ 虚拟灯光系统
虚拟灯光系统是虚拟制片中针对灯光管理部分的重要补充。虚拟灯光系统可以通过追踪真实灯光的数据信息反馈至虚拟场景中。也可以通过DMX（Digital Multiplex）和Art-Net等协议在虚拟场景中实时控制真实的灯光系统。虚拟灯光系统的价值在于实现虚拟世界与真实世界中的灯光双向同步。同时又允许灯光师随时进行手动的便捷的动态调整。尽管很多项目中已经用LED幕墙来代替部分灯光系统。但在更广泛的场景中依然需要大量的真实灯光系统的支持。
灯光的数字化控制技术已经在舞台艺术及其他领域应用多年。虚拟灯光系统中最广泛使用DMX512协议也是出自美国舞台灯光协会。例如：演唱会、各类体育比赛、发布会、综艺晚会、建筑照明、艺术照明等。但影视灯光应用并不是十分普及。除了舞台领域常用的硬件灯光控台。针对影视领域的虚拟灯光系统更多是采用与引擎平台兼容的Visualizer（可视化软件）结合灯光网关来实现。虚拟灯光系统的核心知识要素在于：基于以太网的灯光网络协议开发、诸如Art-net等协议的网关技术、复杂DMX网络的实时管理控制技术、大场景多设备的Wi-Fi组网技术、真实灯光的多轴运动方案、基于材质的灯光映射技术、虚实灯光之间的交涉管理方案以及如何克服系统使用使的延迟与信号干扰等关键问题。
DMX512协议是由美国舞台灯光协会（USITT）提出了一种数据调光协议，它给出了一种灯光控制器与灯具设备之间通信的协议标准，因其在1990年提出，所以协议的全称是USITTDMX512（1990）。该协议的提出为使用数字信号控制灯光设备提供了一个良好的标准.——引自百度百科
以学习测试为目的可以选择入手一款USB-DMX512灯光控制器。通过UE4或者其他引擎平台的插件开发来实现对灯光的虚拟控制。同样的，如果想采集真实灯光器材的空间位置信息可以使用HTC VIVE 方案来实现。
以商用或者进行中大型项目的服务需要与灯光设备租赁商进行较多的提前沟通。国内的影视灯光器材租赁商往往并不提供DMX控制二次开发服务。甚至只有少量供应商在提供优质影视级灯光的同时又可以提供定制化的影视级灯光组网方案。反而舞台灯光服务商及进口器材的代理商掌握更多的技术积累。方案多种多样，目前我接触过的几种常用的方案有：
Lumenradio-CRMX NOVA RX RDM
Lumenradio-Mira 无线组网技术及SUPERNOVA 4软件
Lumenradio-TIMOTWO DELEVOPMENT KIT开发套件
Arri SkyLink 套件+Stella+Arri SDK（需申请）方案
Cinelex-Wireless DMX
BLACKOUT LIGHTING CONSOLE
5.3/动作捕捉方案
动作捕捉主要包含人体动作捕捉及面部动作捕捉和特殊捕捉。针对不同的捕捉目标也会有不同的捕捉方案。狭义讲动作捕捉应该指的是大家会经常用到的的人体动作捕捉。就是大家常说的Mocap。
动作捕捉是由动作捕捉系统捕捉被捕捉体的位置及动作信息，再经过计算机处理后得到三维空间坐标的数据的技术。动作捕捉系统通常由硬件和软件两部分构成。硬件一般包含信号发射与接收传感器、信号传输设备以及数据处理设备等；软件一般包含系统设置、空间定位定标、运动捕捉以及数据处理等功能模块。信号发射传感器通常位于运动物体的关键部位，例如人体的关节处，或主动或被动的持续发出信号，信号进入数据处理工作站后通过软件解算得到连贯的三维运动数据，包括运动目标的三维空间坐标、人体关节的6自由度运动参数等，并生成三维骨骼动作数据，可用于驱动骨骼动画，这就是动作捕捉系统普遍的工作流程。
在目前的诸多方案中最常接触到的是惯性捕捉及光学捕捉这两种主流解决方案。而近些年也出现了基于图像视觉技术的非标记动作捕捉及面部捕捉。面部捕捉主要捕捉的是面部肌肉运动及表情和神态，所以其要求更为细微复杂，数据精度要求更为苛刻。因此绝大多数面部捕捉的解决方案都是基于光学（只有面部捕捉发展初期采用机械捕捉）。光学面部捕捉又有多相机方案及结构光方案。同时又有标记点方案及无标记方案。
值得一提的是特殊捕捉：基于动作捕捉技术方案将捕捉使用场景进行延伸，实现除人体动作捕捉意外的特殊捕捉。例如：动物的运动捕捉、特殊道具的仿真捕捉、摄影机的运动轨迹捕捉（可集成为虚拟摄影机系统）、逆向跟踪捕捉、特殊场景下的动作捕捉（外景、水下、运动型场景等）。
以学习测试为目的可以选择售价较低的惯性动作捕捉。在考虑相关产品时需要关注方案的抗磁干扰性/通讯方案/纠偏与误差修复算法等指标。同时硬件产品之外其软件的兼容性也是一个主要问题。而光学动作捕捉因为其特有的技术优势则作为大多数电影动补的常用方案。在国内的影视级领域最常用到的三个光学动作捕捉解决方案提供商为：Vicon Motion/Qualisys AB/OptiTrack,Inc.
全球范围内动作捕捉常用方案主要有：
Vicon Motion
Motionanalysis
OptiTrack
Qualisys
Northern Digital
Xsens Technologyes（惯性）
Codamotion
Synertial
Phasespace Inc
Phoenis Technologies
Noraxon USA（惯性）
Rokoko Mocap（惯性）
5.4/ LED幕墙系统
与虚拟灯光技术类似，LED幕墙已经长期应用与电视及舞台领域。在高端的虚拟演播室及舞台灯光艺术方面经常可以看到LED幕墙的技术的精彩表现。更另人兴奋的是LED幕墙近些年在影视领域出现的大量的应用案例。例如广为人知的《Nightflyers》《The Jungle Book》《Rogue One: A Star Wars Story》《The Mandalorian》以及中国作品《阿修罗》等。LED幕墙与虚拟制片的深度结合将是In-Camera VFX技术的又一次飞跃。也将是虚拟制片发展的重要里程碑。
LED幕墙也常常出现在很多“窗外”场景。例如用来表现“火车”“汽车”“轮船”“飞船”的窗外环境。但没有结合虚拟摄影机的LED幕墙只能算是一个“电子景片”。对于机位的限制使得并没有发挥出最大的应用价值。在虚拟制片领域LED幕墙的主要作用依然是作为一种显示面板。易于组装及拼接成各种异形成为了LED幕墙的独特优势。在这个巨大的LED幕墙中，实时渲染的画面与虚拟摄影机实现的完美的同步。除了充当背景之外。他还提供了更加便捷的光线环境。所有除在LED幕墙拍摄环境中的物体都将被这种“虚拟但又真实”的光线的覆盖。极大的增加了画面的真实感。相比于传统的绿布、景片及LED灯墙都是一种全新的技术升级。如果将LED幕墙技术在虚拟制片中应用，需要多个专业团队的高度配合，我们可以从国内外的多个案例中分析发现。这项技术的应用落地往往需要较高的时间与金钱投入。在硬件方面也有着较为苛刻的条件。以大家最熟悉的《The Mandalorian》为例。《The Mandalorian》选择了加利福尼亚的MBS Media Campus。这是一家以优良的技术服务而闻名的影视制作服务机构。这里诞生了多部漫威系列电影，多部《星球大战系》列作品、以及大量热播全球的电视剧集/综艺节目例如《CSI》《The Voice》系列等。由詹姆斯卡梅隆指导的《阿凡达》的续作也正在那里拍摄、同时这里还建有世界上最大的容积摄影解决方案——Intel Studios。MBS Media Campus的母公司MBS Group也具有灯光设备租赁公司及研发实验室，在能源管理方面有很多伟大的尝试。多年服务于科幻影视作品及舞台综艺的服务经验为后续的拍摄提供了充足有力的保障。
在MBS Media Campus的Sound Stage23/24/25这三个相互联通的棚中，他们为《The Mandalorian》建起了巨大的LED幕墙。并采用了来自ROE VISUL的LED方案，由4450块BP2 构成高6米，270°椭圆形的LED幕墙，1180块CB5 构成850平米天幕。
仅仅是总体设计还是远远不够的，当总体设计方案通过后，需要由数十人的专业团队针对幕墙进行主体结构的高标准结构设计及施工安装、调试。还需要由专业的色彩人员针对不同品牌型号的相机传感器和镜头利用专业的的一系列色标，在LED幕墙上运行校准序列以实现匹配。
与传统的LED屏幕应用相比，摄影棚LED屏幕应用对准确色彩还原，动态高刷新，动态高亮度，动态高对比度，无色彩偏移的广视角等等要求都更为严苛。与此同时LED幕墙的应用还要克服很多技术问题。例如：实时渲染、多屏幕投影、分辨率的提升、重复光线、影棚的电源管理、热量管理及噪音管理、相机-镜头-LED幕墙的色彩匹配、延时问题等等。同时因为LED幕墙系统的开发需要投入到大量的时间与资本。所以不太适合小型工作室投入研发此项技术LED幕墙的解决方案提供商有：
Esdlumen（深圳联建光电）
ROE（深圳雷迪奥光电）
Leyard（利亚德光电）
AR Wall
APG Display
Lets Display
5.5/工作站/渲染站/机群
对于Unreal Engine 4（以下建成UE4） 的应用，是虚拟制片的一个重要环节。UE4也依靠其强大的画面表现力及实时渲染能力从传统的游戏领域拓展至影视行业。EPIC GAME于2019年4月发布了Unreal Engine 4.22版本。这个版本中也首次正式启用了光线追踪技术，作为全局光照（Global Illumination）的主要算法流派，光线追踪（Ray Tracing）技术可以让画面获得更精确的反射、折射和透射、更准确的阴影、更精准的全局光照、更真实的环境光遮蔽（AO）。在光线追踪技术的加持下，让画面拥有了电影级的完美光线环境。（对于更多UE4及光线追踪的可以查阅官方文档，此处不展开）
但是，光线追踪技术也面临一个巨大的挑战，那就是性能。因为光线追踪技术不同于传统的光栅图形学算法，而是将每条光线当作独立的光线，每次都要重新计算，因此运算量非常大。所以光线追踪技术有着非常苛刻的硬件要求（另外还需对多渲染特性支持以及噪点方面有待优化）。尤其是在LED幕墙拍摄场景中，往往需要借助nDisplay系统进行机群配置及网格化多屏渲染，管理每个屏幕的视锥体所涉及的所有计算，同时还要实时管理虚拟摄影机、动作捕捉等可能并发运行的技术模块。因此选择可靠的工作站/机群及其管理方案是非常重要的。以《The Mandalorian》为例：通过11台相互连接的计算机把图像传送到LED屏幕上。3台处理器专用于实时渲染，4台服务器负责提供三幅4K图像并且能在屏幕上无缝拼接,可在天花板上提供一幅4K图像。
对于工作站及机群的选择是一个复杂的工程，在传统的生产过程中，我们往往只需要配置优良的GPU及CPU就可以胜任绝大多数工作。但在虚拟生产中，不仅要考虑巨大的GPU性能需求，还需考虑到很多实际问题，例如更高的静音要求、更完善的电源方案。同时还要考虑多种软件及硬件的特殊应用要求。并支持弹性扩充以及可以具备成熟的多节点管理的机群方案。
探索及尝试过程中可以先选择RTX2080+i9 9900k的个人工作室方案进行测试。足以应对大多数测试要求。最终的工作站及方案选择要根据项目本身的需求进行详细筛选。以下是常用的的几个方案商：
SILVERDRAFT
Leadtek-WinFast VCA System
Boxx Apexx3/4/4u-8u
Godbox ™RTX 8000-On Set Facilities
Lightact
5.6/ 更多的技术点
虚拟制片是一个多种技术结合的产物，这些技术横跨软件及硬件；融合技术及艺术；大量的前期准备及现场开发与后期优化。在此备忘录整理中，还有很多必备的技术要素没有一一展开（例如：多用户协作系统、远程制片系统、资产扫描方案及资产管理系统、标准化的Virtual ProductionPipeline及大量的定制化方案等等）。我将在下一次更新备忘录时做进一步的完善。也欢迎所有共同学习与探索的同仁批评指正。
5.7/ 完整解决方案
在虚拟制片的学习及应用过程中，是极其考验团队的技术维度及整合能力的，以下团队针对虚拟制片已经可以提供完整的解决方案，在未来的整理中将详细介绍这几家的方案，本篇暂不展开：
ILM-StageCraft
Stargate Studios-TrueView
Ross
Profile Studios
On Set Facilities
PIXOMONDO
Treehouse Digital
Zero Density
6/ <虚拟制片Virtual Production>的挑战和展望
虚拟制片技术作为一项新兴技术，存在很多未知及可能性、面临诸多问题和挑战，总体尚处于探索和研究阶段。伴随着更多团队的加入，更多的项目开始使用这项技术，相信这些挑战会被一一化解。但现阶段需要直接面对的几大问题依然会给这项技术的推进带来不少的压力。
6.1/ 挑战—认知与接受
摆在所有问题前面的是由于这项及技术的陌生给行业生产者带来的诸多困惑，不得不承认的是传统的工作流足以应对绝大多数非视效大片，而说服导演及项目方以及视效公司改变自己固有的工作流恐怕是这项技术推进的最大阻力。面对技术创新选择去勇于尝试，往往是难以做到的，大家会去选择安全并且熟悉的方式。回想历史上很多重大技术的出现都面临过无数的阻力，这似乎是人类的天性。当一个创新的产物出现时，往往也会经历长期的怀疑与否定的过程。只有经历过这个阶段，这项技术才会被逐渐的广泛接受。
这个问题的解决似乎需要时间的帮助。相比于前两年，从2019年开始，全球范围内已经出现大量的企业及个人以及行业协会为这项技术的推进进行宣传与交流。行业媒体也加入了进来，开始报道虚拟制片技术的案例及其真正的价值。让大家获取的到足够的信息是认知并接受这项技术的先决条件。2020年的疫情让全球影视行业大幅萎缩，但也让行业从业者有了更多的时间与精力去思考生产模式的创新与改变。我相信这种思考带来的力量是巨大的。这个挑战最终会被克服。
6.2/ 挑战—技术的限制
虚拟制片技术所包含的大量技术点依然存在很多没有解决的问题。虽然近些年技术在突飞猛进的发展，但是技术的限制依然客观存在，例如延迟的问题，受到运算延迟、数据流及信号延迟、多系统合作之间的延迟等因素影响，虚拟制片的现场拍摄中往往存在10ms-20ms以上的延迟。这样的延迟如果在LED幕墙下则会导致无法拍素快速移动的镜头。同时也会导致监视器的画面的准确性。影响导演的判断。又例如虚拟摄影机的光环境的依赖性，很多基于光学的虚拟摄像机系统依赖光线环境的稳定。如果出现频闪灯，强光直射等灯光环境，则非常容易导致跟踪不稳定。更有很多虚拟摄像机系统需要大量的标记点，这些不起眼的标记点也会对现场环境及后期生产带来一定的工作量。还有LED幕墙的色彩匹配存在的局限性大大的限制了相机与镜头的选择、超高精度的实时渲染及实时光线追踪对运算的需求已经逼近了渲染硬件的天花板、光场及深度信息的缺失、软硬件集成度太低等等问题。
虽然这些限制最终会被技术的发展所逐渐攻克，在创作及生产中也可以尽可能的去规避一些技术上的问题。但我们无法要求所有的团队都在选择“发挥长板”或者“规避短板”这个问题上遵循前者。因此，很显然，突破技术限制迫在眉睫。
6.3/ 挑战—工作流的巨变
当生产者准备尝试虚拟制片时，首当其冲的会面临这个挑战，那就是对几乎整个生产流程的改变。这种改变大到颠覆了传统的生产时序，小到要改变某个User的生产工具。甚至加入大家从来没有合作过的部门等等。对于所有生产者来讲，这种改变的结果都是陌生的、都是未曾尝试过的。在这种“充满冒险”的尝试中，导演与制片团队是否可以引导并管理好这一件“熟悉又陌生”的工作？恐怕需要大量的实践与积累了。
6.4/ 挑战—总要有些外因的 ：-）
除了行业内与技术发展的本身存在的挑战，或许我们还可以发现一些外部因素，往往侧面的影响着我们的行业与这项技术的步伐。这些外部因素其实不是最主要的因素，但却是最不可控的因素。正如凯文·凯利所说：“不管你们是做哪个行业的,真正对你们构成最大威胁的对手一定不是现在行业内的对手,而是那些行业之外你看不到的竞争对手。”
在中国，几乎每个尝试进行虚拟制片研发与推广的视效公司恐怕都面临过一个人力资源方面的永恒话题，那就是与游戏公司抢地编、与互联网公司抢开发。对于技术要求不断的提升让这个问题暴露的越来越严重。这个问题同样适用于那些从大学毕业准备进入职场的小伙伴，在游戏公司/互联网公司面前，是否依然坚定的选择这个天花板低、成长路径模糊、毛利率低的行业？这个答案恐怕不是很乐观。同样的，资本的答案也不乐观，即便是在中国影视行业快速发展的这几年，也从来没有一个属于视效公司的融资窗口期。即便视效公司的决策层下定决心准备在虚拟制片领域大展拳脚。“找钱难+找人难”这俩问题恐怕即是动力，又是压力。
6.5/技术的另一面
这项技术的另一面也是一个非常值得关注并且严肃讨论的问题，当虚拟制片进入快速发展的轨道并且普遍应用后。究竟会给我们的行业、我们的生活带来哪来意料外的变化，这些变化是否可控？是否是有价值的？甚至有哪些变化其实是阴暗的。
“美国国家情报总监James Clapper在他的全球威胁评估报告《Worldwide Threat Assessment》上指出：更为廉价的虚拟现实和增强现实系统，已经在帮助恐怖分子来实现他们的阴谋。”
“基于深度学习的换脸与变声已经成为犯罪分子的高科技犯罪工具之一。”
虚拟制片是否会像VR及深度学习那样助长非法色情内容的滋生。在虚拟制片技术应用时该如何保证虚拟资产产权拥有者的合法权益。除了打击盗版资产之外，如何去健全合法资产的交易及保护机制。引擎商城是最佳方案吗？总而言之，还有很多其他的问题。这些问题其实都没有找到答案，但他们却不容忽视、非常重要。更多的问题就不抛出了，但在这个问题上我特别希望与大家更深入的交流。
6.6/ 一点展望
虚拟制片发展至今已经不再只是一种“现象”。而是一种“必然”。对于这项技术的发展与完善依然需要各部门广泛的、长期的配合努力。但从现在的发展路径来看，虚拟制片的未来是充满前景的。
·生产技术的发展让游戏与电影的界限会逐渐的模糊甚至消失，生产工具正在逐步走向统一化。在固有的区别两者的交互性层面上，认知及需求也将趋于一致。
·流媒体的发展让观众的权利大大提升，甚至是一种过度的让权。通讯与移动终端的发展让新的放映场景必然蚕食传统放映场景。观众正在逐渐的成为一个完整作品体验的参与者。针对观众播放体验进行技术研发这一创新路径将更加明确。
·创作自由化、制作自由化、发行自由化推动了视频内容碎片化的趋势并在逐渐改变观众的观影习惯。这将倒推生产流程向敏捷化、轻量化的转变。在这种趋势下，与“质”相比“量”同样重要。生产力发展至极端时“流电影”将会以类似“话剧+直播”的形式与大家见面。
·容积摄影在未来将加入虚拟制片成为重要的组成部分。对于终端体验的友好化是其天生的优势，这可能决定这项技术不会像VR/AR那样被逐渐边缘化，甚至他会帮助VR/AR获得重生。
·由生产工具技术差距带来的生产力差距将成指数增长逐渐拉扩大。加大科技研发投入、提升物化成本比例、降低活劳动成本、最终从影视行业转入大TMT领域可能是激进派视效公司的一个不错的选择。
-本部分完