渲染农场[专题系列1] – 国内外产业服务现状

Render Farm

作者:浩南兄,张宏鑫    单位:浙大CAD&CG实验室

以下内容来自浩南兄,张宏鑫,由浩南兄撰写完成。版权声明文章版权归原作者所有,转载时请以超链接形式标明文章原始出处和作者信息。

在开始前

  • 适合阅读对象:动漫游戏业从业者,以及任何爱好者。
  • 主要问题:如果用户想使用渲染农场服务,都有什么样的选择。
  • 主要介绍内容:渲染农场的重要性,国内外的渲染农场服务内容和方式现状。
  • 关于更多内容:敬请期待系列文章Part 2-《渲染农场-系统和软件》,Part 3-《渲染农场-开发者的声音》。如果对于渲染农场,以及国内的行业情况,你知道更多或者你有更多想知道的,请联系我们。
  • 关于合作:如果你对开发和设计渲染农场管理软件有兴趣,也可以联系,或Email:yjl424@gmail.com,我们非常欢迎合作和交流。

渲染农场的重要性

渲染是动漫制作的重要环节,在数字动画领域,后期电影特效处理的渲染时间决定了影片的质量。渲染计算时间越长,影片的质量越好,制造成本也越高。

早期的渲染过程,一般使用SGI工作站,当单独的计算机计算能力远远不能满足需求是,动画公司普遍采用集群渲染方案,在CG行业,一般叫做Renderfarm(渲染农场)。渲染农场本质上是“分布式并行集群计算系统”,是一种利用现成的CPU、以太网和操作系统构建的超级计算机。它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。

一般情况下,渲染电影的时间控制在每帧1~2小时才被认为可以接受。当然,也有需要渲染几十个小时的。假设用4K分辨率进行渲染时,如果每帧用5个小时,则一分钟放映量需要300天的渲染时间,完成一部120分钟长度的数字电影需要近100年时间,这是非常恐怖的。为此,好莱坞都采用Renderfarm技术来完成图形渲染,如果使用迪斯尼的Renderfarm则一分钟电影序列渲染只需要不到一天的时间。RenderFarm技术让好莱坞使用特效制作数字电影成为可能。

1997年,电影《素坦尼克号》的后期电脑动画渲染制作动用了2000多台以PowerPC作为处理器的IBM台式机完成。梦工厂在制作电影《Shrek》的时候,使用了1000多颗CPU的渲染农场,消耗了500万小时的标准处理器计算时间。2004年的《Shrek 2》的制作消耗了1000万小时的标准处理器计算时间,到2007年《Shrek 3》的制作则消耗了2000万小时的标准处理器计算时间。

Dreamwork

图 1. 好莱坞影视后初期的CPU时间。2007年的史莱克一秒钟的动画就需要125天的标准处理器时间。

近年来,中国的动漫产业面临重大的发展机遇,而国内又缺乏与国际接轨的产业技术平台。曾有业内人士做过测算,如果制作一部三维动画的制作周期可以缩短三个月,那么动漫公司在成本上就可节省50%,因此技术对于艺术呈现的贡献已经越来越大。

市场需求

从国内的情况来看,对于渲染农场的需求,包括了动画制作单位、影视后期处理单位、建筑效果制作商,还有各地政府和渲染服务提供商。这些机构和单位,可以主要分为三类:一类是制作单位,渲染农场直接为他们的业务流程提供服务;另一类是政府部门,他们采购渲染农场一般是为了使当地动漫园区达到技术要求指标,同时也为园区内企业提供公共服务;最后一类,也是近年流行起来的——渲染服务提供商。

不同规模的企业,对渲染流程有着不同的解决方法。中小规模的制作企业,制作团队的人数不多,大概在10-40人之间。这样的企业,一般制作的项目规模小,制作周期长。通常工作方式是“白天制作,晚上渲染”。对于规模较大的企业,通常都已经完成了渲染农场的架设,例如上海水晶石,有独立的机房和渲染农场管理人员。

说到这里,不得不提及渲染农场架设的费用。建设费用主要源自:硬件成本、管理软件、渲染器授权费用、机房和后期管理等。一次性固定投资,主要是前三者,这些费用中,以硬件投资和渲染器授权费为主要部分。购买渲染软件授权的时候,必须考虑到渲染农场中有诸多渲染节点,每一个节点都要得到单独的渲染器授权,这将是一笔不小的费用。管理软件虽然是一个重要部分,但是本身的投资并不是很大,例如国内常用的Muster等。

如果某个公司或者单位要搭建渲染农场,如何操作呢?活跃在这个领域的是渲染农场解决方案提供商。这些单位主要是从事硬件销售,他们非常熟悉各种服务器和高性能PC,是IBM、HP、Intel、AMD这样的厂商在国内的销售代理。对于有集群搭建需求的项目,自然会把当前主流的高性能工作站集群作为推荐硬件平台。至于管理软件,解决方案提供商自己不具备开发能力,通常是建议用户购买国外成熟产品。

渲染服务提供商

渲染农场投资大,更新换代代价大,并不适合于所有的群体。对于个人而言,更不现实。所以,将自己不能顺利完成的渲染任务,交给专门的渲染服务提供商,是一种更合理的选择。

渲染服务提供商,自行购买软硬件,或者直接采用解决方案提供商的成套服务,搭建渲染农场。这些渲染农场规模和收费各不相同。小规模的渲染农场就如搭建网络游戏私服一样,用不多的硬件就可以建造完成。

因为渲染服务提供商自己内部搭建渲染农场,外部提供服务,所以业务流程和用户体验对于客户而言比较重要。渲染服务提供商为了使自己的业务面尽量广泛,大多支持主流的几乎所有的创作软件的渲染流程。这些是由安装的管理软件来决定的,这些管理软件本身会及时的升级,以便容纳更新版本的创作工具,例如Maya、3DMax、After Effect等。

渲染服务商能提供服务的方式也不尽相同,分为两个,一个是本地服务,一个是远程服务。本地服务,并没有实质的“服务”内容,相当于渲染农场租借使用。最为原始的方式,例如客户带着需要渲染的文件到服务商所在地,签订协议,由专人测试场景,确定可行后,安排用管理软件进行渲染。最后,服务商把结果交送给用户。这种方式,没有自动化流程,需要额外的人力来管理,并且不灵活。如果不是同城客户,基本无法满足其需求。

另外一种常见的方式是远程服务。远程服务也分为不同层次的几类,主要分类依据:有无Web接口,有无独立管理软件。原始的远程渲染服务业务流程如下:用户注册帐户,得到一个FTP帐号。上传文件,服务商这边的管理人员检查后,会通知客户进度。最后的结果,还是从FTP下载。先进的远程渲染服务,一般有Web接口,用户有多种方式上传自己的文件,提交后,有进度查看界面,邮件通知完成信息,最后Web下载。

下文将举例说明国内外代表性渲染服务提供商的情况(2009年的数据)。

国内案例1. 某渲染农场公共平台

配备2860颗高端服务器CPU(全部为AMD OP285/2218/2360/Intle 5440)节点,配置有部分单机16CPU设备。硬件配置如下(仅渲染节点,数据来均来自其自官方网站,2009年数据):

  • HP DL145G3/TYANS2891/HP DL160G5(NEW) /IBM X3455 518套 20套一组 共26组
  • HP BL45P 80套 20套一组 共4组
  • IBM X3755 10套 10套一组 共1组
  • HP BLC685 24套 8套一组 共3组

业务流程如下:

  1. 登录网站
  2. 进入我要渲染页面
  3. 注册企业或者是个人用户
  4. 使用专用FTP上传渲染打包场景文件,用文本描述所有特点和要求
  5. 网站订单成预定状态,渲染小样,自动回传,确认后发确认指令
  6. 根据第一帧计算渲染定金,网络或汇款缴纳后,定单自动渲染
  7. 渲染完成后,根据实际渲染时间计算费用,多退少补,下载文件

可以看出,政府对于渲染公共平台的固件投资是不遗余力的。但是业务流程上来看,整个系统还缺乏自动化管理,主要实现了计费功能。文件传输使用FTP文件上传,而渲染则需要文字描述需求。

国内案例2. 某计算中心

该中心在上海的首家体验式计算(render)中心,采用AMD OP 2350(四核心“巴塞罗那”) 核心渲染计算(render)服务商,单节点形成 了八核高速运算核心能力。

业务流程如下:

  1. 亲临递交/客户亲自携带文件至中心,签订服务,保密协议等,中心提供客户需求的计算集群。
  2. FTP上传下载/客户与中心签订服务,保密协议等,索取会员成功后,可以在本网站的FTP进行文件的双向传输,中心依据客户书面要求的计算要求协助操作。
  3. 远程操控/客户必须和本中心签订保障及长年协议,中心提供并开放给客户集群远程操作平台,客户独立完成自己作业。
  4. 通讯软体/客户通过即时通讯软体和中心进行文件双向传输,中心依据客户书面要求的计算要求协助操作。传输速度依客户及网络运营商质量而定。中心推荐使用大陆腾讯公司产品QQ来进行传输。

该计算中心规模虽然不及CG渲染农场公共平台,但出于硬件原因,单组性能优于CG渲染农场公共平台的主流硬件。从服务来看,虽然提供了多种方式,但是没有哪一种采用智能化的文件分析、进度管理等。此外,改计算中心打出透明机房,可以当场看到硬件设施的旗号,也证明目前渲染市场存在部分虚假广告的情况。

国内案例3. 北京某渲染中心

该渲染中心的业务流程如下:

  1. 请与渲染中心提前预约渲染时段,并填写渲染单.
  2. 双方确认并签订保密协议.
  3. 文件传输方式:

    • 通过北京渲染中心专用QQ进行传输,压缩场景包并附带记事文本说明所有特殊要点及要求.
    • 通过北京渲染中心网站下载专用FTP软件,根据提示上传渲染打包场景文件,并附带记事文本说明所有特殊要点及要求。
    • 我公司客服人员上门取文件或直接将文件送到我公司,渲染好将渲染成品送回客户公司.
    • 客户认可的其它传输方式.
  4. 将渲好小样回传客户并告知客户文件需渲染时间.客户认可后正式渲染.在约定时间内将渲好文件回传客户.
  5. 客户预付部分渲染费用,以便中国渲染中心机渲染,预付金额一般在100-1000元不等.特殊情况可面议.
  6. 客户须支付剩余渲染费用,方能获得全部渲染成品及相关发票。

注:

  1. 渲染时间可以通过backburner查看,每一帧,每一机组,每台节点机的渲染状况。
  2. 出现部分序列帧有问题,请及时与北京渲染中心联系,我们将免费补帧
  3. 中国渲染中心免费提供渲染小样来确认是否需要渲染。

该公司的硬件配置不详,服务模式和其他的大规模的渲染中心无异,并号称价格最低。从其备注可以知道,该集群主要是面对3DMax用户,管理软件用Autodesk的backburner。

国外案例1. Rebus Farm(德国)

Rebus Farm公司的硬件配置不详,支持3ds Max、Cinema 4D、Maya、Softimage XSI、Lightwave 3D、Blender 3D、Mental Ray Standalone等诸多软件。

下图是该公司Maya场景渲染指南,文件上传,下载有一个网页支持的Flash小程序。这比纯粹的Ftp上传下载要先进一些,当然这个小程序性能不一定比FTP好。

Rebus Farm

可以看出来,该公司有一些用户接口,但是大部分的内容,还需要用户和公司沟通。

国外案例2. RenderCore(美国)

相比于上述的集群管理系统而言,RenderCore在整个业务流程上已经有了明显的自动管理功能。在网站注册后,便可以看到自己的信用卡的注册和缴费栏目,如下图:

RenderCore

使用网络接口自动购买渲染服务,在线查看运行的任务状态,账户信息等等。

除此之外,RenderCore还提供了一个单机的Java软件,全面的管理文件上传,任务新建,进度查询,结果下载这一全套的流程。

场景上传和下载界面:

RenderCore

个人文件夹管理和任务生成:

RenderCore

任务提交:

RenderCore

该公司用Java网络程序作为用户管理接口,类似于一个迷你的远程集群管理系统。

国外案例3. Render Rocket

Render Rocket是一家很有实力的远程渲染提供商,他们在2004年开始提供网络渲染服务,并有一个智能的用户Web接口。他们的目标是“使远程渲染和本地渲染一样便捷”,所以他们的团队有动画制作渲染和网络程序开发两方面的具有专业背景的人员,并有多个好莱坞的成功案例。

Render Rocket的业务流程完全网络化,不用当面交易,不用FTP,不用下载单独的程序。注册帐号后,进入任务控制界面,如下:

Render Rocket

选择任务类型,场景文件,上传文件:

Render Rocket

上传文件有多种方式,可以Http的文件上传,可以用Java的方式上传,不过大文件的上传还是要用FTP的方式:

Render Rocket

上传完毕后,会分析场景文件信息,分析出关键参数,例如帧数,Camera等等:

Render Rocket

任务确定提交之后,就可以在线查看进度和预览图:

Render Rocket

结束语

可以看到,国内外的渲染服务技术参差不齐,大部分的国内渲染服务提供商主要以当地服务为主,远程服务需要人工干预,流程和用户体现还不够成熟。

国外的案例来看,Render Rocket这样的远程渲染服务提供商做的比较成功,不仅有一套完整的服务体系,包括账户管理,邮件通知系统,其智能任务加载更值得称道,分析场景文件从而得到文件关联和动画帧数。这和写一个渲染要点的文档,然后专门安排人手阅读,分析、装载任务显然是不同的。后者只不过将熬夜渲染的业务从动画公司转移到了渲染服务提供商这里。

总结而言,从自动化和用户体现角度来看,远程渲染服务的一些要点有:

  • 账户:

    1. 账户管理
    2. 信用卡支付
    3. 自动邮件通知
  • 文件传输:

    1. FTP文件传输
    2. HTML文件传输
    3. Java文件传输
  • 远程任务管理:

    1. 单机用户接口
    2. Web接口
  • 用户体验:

    1. 智能场景分析
    2. 预览结果
    3. 错误处理
  • 等等…

Web接口和远程渲染的用户体验很大程序上取决于网速快慢。当前主干网和家庭宽带用户上,网络视频这样的应用已经非常普及,所以,从网速本身的角度来看,时机已经比较成熟。

在具体应用中,远程文件的上传下载效率是一个比较重要的问题,从上文的案例中不难发现,很多公司直接提供FTP下载,但不少公司推荐使用QQ这样的非专用工具传输,原因何在呢?FTP的传输协议虽然不限定文件大小和多少,却不能很好的利用线程和网络,所以那些多线程的文件传输工具要更好。当然文件传输的实现方式有很多,这里也不特指具体的实现方法。自行实现的,经过优化的传输方式,是能有效改善用户体验的。

一般的渲染农场需要写清楚具体问题,比如用了什么创作工具,什么渲染器,哪些插件,帧数等等。Render Rocket实现的文件分析从业务流程自动化上领先一步,特别是文件关联和潜在错误警告,减小了因为错误而导致的计算资源浪费。

用户接口层次,分为三种,一种是没有用户接口,只能打电话通知,或者手工邮件通知。第二种有单机程序作为用户接口,这样的方式已经比第一种方式大大的进步了,加上自动邮件通知系统,可以说是业务成熟。不过从用户体验的角度,Web接口,显然更符合目前的趋势,一个浏览器,到处都能查看管理进度,即便是通过手机也能随时监控渲染进度。

Render Rocket的Web接口还停留在Web 1.0和2.0之间,可能是工程的需要,一些花哨的东西还不用加入进来。页面自动更新功能,在Render Rocket中是不存在的,当然和其接口开发年代有关。如果是现在开发的话,可以考虑多有一些Web 2.0的技术,还有Flash也是能有跨平台,并且有效提高用户体验的工具。

后续内容:

敬请期待第二部分:集群管理软件介绍

浩南

前浙大CAD&CG实验室研究生,研究兴趣为计算机图形学和并行计算。现就职于东京微软联系方式:yjl424@gmail.com

More Posts

无觅相关文章插件,快速提升流量

Category: 设计报告

Tagged: , , , , , ,

  1. keyshot只有企业定制版的才能打开渲染农场功能,无奈的飘过。。。。