作者丨临风
编辑丨海腰
题图丨Midjourney
去年,和英伟达合作的Masterpiece Studio被推荐为最好的3D建模生成式AI之一,也是人工智能文本到3D生成器,可创建实时可用的3D头像、角色和道具。
Kaedim也是英伟达人工智能初创计划启动的一个项目,位于伦敦,它是一家AI 2D转3D模型公司,提供简单的图生3D资产创建服务,用户上传1-6张图便能生成3D模型。据官网,平台已生成资产51098个,最近他们推出3D资产交易平台Marketplace,提供10000种易编辑、无损的3D资产给消费者选择。其主要服务行业为游戏娱乐,另有电商、建筑设计、动画影视等合作伙伴。
图源:Kaedim官网
Konstantina Psoma在2020年创立Kaedim,起初是因为她在课程作业的3D动画制作艰难,后在英国布里斯托大学读研时全心投入2D转3D的ML算法研究,并在校园企业竞赛中创立该公司。
3月11日,Kaedim筹集到A轮1500万美元,领投方为A16z Games,Scott Gelb(Riot Games前总裁)、Nate Mitchell(Oculus联合创始人)、Eden Chen(Pragma首席执行官)、Siqi Chen(财务分析软件Runway首席执行官)等参投。
据报道,Kaedim已有250个大型客户,用户基数每月增长2万,实现7位数年收入。它的C端用户包括3D建模爱好者、室内设计师、产品设计师、动画师。
一、2D转3D,做到7位数年收入AI生成3D并不简单,受限于训练数据的获得和开发的难度,尽管有公司做这项业务,但大多成本高昂,需要思考好商业化路径。
今年1月,A16z领投的另一家生成3D资产的公司Lumalabs生成高质量资产,成品模型放在现实世界中可以“以假乱真”,被称为3D领域的Midjourney。1月,Luma AI发布了Genie 1.0,一句文字提示,10秒生成4个高保真3D模型,尽管效果五花八门,但贴图、材质让模型十分逼真。
视频源:Luma官网展示作品,Created by @Jhues
Luma的融资主要用于研发和创新。有分析指出,其面向C端,但没有清晰的商业模式,未来极大可能在游戏、影视、电商等场景商业化。
Meshy AI也是备受推荐的3D资产平台,与Kaedim一样可以实现文、图生3D,速度快,质量还在继续提升。在专访中,Meshy CEO、“天选程序员”胡渊鸣提到,游戏搭建起了他创业3D生成AI的桥梁,3D AIGC是一个激动人心的创业方向,虽然有很多不确定性,但是值得和市场一起探索。目前该公司是否盈利尚未可知。
图源:Meshy AI官网
Kaedim的愿景则是加速从数字2D世界到数字3D世界的转变。Konstantina Psoma表示:“在过去5年中,我们已经看到了3D技术在电商、游戏、3D打印、AR/VR等市场上的巨大增长,我们在赋予下一阶段3D内容创作以力量,就像DALL-E对2D图像的帮助。”
他们已产生收入。据Finsmes资讯,Kaedim的年收入已超过7位数,拥有超过250家大型客户,每月新增2万名创作者。这其中包含电子游戏、商务、建筑、产品设计和动画等行业的爱好者和开发团队及财富100强公司。
技术上,Kaedim运用GAN(生成对抗网络)和迁移学习等知识,借助PyTorch、Tensorflow等技术打造AI产品,使其能生成和风格化3D资产。“人类在日常生活中看过很多汽车,人们的视觉是3D的,当我们看到未发布的新车图片时,就会联想现实中的它。同样的道理,我们教算法从2D图像中识别3D数据。”
Kaedim称,他们帮创作者构建了一个完整的工具套件,旨在增强艺术家的创作,而不是取代创作本身。他们采用将工具与工作流(如Unreal和Blender)程集成的方案,一组智能附加组件用于3D建模管道,如自动UV展开,一组使用Kaedim的机器学习模型定制3D资产生成的托管服务。
再加上Kaedim图生成3D资产的过程较为简单,容易上手,没有繁杂的参数调整。
Kaedim界面
在输入菜单中,有图(image)、文(text)生成3D模型两个选项,据演示视频,用户在编辑页面中可以上传目标生成角色1-6张图像,选择“标准”、“高质”、“极致”三个选项,对应1、2、4积分花销,做好命名和高度设置后点击生成,即可排队进入处理环节。
图源:Kaedim编辑器实例模型
图源:Kaedim Discord社区用户DV的模型作品
此外,用户可以用提示词生成2D图像,在得到满意的示意图后,按照之前图生3D的步骤点击生成。
同样,在其内部编辑器中,用户可检查模型骨架、尺寸,也可要求系统针对需求强化模型细节。
接下来,用户可以使用其UV Unwrapping创建模型的UV贴图。专业人士可以打开模型线框检查拓扑,也能为模型上色。由文转图生成的模型可以在编辑器中添加描述或更改草图要求增加细节。
最后,Kaedim允许用户以image、glb、gitf、obj等模式形式下载。
图源:YouTube,Kaedim视频演示
横向对比三类图生3D模型效果,可见Kaedim效果不差。从白模效果来看,Kaedim(图1)的线条效果较明晰,用时未知,可用性较强,支持自定义填色。尽管Meshy AI(图2)自带贴图,用时1分钟,但其免费生成的效果还需加强。此外,Luma的高质量成品也能作为游戏资产直接使用,使用Wall-E提示词生图转3D模型后,10分钟左右可生成一个边角稍有变形的Wall-E。
图源:图1来自Kaedim视频演示Wall-e模型,图2为作者在Meshy AI使用图生模型生成,wall-E原图来自维基百科
来源:Kaedim视频演示Wall-e模型,Meshy AI积分生成模型,Luma免费生成模型
近期,Kaedim推出了一个拥有1万种资产的3D资产市场Marketplace,内部3D资源素材没有不良拓扑、网格破损的状况,适用于独立游戏开发者。此网站仅订阅用户可进入查看。
图源:Kaedim
二、挂科带来创业灵感在官网中,Kaedim的建模主视觉是一组可爱小动物,与他们的创始人Konstantina Psoma的气质相似,Konstantina是一位爱笑、开朗且富有冒险精神的希腊女生。她是一名年轻的Z世代创业者,去年入选福布斯欧洲“30under30”科技精英。
图源:Konstantina Psoma领英
Konstantina毕业于雅典国立技术大学和英国布里斯托大学,在17岁独自离开雅典去英国读书。做3D AIGC源于她在大学时学习3D建模和3D动画学习的挫败。“这能有多难?”Konstantina自信地打开Autodesk Maya(一款3D动画软件)后又沮丧地发现,“非常难,软件的学习曲线非常陡峭。”
别的同学选择建模简单的咖啡馆和公寓大楼,Konstantina选的是城里最大的建筑——细节复杂繁琐的布里斯托尔大教堂。一顿操作猛如虎,费心渲染3个月,电脑崩溃好几回,最后成绩不及格。
图源:维基百科,图为Bristol Cathedral
“Maya里面成百上千个按钮,我在里面迷路了。我花了一周时间才建一把椅子,”Konstantina复盘整个过程,发现将大教堂变成3D动画的过程非常重复、耗时,“然而一张静帧状态下的3D视频游戏画面里,至少有数百个3D物体。”
不仅如此,3D建模设计需掌握大部分软件,创作者有一定美术基础后操作模型、材质、贴图、灯光、渲染才得心应手。为了找到更轻松的建模“魔法”,Konstantina和专业从业者进行了交谈。她发现,无论是3D设计师还是游戏开发者,都透露了一个问题:3D创作流程对游戏行业来说,是一个巨大的瓶颈。即使采用了先进的游戏引擎,开发者仍需投入大量时间和精力来优化和调整,以确保最终产品质量。
她不敢想象,在大多数人讨论VR、AR的2019年,游戏内难以计数的3D资产仍在靠手工建模。如果连大规模生成3D数字内容都无法做到,那如何实现真正的数字3D体验?
一个简单的创业想法在她脑中形成,“我们可以帮助游戏开发者、3D打印厂商、产品设计师加速他们的3D资产生产流程。”Konstantina将读研期间的研究重点放在了2D到3D的深度学习方向上,她和团队致力于构建机器学习算法,将草图和照片的2D输入转换为3D模型。其想法也引起了PlayStation游戏部门前负责人、她导师 Shawn Layden的注意并加以指导。
2020年2月,Kaedim作为英伟达人工智能初创企业孵化计划的一个项目成立。
“初创公司就是一个宏伟的idea,全世界都以为你疯了,但是你得有自信。”尽管只是一个项目,她们以公司名义与许多游戏工作室交谈,洞察其制作流程,看产品想法是否符合工作室已有作品。Konstantina通过调查发现,在创建3D内容的概念艺术、3D建模和纹理制作过程中,建模是劳动强度最大的部分,而且游戏制作总成本的25%到60%都用于3D建模。
“那些工作室认为,‘你给我一个现成的3D模型,我们才会考虑调整一下使用’,”Konstantina很快意识到,文生3D、3D生3D对大部分游戏公司行不通,她选择了2D生3D的产品思路,用以加速工作室的生产并帮助他们节约成本。
21岁的Konstantina提出的解决方案吸引了Aardman公司(制作《小羊肖恩》的动画公司)的合作意向。她们最终在学校的新企业竞赛中获胜,也顺利地获得了第一笔投资,来自英国游戏开发商Rebellion Games的联合创始人Chris Kingsley。
知名游戏团队Epic Games在早期阶段助力了Kaedim的人工智能技术开发,与此同时,Konstantina正式筹到了第一笔资金持续创业。2021年,他们推出了第一版Kaedim网络应用程序并开始了销售,和Quell(YC 21)等10家公司做试点计划。
图源:Kaedim
看得出来,Kaedim在早期吸引的客户都较为成功,但投放产品时一波三折。
Kaedim开放测试版后,数以千计的新用户加入了他们的Discord,很快多数用户对其发出质疑声,Kaedim并非完全AI生成,而且AI生成的质量低。404 Media的报道表示Kaedim的3D转换实际上是由人类设计师从头开始完成的,没有使用任何AI——他们聘请了“质量控制员”,薪资为每个模型1-4美元,负面报道接踵而至。
Konstantina即刻回应,质量控制工作对他们来说至关重要,能为算法创建反馈循环。因为AI算法的输出不稳定,需要质量控制员检测以达到标准,才能反馈给用户进一步编辑和添加纹理。她的目的始终是提速3D生产流程,“(2022年)整个过程平均用时15分钟,与手工工作相比,速度提升10-20倍。”按她计划,随着算法的进步,这个流程要在缩短至1分钟内完成。
解决了质疑声音,Kaedim在2022年的10月筹集了种子轮,并获得了Little Buffalo Studios艺术工作室、3D打印公司Nakkara、游戏或影视公司Netflix、Voodoo、Upland等的合作机会,并成功在2024年获得A16z的青睐,筹得最新一轮1500万美元。A16z称其为“3D世界的下一代合作开发平台。”
在Konstantina看来,随着元宇宙和数字空间的概念火热起来,3D建模的需求只增不减。目前公司员工已从最开始的2人增加到50人,还在持续增员中。
三、给游戏开发商提速10倍该公司不提供免费试用,涉及上色、修整模型的步骤都要求付费,起步价300美元/月。这也是Kaedim被大量吐槽的一个点,但这不耽误多数3D设计师对其一探究竟。
图源:Kaedim
在其discord社区内,“show your model”话题内有大量用户展示模型效果。例如活跃用户liamine创了个“高达”系列,他使用Kaedim2D渲染生成3D建模,在Blender 3D完成动画、纹理和渲染,产出了高质量结果。
来源:discord用户liamine话题页分享
再从合作案例来看其具体效果,Kaedim从设计师或开发人员已知的困境提供解决方案。
“我们为游戏开发商的3D资产创建管道提速10倍。”Kaedim团队称。游戏是Kaedim生成资产的主要应用行业,他们服务过AZRA、Myth、Upland、Voodoo(法国知名休闲游戏公司)、Voldex等。
图源:Kaedim
一是弥补时间、资源和制作难度的差距。3D工作流程长,建模成本高,资产制作慢是行业共识。据透露,即使是小制作的3分钟3D动画成本也是数十万元甚至更高。然而受限于规模、项目架构、制作周期等因素,3D制作的成本无法具体到准确市场价格。
Kaedim瞅准了这一点,他们会帮动画工作室补齐3D资产短板。Myth是一家伦敦动画工作室,与芬达、Pixelart等合作过商业动画,主要接单基础图形、插画动画等2D动画业务。据介绍,他们的设计人员在Cinema 4D创建3D动画资产时耗时多,往往需要一天或半天时间,使用Kaedim则可以将时间控制在15-30分钟,几小时内创建多个网格,“我们每周可以制作一部新的动作测试/小短片。”
来源:Kaedim,Myth与其合作的短片
二是提供资产创建管道,简化开发流程,创建无缝的桥梁。火爆一时的《赛博朋克2077》总成本4.5亿美元,光是更新和补丁费用都是4100万美元。据GameLook介绍,在游戏开发领域中,美术部会扮演“吞金兽”的角色,在3D开放世界、2D卡牌游戏中,美术常占据核心开发团队的70%以上。游戏领域对3D资产要求高,即使是AIGC时代来临,批量生成建模粗糙、缺少细节、结构扭曲的资产也无法提升效率。
所以,Kaedim将AI集成至工作流程中提高效率,如其与Upland的合作。Upland是一家区块链虚拟财产交易游戏,已有虚拟资产超400万个,加上Upland还在培养UGC社区,为促进游戏体验,他们对3D资产创建的数量和速度上有要求。据介绍,Kaedim为他们添加了自动纹理、UV展开和LoD(细节层次)等功能。
图源:Kaedim,与Upland合作的3D资产示例
“Kaedim帮助我们扩大了游戏内3D资产的生产规模,同时扩大了UGC平台。”据Upland案例描述,Kaedim给其图像到网格技术提供了解决方案,消除了手动灰度模型的步骤。原本需245天(非AI)生产的70个模型仅用70天完成,利用AI驱动3D的流程,将5000个特色图腾生命形态的生产时间的生产时间缩短72%。
但在工作原理上,Kaedim强调公司是将AI和人类专业知识相结合,并非全然依靠AI生成。原本,在2022年8月时,Kaedim的对外宣传都是“几分钟生成定制的3D模型”、“自动化3D建模”等,如上文所述,在2023年9月媒体透露Kaedim会有人类艺术家进行质量控制后,官网对说法进行了回应和更正。
Konstantina Psoma在Medium发文表示,人工质量控制有助于训练算法:“3D团队成员对公司来说非常重要,他们与机器学习工程师共同提供技术反馈。”此外,他们与3D设计师合作优化可用、可即刻投入的3D资产,确保输出的3D素材符合行业标准。
在过去的一年里,Kaedim发布了自动化工具套件,包括自动纹理、自动UV和生成LoD(细节层次)功能,添加了3D资源“预修改器”以便客户自定义工作流程。此外,Kaedim的目标行业不仅是游戏,还可以完成室内设计、电商等公司的资产需求。
“我们的技术发展还有很长的路要走,实现构想的未来3D建模工作流程。我们将始终专注于客户,埋头苦干,不断构建。”
尽管Konstantina后来知道了3D建模确实没有快速秘诀,但她正在塑造这个平台加速建模流程,以便人们想到快速生成3D资产时,只需要念一句魔法口诀:Kaedim。