支持二次编辑、导入虚拟引擎5,Stable Diffusion进化出3D生成功能

650 阅读3分钟

从 2D 到 3D 图像生成,Stability AI 的文生图 Stable Diffusion 平台迎来了进化。

说到文生图大模型,Stability AI 在 2022 年推出的 Stable Diffusion 可谓是其中的翘楚,不断地为富有创意的故事讲述者提供他们所需要的 AI 工具。不过,该模型主要用于 2D 图像生成

今天,Stability AI 向我们展示了更多图像增强功能,生成了更美观的图像、同时也更便宜、速度更快。更重要的是,现在有了可以搞定任何类型 3D 内容创建的新工具了。

图片

具体来讲,Stability AI 新增了以下几种新 AI 工具和新功能:

  • Sky Replacer 工具:允许用户更改原始照片中天空的颜色和美学效果。
  • Stable 3D:通过选择一张图像或插图,或者编写一段文本 prompt 来生成 3D 对象。
  • Stable FineTuning:帮助企业用户加速特定用例的图片、对象和风格微调。

此外,Stability AI 现在正将不可见(隐形)水印和内容凭证集成到其 API 中,tigaoAI 生成内容的透明度。

Sky Replacer

Sky Replacer 允许用户通过九种替代方案替换原始照片中天空的颜色和美感,以改善图像的整体外观。

例如,Sky Replacer 可以让用户轻松地用一系列令人惊叹的日落、风景如画的晴天来取代原图像中的阴天:

图片

还可以把天空的颜色替换成梦幻的紫色:

图片

Sky Replacer 在房地产等行业具有广泛的应用前景,能让房地产经纪人在最佳条件下展示房源,并避免由于不利天气而导致房源延迟。

Stable 3D

对于图像设计师、数字艺术家和游戏开发人员来说,3D 内容创建可能是最复杂和耗时的任务之一,通常需要数小时甚至数天才能创建一个中等复杂的 3D 对象。

Stability AI 推出了 Stable 3D 私人预览版,能够自动生成 3D 对象,消除了大部分复杂度,允许非专业人员通过选择一张图像或草图或者编写一个文本 prompt,在几分钟内生成一个草稿质量的 3D 模型。

Stability AI CEO Emad Mostaque 在接受 VentureBeat 独家采访中表示, Stable 3D 模型扩展了 Stable Diffusion 中使用的扩散模型,包含了额外的 3D 数据集和矢量化

Stable 3D 是在 Stable Diffusion 和 Objaverse-XL 数据集的基础上构建的,后者是世界上最大的开源 3D 数据集之一。

Mostaque 认为,构建和渲染 3D 图像是一个资源密集型过程,Stable 3D 将比传统 3D 图像生成方法更有效。

Stable 3D 创建的对象会设置为「.obj」标准文件格式,并可以在 Blender 和 Maya 等 3D 工具中进一步编辑和改进,或者导入到虚拟引擎 5 或 Unity 游戏引擎中直接使用。

我们了解到,Stable 3D 可以让设计师、艺术家和开发者以非常小的成本,每天创建数千个 3D 对象。

图片图片

该场景以及所有的 3D 模型都是根据文本 prompt 创建的,并在几小时内完成。

私人预览地址:stability.ai/contact

Stable FineTuning

Stable FineTuning 使企业和开发人员能够以创纪录的速度微调图片、对象和样式,并且可以轻松地集成到用户自己的应用程序中。 

Stable FineTuning 使用户能够将他们的图片定制成现代数字艺术,形成富有想象力的创作。这对于娱乐、游戏、广告和营销行业的工作者来说非常有价值。

值得一提的是,为了提高人工智能生成内容的透明度,研究团队为通过 Stability AI API 生成的图像添加了「Content Credentials」和隐形水印。

参考链接:

stability.ai/blog/stabil…

venturebeat.com/ ai/exclusive-stability-ai-brings-advanced-3d-and-image-fine-tuning-to-stable-diffusion/