怎样健建设一个有利于优化的网站,学网站建设 去那里,杭州做微信网站软件公司,极乐宝盒网站建设我正在继续去年开始使用 Three.JS 构建 3D 场景和草图的工作。
当时#xff0c;DALL-E 和 Stable Diffusion 等 AI 图像生成器刚刚真正起飞。 我成功地在本地运行稳定扩散#xff0c;并使用它为我正在构建的 3D 世界中的地形、建筑物和其他环境生成纹理。
当时我使用的是稳…我正在继续去年开始使用 Three.JS 构建 3D 场景和草图的工作。
当时DALL-E 和 Stable Diffusion 等 AI 图像生成器刚刚真正起飞。 我成功地在本地运行稳定扩散并使用它为我正在构建的 3D 世界中的地形、建筑物和其他环境生成纹理。
当时我使用的是稳定扩散 v1。 我发现了一些我喜欢的提示它们创建了具有如下样式的图像 推荐用 NSDT编辑器 快速搭建可编程3D场景 SDv1 非常擅长生成这样的纹理我在使用不同的提示时生成了数百/数千张图像。
现在已经是 2023 年 8 月AI 图像生成生态系统持续突飞猛进。 我一直在尝试使用 Stable Diffusion XL 来生成纹理从大部分地形开始我已经得到了一些很好的结果。
起初我得到了一些令人沮丧的结果因为我之前使用的提示效果不佳。 然而经过一些实验我得到的结果比我过去取得的任何成果都要好得多。
1、SDXL v1.0 PBR 纹理生成工作流程
我想出了一个非常可靠的工作流程可以使用 Stable Diffusion XL 和其他一些工具生成高质量的 4K PBR 纹理。 到目前为止我对结果印象非常深刻而且我现在才开始研究这些东西几天。
这是我能够得到的结果 2、使用7900 XTX安装运行SDXL
我最近买了一块7900 XTX显卡。 它具有 24GB 的 VRAM足以生成具有稳定扩散的 1024x1024 图像无需升级或其他技巧。
我选择 AUTOMATIC1111 WebUI 来安装和运行 Stable Diffusion。 它似乎是功能最丰富和最受欢迎的并且它开箱即用地支持 AMD GPU。 我克隆了存储库运行了 ./run_webui.sh 脚本它自动安装依赖项并下载稳定扩散权重和其他模型文件。
为了运行它我需要做一些手动操作。 我在第一次运行时遇到了段错误但可以通过设置两个环境变量来解决此问题
export CL_EXCLUDEgfx1036
export HSA_OVERRIDE_GFX_VERSION11.0.0我目前正在使用 ROCm v5.5我相信这就是需要这样做的原因。 该版本增加了对 AMD 7000 系列 GPU 的支持但支持还不是很完整。 这些环境变量诱骗 Pytorch 和其他库认为它是其他模型并使其工作。
我之前写过一些关于使用 7900 XTX 安装 ROCm 和 TensorFlow 的说明。 不过它们可能已经过时了。
无论如何安装并导出这些环境变量后Web UI 启动并生成图像
3、SDXL提示词
该过程的第一步是找到一些好的纹理生成提示。 这当然是整个事情中最具创意的部分并且对你的结果影响最大。
我这里没有太多指导 这很大程度上取决于你想要生成的内容以及想要获得的风格。 然而这是一个我已经取得很大成功的提示示例 top-down image of rough solid flat dark, rich slate rock. interspersed with bright ((flecks)) of ((glinting)) metallic spots like mica. high quality photograph, detailed, realistic 负面提示 blurry, cracks, crevice, round, smooth, distinct, pebble, shadows, coin, circle 请注意一些单词周围的括号。 这是我正在使用的 AUTO1111 webui 的一个功能它告诉模型更多地关注它们周围的提示部分。 还有一些其他奇特的提示语法技巧 大量的灵活性和可供探索的选项。
4、SDXL参数
下一步是为图像生成提出良好的参数。
我发现 Stable Diffusion XL 实际上比旧版本对所选参数更敏感。 最重要的是与一年前相比需要调整的东西要多得多。 结果我确实花了很长时间才想出能够产生令我满意的图像的设置。
为了解决这个问题我广泛使用了 AUTO1111 webui 的“X/Y/Z 图”功能。 它位于用户界面的“脚本”下拉列表中
它生成输出图像的网格其中每个单元格都是使用不同的参数组合生成的。 使用它时的输出如下所示
它对于为我的图像确定一组良好的基线参数非常有用。
经过大量实验后这是我现在在生成新纹理时使用的基线参数
采样方法欧拉采样步数60宽度/高度1024x1024CFG 量表6.5我发现正确地做到这一点尤其重要平铺启用需要生成无缝平铺的纹理极其重要修复已禁用启用此功能后我尝试的所有操作都运气不好
你可能需要自己进行试验才能找到适合你的用例的参数但在开始时这些可能会作为一个很好的基准。
我观察到的另一件事是启用平铺会导致生成的图像总体上显着不同。 例如当使用 Stable Diffusion Dream Studio 在线生成图像以利用其快速 GPU然后尝试在本地复制这些结果时这会变得很棘手。 他们的托管 UI 中没有平铺选项也不允许调整采样器等参数因此很难获得精确匹配。
5、将纹理从 1K 转换为 4K
一旦我找到了一个好的提示和好的参数我只需将其设置为生成一堆图像然后就可以了 我让它运行了大约 2 个小时并选出了大约 50 张图像。 虽然很多都是不好的但是这堆宝石中有足够多的宝石可供使用。
你可能已经注意到的一件事是我在这篇文章的标题中提到了“4K 纹理”但到目前为止我生成的所有图像都是 1K。 好吧如果你认为我会说我使用多种可能方法中的一种沿着升级路线做了一些事情那么你实际上就错了 我创建了一种独特的方法将AI生成的纹理组合在一起以生成更高分辨率的输出。 生成的纹理保留源图像的无缝/无限平铺属性。 我构建了一个在浏览器中运行的工具可以轻松地完成此操作你可以在这里使用它 100% 免费且开源。
过程非常简单。 你拖放 4 个看起来相似的无缝平铺稳定扩散生成的纹理并将它们组合在一起。 正如我提到的输出也将是无缝平铺的并且分辨率提高了 4 倍。
该工具的 UI 如下所示
你可以右键单击生成的图像并选择“图像另存为”将结果下载为 PNG 格式。 默认情况下的输出非常大因此你可能需要使用像 sqoosh 这样的工具来压缩/优化它。
与稳定扩散和其他AI工具相比其实现实际上技术含量相当低。 但我发现总体效果非常好
它最适用于看起来非常相似的图像。 如果样式、颜色等方面存在较大差异则在结果输出中可能会很明显并且看起来很糟糕。
获得外观非常相似的源图像的一个好方法是找到你喜欢的生成图像然后生成它的变体。 为此请将生成的图像上传到 AUTO1111 Web UI 的“PNG Info”选项卡。 然后单击“发送到 txt2img”按钮它将使用用于生成它的所有参数预先填充 UI。
然后勾选 txt2img 选项卡上的“额外”复选框。 将“变化强度”设置为较小的值例如 0.1-0.3并生成十几个左右的图像。 它们整体看起来应该与原始版本相似但细节不同。 如果您选择其中 4 个上传到无缝纹理缝合器工具我发现输出通常看起来不错。
6、构建 PBR 纹理
一旦获得了满意的拼接 4K 图像就可以将它们制作成完整的 PBR 纹理了。
为此我使用了一个名为 Poly 的工具。 他们提供了一个AI驱动的纹理生成器将图像作为输入并为其生成法线、高度、环境光遮挡、金属度和粗糙度贴图。 他们还提供自己的基于提示的生成工具但我个人更喜欢自己生成它提供的控制。
他们的工具可以让你免费生成法线图和高度图但是他们每月向你收取 20 美元来生成其他图。 我个人现在确实支付了该订阅费用但你不必为了获得良好的结果而支付费用。 法线贴图是最重要的部分您可以为纹理设置全局粗糙度/金属度值这是您很多时候所需要的或者编写自定义着色器以从像素值动态生成它们。
另一种可用于生成法线贴图的方法是 SmartNormap。 它使用非人工智能方法以编程方式为任何源图像生成法线贴图。 它有一些参数可以调整结果还不错但根据我的经验总体来说不如AI驱动的 Poly 工具好。
无论如何是的那时你可以下载贴图并将其插入 Blender、Three.JS 或你想要的任何其他 3D 软件中。
如果你想更疯狂地使用它无缝 4K 输出纹理可以与十六进制平铺算法一起使用使其无限平铺没有任何重复。 我正在开发一个 Three.JS 库来自动处理这个问题下面是我在 Blender 中生成的一些地形上的布局 7、结束语
这里真的有闸门打开的感觉。 我个人发现使用 AI 图像生成纹理和其他构建块资产而不是完整图像或艺术品才是正确的选择。 我的创造力和投入有很大的空间来指导整个过程。 有无限的可能性可以探索整个过程在我看来还是蛮有趣的。
无论如何我希望这些内容对您有所帮助如果你决定亲自尝试一下祝你好运。 原文链接用SDXL生成4K PBR纹理 — BimAnt
