Stable Diffusion教程-什么是超网络以及你应该知道的超网络
什么是超网络以及你应该知道的超网络
你准备好将你的 Stable Diffusion 技巧提升到新的水平了吗？如果是的话，让我们谈谈超网络模型。在本文中，你将学到关于超网络的一切，以及如何使用它们来达到你想要的结果。我将从超网络模型的基础知识讲起，到如何在 AUTOMATIC1111 Stable Diffusion GUI 中使用它们，一直到展示我在自己的工作中使用的一些喜爱的超网络模型。所以，做好准备，让我们深入超网络模型的世界。
Stable Diffusion 中的超网络是什么？
超网络是一种由 Novel AI 开发的微调技术，Novel AI 是 Stable Diffusion 的早期采用者。它是一个连接到 Stable Diffusion 模型的小型神经网络，用于修改其风格。
这个小型超网络被插入在哪里？当然是 Stable Diffusion 模型中最关键的部分：噪声预测器 UNet 的交叉注意力模块。LoRA 模型以类似的方式修改 Stable Diffusion 模型中的这一部分，但方式不同。
超网络通常是一个简单的神经网络：一个具有丢弃和激活函数的全连接线性网络。就像你在神经网络入门课程中学到的那样。它通过插入两个网络来劫持交叉注意力模块，用于转换键（key）和查询（query）向量。下面比较了原始模型和被劫持模型的架构。
在训练过程中，Stable Diffusion 模型是锁定的，但附加的超网络是允许变化的。由于超网络较小，训练速度快且需要的资源有限。可以在普通计算机上完成训练。
快速训练和小文件大小是超网络的主要吸引点。
需要注意的是，这与机器学习中常见的超网络不同。后者是为另一个网络生成权重的网络。因此，Stable Diffusion 的超网络并不是在2016年发明的。
与其他模型类型的区别
我将解释超网络与其他模型类型的区别，以帮助你理解并决定使用哪种模型。
这部分内容适用于好奇心旺盛的人或模型训练者。如果你不关心它们的工作原理，可以跳到下一部分。
检查点模型
检查点模型包含生成图像所需的所有信息。你可以通过其较大的文件大小来识别它们。文件大小通常在2到7 GB之间，而超网络通常小于200 MB。
超网络不能单独工作，它需要与检查点模型一起生成图像。
检查点模型比超网络更强大。它可以更好地存储风格。在训练检查点模型时，整个模型都会进行微调。在训练超网络时，只有超网络会进行微调。
LoRA 模型
LoRA 模型与超网络最相似。它们都很小，只修改交叉注意力模块。它们的区别在于如何修改它们。LoRA 模型通过改变权重来修改交叉注意力。超网络通过插入额外的网络来实现修改。
用户通常认为 LoRA 模型产生更好的结果。它们的文件大小类似，通常小于200 MB，比检查点模型要小得多。
LoRA 是一种数据存储方法。它不定义训练过程，可以是 dreambooth 或附加训练。超网络定义了训练过程。
嵌入（Embeddings）
嵌入是一种称为文本反演的微调方法的结果。与超网络类似，文本反演不改变模型本身，只是定义了实现特定风格的新关键词。
文本反演和超网络在 Stable Diffusion 模型的不同部分起作用。文本反演在文本编码器中创建新的嵌入。超网络将一个小网络插入到噪声预测器的交叉注意力模块中。
根据我的经验，嵌入略微比超网络更强大。
如何找到超网络
最好的地方是 civitai.com。使用“超网络”筛选模型类型。
如何使用超网络
我将向你展示如何在 AUTOMATIC1111 Stable Diffusion GUI 中使用超网络。你可以在Windows、Mac或Google Colab上使用这个GUI。
步骤1：安装超网络模型
要在 AUTOMATIC1111 webui 中安装超网络模型，请将模型文件放入以下文件夹。
stable-diffusion-webui/models/hypernetworks步骤2：使用超网络模型
要使用超网络，请在提示符中输入以下短语。
<hypernet:filename:multiplier>文件名是超网络的文件名，不包括扩展名（.pt、.bin等）。
乘数是应用于超网络模型的权重。默认值为1。将其设置为0将禁用该模型。
如何确保文件名是正确的？你应该点击“生成”按钮下面的模型按钮，而不是手动编写这个短语。
点击“超网络”选项卡。你应该会看到已安装的超网络列表。点击你想要使用的那个。
超网络短语将被插入到提示符中。
请注意，超网络短语不被视为提示的一部分。它仅仅指示使用哪个超网络。在应用超网络之后，它将被删除。因此，你不能与超网络一起使用任何提示语法，如[关键词1:关键词2:0.5]。
第三步：测试和使用模型创建艺术
为了使解锁预期风格的成功机会最大化，首先使用超网络与它训练过的模型一起使用。但不要止步于此。一些超网络可能需要特定的提示或仅适用于特定主题，因此务必查看模型页面上的提示示例，以找出最佳实践。
这里有一个专业提示：如果你注意到图像看起来过饱和，这可能是你需要调整乘数的信号。这是一个简单的修复方法。稳定扩散有时会将颜色饱和度解释为达到完美效果的方法，但减小乘数可以帮助恢复平衡。
一旦确认超网络发挥了魔力，为什么不尝试将其用于其他模型呢？你永远不知道会出现什么有趣和意外的效果，而且，说实话，尽情玩耍真的很有趣。所以，请放飞你的创造力。
我使用的一些超网络
这是我主观选择的一些超网络。
水元素
水元素是一个独特的超网络，可以将任何物体变成水！在主题之前使用短语“水元素”。确保描述背景。你可以在Stable Diffusion v1.5上使用这个超网络。调整超网络的权重以调整水的效果。
水元素超网络模型页面
提示：
water elemental woman walking across a busy street hypernet:waterElemental_10:0.7
提示:
water elemental a boy running on water hypernet:waterElemental_10:1
InCase风格
InCase风格与Anything v3模型一起使用。它修改了Anything v3模型，以产生更成熟的动漫风格。
InCase超网络模型页面
Anything v3模型页面
提示：
detailed face, a beautiful woman, explorer in forest, white top, short brown pants, hat, sky background, realism, small breast hypernet:incaseStyle_incaseAnythingV3:1
负向提示:
moon, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face, blurry, draft, grainy, large breast
哥特RPG艺术风格
哥特RPG艺术风格产生一种时尚的单色插图风格。与Protogen模型一起使用。
哥特RPG艺术风格超网络模型页面
Protogen v2.2模型页面
提示：
drawing male leather jacket cyberpunk 2077 on a city street by WoD1 hypernet:gothicRPGArtstyle_v1:1
