NovelAI教程-采样方法

对于图像生成,采样器用于指导人工智能从初始噪声开始生成视觉模式。NovelAI 提供多种采样方法:DPM++ 2M、Euler Ancestral、Euler、DPM2、DPM++ 2S Ancestral、DPM++ SDE、DPM Fast 和 DDIM。
不同的采样器会生成不同的图像,但这些差异可能并不总是明显或可预测的。
请注意:只有在非常低的步长值下,才能更容易地观察到不同采样器之间的差异。但我们不建议在普通图像生成中使用过低的步长值。
我们推荐使用 DPM++ 2M 和 Euler Ancestral 采样器,因为它们与 NovelAI 的 Diffusion 结合使用可以产生一致且高质量的生成效果。除非您对图像生成有更深入的了解,否则强烈建议保持采样器设置不变。
特殊采样器:SMEA 和 SMEA DYN
什么是 NAI SMEA?
正弦多通 Euler Anc采样方法
对于图像生成,采样器用于告诉人工智能如何从初始噪声开始生成视觉模式。 NovelAI 支持各种采样方法: DPM++ 2M,Euler Ancestral,Euler,DPM2,DPM++ 2S Ancestral,DPM++ SDE,DPM Fast 和 DDIM。
不同的采样器生成不同的图像,但这些差异可能并不总是明显或可预测的。
注意:在非常低的步长值的图像上,可以更容易地看到不同采样器之间的差异。但是这种低值并不建议用于普通图像生成。
我们推荐使用 DPM++ 2M 和 Euler_Ancestral 采样器,因为它们与 NovelAI Diffusion 结合使用可以产生一致、高质量的生成效果。除非您对图像生成有更深入的了解,否则强烈建议保持采样器设置不变。
特殊采样器:SMEA 和 SMEA DYN
什么是 NAI SMEA?
SMEA(Sinusoidal Multifrequency Euler Anc)是一种特殊的采样器,旨在改善整体一致性和质量,尤其在更高分辨率下。基于 Euler Ancestral 采样器,我们创建了一种基于正弦函数的时间表,在采样过程中多次插值常规扩散模型。这种方法确保了稳定的扩散,并同时关注局部和全局特征。通常情况下,在常规采样器下高分辨率采样时,稳定的扩散会导致相同主题的重复或奇怪的解剖结构,这主要是由于在高分辨率下全局注意力不足所致。NAI SMEA 的目标是解决这个问题。
所有常规采样器都有 SMEA 版本和 SMEA DYN 变体,除了 DDIM 采样器不支持 SMEA。
SMEA 和 SMEA DYN 非常适合高分辨率!
这两种采样器的差异在更高分辨率的图像上最为明显。虽然它们都比常规采样器更适用于高分辨率图像生成,但是 SMEA DYN 在较低生成层级上关注较少,并且在中高层级上动态发挥作用。我们观察到 SMEA DYN 产生稍微更精细的构图。最终,每个采样器的有效性将取决于具体的用例和图像分辨率。
定价:
为什么SMEA更贵?
SMEA采样器在每个步骤中运行多个Unet的传递。它的成本略高于基于常规采样器的成本,这是由于GPU处理请求所需时间的增加而导致的。
自动SMEA切换选项
有一个默认选项,即自动应用于1024x1024及以上像素的图像,因此您无需担心何时应该或不应该使用它。
小贴士:
SMEA和SMEA DYN采样器在步骤和提示指导设置方面的反应不同。例如,指导值在变得不可预测之前可以更高。如果您正在生成更高分辨率的图像,则可能需要增加指导值。
如果您有一个特别短的提示,似乎表现不佳,可以尝试将其重复复制粘贴到提示字段中。我们已经注意到,这可以解决测试期间的问题。
有时采样器可能会关注与以前默认值不同的提示方面:
您可以通过强调和弱化提示的方面来缓解这种情况。
(请参见“强化和削弱向量”)
我们建议进行实验,以找到您喜欢的采样器的值!
采样器比较
这些高分辨率图像都是使用相同的提示、设置和种子生成的。它们之间唯一的区别是采样器以及SMEA和DYN切换。