AI绘画技术科普：稳定扩散模型的噪声处理过程

导语：AI绘画技术科普：稳定扩散模型的噪声处理过程ai扩散效果

深度学习的稳定扩散模型是一种用于文本分类和聚类的有效方法。它通过迭代添加噪音来稳定模型,使模型对小扰动不敏感,从而提高模型的鲁棒性。

通俗的讲：稳定扩散模型可以比喻为一个慢慢成长的树苗。刚开始,树苗很娇嫩,对环境的小变化如少许阳光照射的变化就会产生较大反应,容易“惊慌”。为了使树苗健壮成长,我们需要通过不同方式进行锻炼,如定期剪枝、适当裁剪,随着时间的推移,树苗会 become 更稳定,对环境小扰动不再敏感,变得坚强。

稳定扩散模型训练也是这样。初始模型像树苗一样对数据的小变化很敏感。我们通过添加噪音的方式,模拟数据的小扰动,这些噪音会引起模型的“惊慌”,模型参数和预测结果会出现较大变化。通过重复此过程,模型逐渐学会忽略噪音,对数据的小变动不再敏感,变得更稳定。当模型达到足够稳定时,我们认为模型已经converge,此时的模型更加鲁棒,泛化能力更强。

通过训练的稳定扩散模型可以很好的进行AI创作：

我们先从模型训练开始介绍。模型训练的整个过程大致分三步:

构建初始模型;添加噪音,观察模型参数和预测的变化;重复第二步,直到模型稳定。

简单来说,我们通过 destabilize-restabilize 的循环机制,使模型对小扰动 “习以为常”,达到稳定的目的。这类似于我们通过长期训练锻炼身体,可以习惯不同体位和环境,增强体质,这就是稳定扩散模型训练的思路所在。

那么，噪声到底是怎么处理的呢？在稳定扩散模型中,添加噪音是指对训练数据或模型参数进行小扰动,以使模型“惊慌”,产生一定的变化。常用的添加噪音方式有:

1. 删除训练数据中的某些词。例如随机删除文本中5%的词。

2. 替换训练数据中的某些词。例如随机替换文本中5%的词为[UNK]。

3. 打乱训练数据中的词序。例如对文本中的5%的词进行随机打乱词序。

4. 添加随机噪声到embedding层。例如将embedding层的输出添加高斯噪声,标准差为0.1。

5. 随机替换一些training example。例如随机替换10%的training example。

噪声处理后的图片

噪声处理前的图片

下面是一个python简单的示例,演示如何添加噪音:

import numpy as np 添加高斯噪声到embeddingdef perturb_embedding(embedding, std=0.1):     noise = np.random.randn(embedding.shape)*std    perturbed_embedding = embedding + noise    return perturbed_embedding  使用perturb_embedding添加噪声到embeddingperturbed_embedding = perturb_embedding(embedding, 0.1)

添加完噪音后,使用打乱的输入序列或添加噪声的embedding继续训练模型。观察模型参数和预测结果的变化,如果变化较小,则表明模型趋于稳定。否则,需要继续添加噪音并重复训练,直至模型稳定。这就是深度学习稳定扩散模型中添加噪音以及判断模型稳定与否的基本思路和示例代码。添加噪音有助于模型适应不同情况,增强其泛化能力,这也是稳定扩散模型比较有效的地方。

下面是更多创作示例：