标准化（Standardization）、归一化（Normalization）以及随机丢弃（Dropout）是在神经网络训练中常用的一些技术，它们有不同的作用和用途：
-
标准化（Standardization）：
-
作用：标准化是一种对数据进行预处理的方法，使其在输入到模型之前具有零均值和单位方差。这可以帮助加速训练过程，使得梯度下降等优化算法更快速、稳定地收敛。
-
公式：假设 (x) 是一个特征，它的标准化值 (x_{\text{std}}) 计算如下：
[x_{\text{std}} = \frac{x - \mu}{\sigma}]
其中，(\mu) 是样本均值，(\sigma) 是样本标准差。 -
实现：在实践中，可以使用库函数或者手动计算来进行标准化。
-
-
归一化（Normalization）：
-
作用：归一化也是一种对数据进行预处理的方法，将数据缩放到一个特定的范围，通常是[0, 1]或[-1, 1]。它有助于确保所有特征对模型的训练贡献程度相近，避免因特征值差异过大导致的优化问题。
-
公式：归一化的计算公式因具体方法而异，最常见的是Min-Max归一化：
[x_{\text{norm}} = \frac{x - \min(x)}{\max(x) - \min(x)}]
其中，(\min(x)) 是样本的最小值，(\max(x)) 是样本的最大值。 -
实现：同样可以使用库函数或手动计算来进行归一化。
-
-
随机丢弃（Dropout）：
-
作用：Dropout是一种正则化技巧，可以用于减少神经网络中的过拟合。它在训练过程中以一定的概率随机将部分神经元设置为0，从而减少神经元之间的依赖关系，使得模型更加健壮和泛化能力更强。
扫描二维码关注公众号，回复： 17006583 查看本文章
-
实现：在训练时，以一定的概率（通常在0.2到0.5之间）将隐含层中的神经元随机置零。在测试时，不进行丢弃，但需要将训练时丢弃的神经元的输出值按照一定比例进行缩放，以保持期望输出一致。
-
注意：Dropout只在训练时使用，测试时不使用。
-
这些技术都是用于提升神经网络模型性能、泛化能力和稳定性的重要手段。在实际应用中，通常会根据具体任务和数据的特性来选择合适的预处理和正则化技术。