BN和LN的应用场景和特点

业界资讯 2023-08-25 19:54:38 阅读次数: 0

BN和LN的关系

BN 和 LN 都可以比较好的抑制梯度消失和梯度爆炸的情况。BN不适合RNN、transformer等序列网络，不适合文本长度不定和batchsize较小的情况，适合于CV中的CNN等网络；
而LN适合用于NLP中的RNN、transformer等网络，因为sequence的长度可能是不一致的。
栗子：如果把一批文本组成一个batch，BN就是对每句话的第一个词进行操作，BN针对每个位置进行缩放就不符合NLP的规律了。

小结

（1）经过BN的归一化再输入激活函数，得到的值大部分会落入非线性函数的线性区，导数远离导数饱和区，避免了梯度消失，这样来加速训练收敛过程。

猜你喜欢

转载自blog.csdn.net/WitsMakeMen/article/details/131626186

BN和LN的应用场景和特点

索引的特点和应用场景

LN和BN对比

TCP和UDP协议的特点和应用场景

Hbase和Hive的特点，和应用场景

ZooKeeper 主要特点记录和主要应用场景

MongoDB的特点和适用场景

什么是Redis及特点和使用场景

BN、LN、IN、GN和SN的区别？

Hadoop、Storm和Spark主流分布式系统特点和应用场景

equals和==的应用场景

HBase的应用场景及特点

一些常用的操作系统以及其特点和应用场景总结

零, 消息队列的两种模式和应用场景, 以及Kafka 消息队列的特点

三种人工智能软件工具的应用场景和特点

常用Normmalization: BN、LN、IN和GN总述

Batch Normalization详解以及BN和LN的区别

拆分降采样与归一化(LN和BN)

对Spring Aop的理解和应用场景

Flask和Django的应用场景

JMS和Web Service的应用场景

Hadoop 与 JStrom 的应用场景和区别

MQ和Kafka的应用场景

ZooKeeper的功能和应用场景图示

Zookeeper的简介和应用场景

Redis和Mongodb应用场景研究

memcache介绍和应用场景

volatile原理和应用场景

Activity的LaunchMode和应用场景

mybatis 中 #{} 和 ${} 的区别及应用场景

今日推荐

周排行

AIZU 2224 Save your cats(并查集)

HTTP响应头状态码详解

Python socket编程（2）

MaxCompute Studio使用心得系列7—作业对比

Supervisor安装使用

LeetCode 164. Maximum Gap

mysql面试题: 一张表里面有ID自增主键，当insert了17条记录之后，删除了第15,16,17条记录，再把mysql重启，再insert一条记录，这条记录的ID是18还是15

nutch1.2 DeleteDuplicates IndexMerger 详解

OC - @property与setter,getter方法

SpringBoot @Transactional的rollbackFor属性

每日归档

更多

2024-09-19(0)

2024-09-18(0)

2024-09-17(0)

2024-09-16(0)

2024-09-15(0)

2024-09-14(0)

2024-09-13(0)

2024-09-12(0)

2024-09-11(0)

2024-09-10(0)