本文分六大块描述:
- 数据库命名规范
- 数据库基本设计规范
- 数据库索引设计规范
- 数据库字段设计规范
- SQL开发规范
- 数据库操作规范
1、数据库命名规范:
- 数据库对象名称必须使用小写字母并用下划线分割。 MySQL对大小写是敏感的。db_name !=Db_name
- 数据库对象名称禁用MySQL保留关键字。 from
- 数据库对象命名,见名知意,最好小于32字符。
- 临时库表:以tmp为前缀,以日期为后缀。
- 备份库:以bak为前缀,并以日期为后缀。
- 所有存储相同数据的列名与列类型必须一致。不同的话会有隐式转换。
2、数据库基本设计规范:
MySQL5.5之前都以myisam为默认引擎,如今的需求所有表必须用innodb存储引擎。
5.6之后,innodb为默认引擎,支持事务,行级锁,更好的恢复性,高并发下性能更好。
数据库、表的字符集统一使用utf-8字符集。防止转换出现乱码。
MySQL中utf8汉字点3个字节。ascii 码占用1个字节。
所有表字段都要添加注释,使用comment从句添加表与列的备注。便于维护。
尽量控制单表数据量的大小,建议控制在500万以内。这并不是MySQL的限制。取决于存储设置与文件系统。历史数据归档,分库分表等手段控制数据量大小。 谨慎使用分区表。物理上表现为多个文件。逻辑上是一个表。尽量避免跨分区查询,效率更低。 物理分表管理管理大数据。
尽量做到冷热数据分离,较少表的宽度。mysql限制每行最多4096列。减少磁盘io,保证热数据的内存缓存命中率。利用更有效的利用缓存,避免读入无用的冷数据。
禁止在表中建立预留字段。预留难以见名识意,无法选择适合的类型。
禁止在数据库中存储图片,文件等二进制数据。存储在文件服务器,数据库中村地址。禁止在线上做数据库压力测试。
禁止开发环境,测试环境直接连接生产环境数据库。
3、索引设计规范:
限制每张表上的索引数量,单张表不要超过5个。降低插入,更新效率。
禁止给mysql每列建立单独索引。
innodb构建的是索引组织表,即,索引与数据存储逻辑顺序相同,与主键顺序。
不使用更新频繁的列,或多列做主键。
不使用UUID, MD5, HASH,字符串列做主键。无法保证值顺序增长。
哪些列建立索引:
- SELECT UPDATA 从句的WHERE从句中出现的列
- 包含在ORDERBY GROUP BY DISTINCT 中的字段
多表JOIN的关联列
如何选择索引列的顺序;
- 联合索引索引列从左到右。
- 区分度最高的列放在联合索引的最左侧。
- 尽量把字段长度小的列放在联合索引的左侧。
- 使用最频繁的列放在联合索引的左侧。
避免建立冗余索引和重复索引; primary key(id) index(id) unique index(id) mysql主键本身就是一个索引。
index(a,b,c) , index(a,b), index(a)
对于频繁查询优先考虑使用覆盖索引:如查询商品库存
- 覆盖索引: 包含了所有需要查询字段的索引。
- 覆盖索引的好处:避免innodb表进行索引的二次查找。
- 覆盖索引可以把随机IO变为顺序IO加快查询效率。顺序io快的多。
尽量避免使用外键
- 不建议使用使用外键约束,但一定要在表与表之间的关联键上建立索引。
- 外键可用于保证数据的参照的完整性,但建议在业务端实现。
- 外键会影响附表子表的写操作从而降低性能。
4、数据库字段的设计规范:
优先选择符合存储需要的最小的数据类型
将字符串装华为数字型存储。
对于非负性数据来说,要优先使用无符号整型来存储。
- signed int -2147483648~2147483647
- unsigned int 0 ~ 4294967295 多一倍
MySQL中varchar(N) 中N代表的是字符数,不是字节数。其他关系型数据库中该N代表字节。
MySQL中UTF8存储的汉字Varchar(255) = 765个字节
过大的长度会消耗更多的内存。
避免使用TEXT、BLOB数据类型。
- 建议把BLOB或TEXT列分离到单独的扩展表中。
- TEXT或BLOB类型只能使用前缀索引。
避免使用ENUM数据类型。
- 修改ENUM值需要使用ALTER语句。
- ENUM类型的ORDER BY操作效率低,需要额外操作。
- 禁止使用数值作为ENUM的枚举值。
尽可能把所有的列定义为NOT NULL
- 索引null列需要额外的空间存储空、非空,所以占用更多的空间。
- 进行比较和计算时要对null值进行特别的处理。
字符串存储日期型数据(不正确的做法)
- 1.无法用日期函数进行计算与比较。
- 2.字符串存日期占用更多空间。
使用timestamp datetime类型存储时间。
- timestamp 1970-01-01 00:00:01 ~ 2038-01-19 03:14:07
- timestamp占用4字节和int相同,但比int可读性高。
- 超出timestamp取值范围的使用datetime类型。
mysql中有两种浮点数据类型:
- 财务相关金额,比用decimal类型
- 非精准浮点:float,double
- 精准浮点:decimal
- decimal类型为精准浮点数,在计算时不会丢失精度,占用空间有定义的宽度决定,可用于存储比bigint更大的整型数据。比varchar高效。
5、数据库SQL开发规范:
建议使用预编译语句进行数据库操作。prepare
- 只传参数,比传递SQL更高效。
- 相同语句可以一次解析,多次使用,提高处理效率。
避免数据类型的隐式转换:
- select name, phone from customer where id = '111'; id int '111' is string
合理利用表上已经存在的索引。避免模糊查询双百分号 %xxx%
一个SQL只能利用到复合索引中的一列进行范围查询。
使用left join 或 not exists 来优化not in 操作。
程序连接不同的数据库,要使用不同的账号,禁止跨库查询。
- 为数据库迁移与分库分表留出余地。
- 降低业务耦合度。
- 避免权限过大而产生的安全风险。
禁止select *
- 会消耗更多CPU IO 及网络带宽资源
- 无法使用覆盖索引
- 可减少表结构变更带来的影响
禁止使用不含有字段列表的insert语句:
- insert into values('a', 'b', 'c'); 应该:insert into t(c1, c2, c3)values('a','b','c');
避免使用子查询:(可以把子查询优化为join操作)
- 子查询结果集无法使用索引
- 子查询会产生临时表操作,如果子查询数据量大则严重影响效率
- 消耗过多的CPU及io资源
避免使用join关联太多的表
- 每join一个表会多占用一部分内存(join_buffer_size)
- 会产生临时表操作,影响查询效率。
- mysql最多允许关联61个表,建议不超过5个。
减少同数据库交互次数。
- 数据库更适合处理批量操作。
- 合并多个相同操作到一起,可以提高处理效率。
使用in代替or
- in的值不超过500个。
- in 操作可以更好地利用索引。
- 禁止使用order by rand() 进行随机排序
- 会把表中所有符合条件的数据装载到内存中进行排序。
- 会消耗大量的CPU与io及内存资源。
推荐在程序中获取一个随机值,然后从数据库中获取数据的方式
where 从句中禁止对列进行函数转换与计算
- 对列进行函数转换或计算会导致无法使用索引
- where date(createtime)='20160901'
- where createtime>= ‘20160901‘
- and createtime < '20160902'
在明显不会有重复值使用时使用union all 而不是Union
- union会把所有的数据放到临时表中后再进行去重操作。
- union all 不会再对结果集进行去重操作。
拆分复杂sql 为多个sql
- mysql一个sql只能使用一个CPU进行计算
- SQL拆分后可以通过并行执行来提高处理效率
6、数据库操作的行为规范
主要面向手动操作数据库制定
超100万行的批量写操作,要分批多次进行操作
- 大批量操作可能会造成严重的主从延迟
- binlog日志为row格式时会产生大量的日志
- 避免产生大事务操作。
大表的结构修改谨慎,业务环境中不允许的。使用pt-online-schema-change工具来进行。
- 避免大表修改产生的主从延迟。
- 避免对表字段进行修改时进行锁表。
- 禁止对程序使用的账号赋予super权限。
- 当达到最大连接数限制时,还允许1个有super权限的用户连接
- super权限只能留给DBA处理问题的账号使用
对于程序连接数据库账号,遵循权限最小原则。
程序使用数据库账号只能在一个DB下使用,不准跨库
程序使用的账号原则上不准有drop权限