Linux 第70天 mariadb transaction, log

时间: 20181011

        个人新开的小博客，欢迎大家访问: www.winthcloud.top

目录

并发控制

锁策略：在锁粒度及数据安全性寻求的平衡机制

事务transaction(ACID)

死锁

日志

error-log,binary-log,general-log

transaction-log,slow-query-log,relay-log

mysqlbinlog工具使用

并发控制

为何要做并发控制?

即当多个请求同时到达时，到底是可以同时为其每一个请求做即时反应，还是需要等待

其它请求完成后才可对其响应，如一个请求正在写某个表的某行数据，另一个请求要读

此行的内容，后者到底可否读取，还有如果请求都是读的话是不是可以让其所有请求都

可以同时读，这便需要一个机制去控制。

锁粒度：

表级锁

行级锁

锁：

读锁：共享锁S，只读不可写，多个读互不阻塞

写锁：独占锁,排它锁X，一个写锁会阻塞其它读和它锁

实现

存储引擎：自行实现其锁策略和锁粒度

服务器级：实现了锁，表级锁；用户可显式请求

分类：

隐式锁：由存储引擎自动施加锁

显式锁：用户手动请求

锁策略：在锁粒度及数据安全性寻求的平衡机制

显式使用锁

LOCK TABLES 加锁

tbl_name [[AS] alias] lock_type

[, tbl_name [[AS] alias] lock_type] ...

lock_type: READ ， WRITE

UNLOCK TABLES 解锁

FLUSH TABLES [tb_name[,...]] [WITH READ LOCK]

关闭正在打开的表（清除查询缓存），通常在备份前加全局读锁

SELECT clause [FOR UPDATE | LOCK IN SHARE MODE] 

查询时加写或读锁

事务

事务Transactions：一组原子性的SQL语句，或一个独立工作单元

事务日志：记录事务信息，实现undo,redo等故障恢复功能

ACID特性：

A：atomicity原子性；整个事务中的所有操作要么全部成功执行，要么全部失败后回滚

C：consistency一致性；数据库总是从一个一致性状态转换为另一个一致性状态

I：Isolation隔离性；一个事务所做出的操作在提交之前，是不能为其它事务所见；

隔离有多种隔离级别，实现并发

D：durability持久性；一旦事务提交，其所做的修改会永久保存于数据库中

启动事务：

BEGIN

BEGIN WORK

START TRANSACTION

结束事务：

COMMIT：提交

ROLLBACK: 回滚

注意：只有事务型存储引擎中的DML语句方能支持此类操作

自动提交：set autocommit={1|0} 默认为1，为0时设为非自动提交

建议：显式请求和提交事务，而不要使用“自动提交”功能

事务支持保存点：savepoint

SAVEPOINT identifier

ROLLBACK [WORK] TO [SAVEPOINT] identifier

RELEASE SAVEPOINT identifier

事务隔离级别：从上至下更加严格

READ UNCOMMITTED 可读取到未提交数据，产生脏读

READ COMMITTED 可读取到提交数据，但未提交数据不可读，产生不可重复读，

即可读取到多个提交数据，导致每次读取数据不一致

REPEATABLE READ 可重复读，多次读取数据都一致，产生幻读，即读取过程中，即使有

其它提交的事务修改数据，仍只能读取到未修改前的旧数据。此为mariadb默认设置

SERIALIZABILE 可串行化，未提交的读事务阻塞修改事务，或者未提交的修改事务阻塞

读事务。导致并发性能差

MVCC: 多版本并发控制，和事务级别相关

指定事务隔离级别：

服务器变量tx_isolation指定，默认为REPEATABLE-READ，

可在GLOBAL和SESSION级进行设置

SET tx_isolation=''

READ-UNCOMMITTED

READ-COMMITTED

REPEATABLE-READ

SERIALIZABLE

服务器选项中指定

vim /etc/my.cnf

[mysqld]

transaction-isolation=SERIALIZABLE

死锁：

两个或多个事务在同一资源相互占用，并请求锁定对方占用的资源的状态

事务日志：

事务日志的写入类型为"追加",因此其操作为"顺序IO"；

通常也被称为：预写式日志 write ahead logging

日志文件： ib_logfile0 ib_logfile1

出现死锁时默认数据库会自行解决，可以人为查看某些语句执行状态，使用以下两条命令

SHOW PROCESSLIST

KILL ID;

日志

事务日志 transaction log

中继日志 reley log

错误日志 error log

通用日志 general log

慢查询日志 slow query log

二进制日志 binary log

事务日志：transaction log

事务型存储引擎自行管理和使用，建议和数据文件分开存放

redo log

undo log

Innodb事务日志相关配置：

show variables like '%innodb_log%';

innodb_log_file_size 5242880 每个日志文件大小

innodb_log_files_in_group 2 日志组成员个数

innodb_log_group_home_dir ./ 事务文件路径

永久保存在my.cnf

[mysqld]

innodb-log-group-home-dir=/data/mariadblog

中继日志：relay log

主从复制架构中，从服务器用于保存从主服务器的二进制日志中读取的事件

错误日志

错误日志所记录的内容

mysqld启动和关闭过程中输出的事件信息

mysqld运行中产生的错误信息

event scheduler运行一个event时产生的日志信息

在主从复制架构中的从服务器上启动从服务器线程时产生的信息

错误日志相关配置

SHOW GLOBAL VARIABLES LIKE 'log_error'

错误文件路径：

log_error=/PATH/TO/LOG_ERROR_FILE

是否记录警告信息至错误日志文件

log_warnings=1|0 默认值1

永久存储变量内容

vim my.cnf

[mysqld]

log_error=/data/mariadblog/error.log

通用日志：记录对数据库的通用操作，包括错误的SQL语句 (默认off)

通用日志可以保存至文件中也可以保存至数据库mysql的表中

文件：file，默认值

表：table

通用日志相关设置

general_log=ON|OFF

general_log_file=HOSTNAME.log

log_output=TABLE|FILE|NONE

慢查询日志：记录执行查询时长超出指定时长的操作

相关变量:

slow_query_log=ON|OFF 开启或关闭慢查询

long_query_time=N 慢查询的阀值，单位秒

slow_query_log_file=HOSTNAME-slow.log 慢查询日志文件

log_slow_filter = admin,filesort,filesort_on_disk,full_join,

full_scan,query_cache,query_cache_miss,tmp_table,tmp_table_on_disk

上述查询类型且查询时长超过long_query_time，则记录日志

log_queries_not_using_indexes=ON 不使用索引或使用全索引扫描，不论是否

达到慢查询阀值的语句是否记录日志，默认OFF，即不记录

log_slow_rate_limit = 1 多少次查询才记录，mariadb特有

log_slow_verbosity= Query_plan,explain 记录内容

log_slow_queries = OFF 同slow_query_log 新版已废弃

二进制日志(重点)

记录导致数据改变或潜在导致数据改变的SQL语句

记录已提交的日志

不依赖于存储引擎类型

功能：通过"重放"日志文件中的事件来生成数据副本

注意：建议二进制日志和数据文件分开存放

二进制日志记录格式

二进制日志记录三种格式

基于"语句"记录：statement，记录语句，默认模式

基于"行"记录：row，记录数据，日志量较大

混合模式：mixed, 让系统自行判定该基于哪种方式进行

格式配置

show variables like 'binlog_format';

二进制日志文件的构成

有两类文件

日志文件：mysql|mariadb-bin.文件名后缀，二进制格式

如： mariadb-bin.000001

索引文件：mysql|mariadb-bin.index，文本格式

二进制日志相关的服务器变量：

sql_log_bin=ON|OFF：是否记录二进制日志，默认ON

log_bin=/PATH/BIN_LOG_FILE：指定文件位置；默认ON，表示启用

二进制日志功能，上述两项都开启才可实现记录二进制日志

binlog_format=STATEMENT|ROW|MIXED：二进制日志记录的格式，默认MIXED

max_binlog_size=1073741824：单个二进制日志文件的最大体积，

到达最大值会自动滚动，默认为1G

说明：文件达到上限时的大小未必为指定的精确值

sync_binlog=1|0：设定是否启动二进制日志即时同步磁盘功能，

默认0，由操作系统负责同步日志到磁盘

expire_logs_days=N：二进制日志可以自动删除的天数。 默认为0，即不自动删除

log_bin_basename=/path/binary-log  设置二进制日志保存位置和前缀名字

log_bin_index=/path/binary-log.index 设置二进制索引文件存放位置

二进制日志相关配置

查看mariadb自行管理使用中的二进制日志文件列表，及大小

SHOW {BINARY | MASTER} LOGS

查看使用中的二进制日志文件

SHOW MASTER STATUS

查看二进制文件中的指定内容

SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos]

[LIMIT [offset,] row_count]

show binlog events in 'mysql-bin.000001' from 6516 limit 2,3

mysqlbinlog：二进制日志的客户端命令工具

命令格式：

mysqlbinlog [OPTIONS] log_file…

--start-position=# 指定开始位置

--stop-position=#

--start-datetime=

--stop-datetime=

时间格式：YYYY-MM-DD hh:mm:ss

--base64-output[=name]

示例：mysqlbinlog --start-position=6787 --stop-position=7527 

/var/lib/mysql/mariadb-bin.000003

mysqlbinlog --start-datetime="2018-01-30 20:30:10" 

--stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003

二进制日志事件的格式：

# at 328

#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1 

exec_time=0 error_code=0

use `mydb`/*!*/;

SET TIMESTAMP=1446712300/*!*/;

CREATE TABLE tb1 (id int, name char(30))

/*!*/;

事件发生的日期和时间：151105 16:31:40

事件发生的服务器标识：server id 1

事件的结束位置：end_log_pos 431

事件的类型：Query

事件发生时所在服务器执行此事件的线程的ID：thread_id=1

语句的时间戳与将其写入二进制文件中的时间差：exec_time=0

错误代码：error_code=0

事件内容：

GTID：Global Transaction ID，mysql5.6以mariadb10以上版本专属属性：GTID

清除指定二进制日志：

PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }

示例：

PURGE BINARY LOGS TO 'mariadb-bin.000003'; 删除3之前的日志

PURGE BINARY LOGS BEFORE '2017-01-23';

PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';

删除所有二进制日志，index文件重新记数

RESET MASTER [TO #]; 日志文件从#开始记数，默认从1开始，

一般是master第一次启动时执行，MariaDB10.1.6开始支持TO #

切换日志文件：

FLUSH LOGS;