数据库
概述
-
内模式数据在计算机物理结构中的实际存储形式 (物理)
-
概念模式全体用户的公共数据视图 (table)
-
外模式反映了用户对数据的实际要求 (view)
-
概念模式/内模式映射是物理独立性的关键;
-
外模式/概念模式映射就是逻辑独立性的关键。
数据库系统的三级模式结构是指数据库系统是由外模式、模式和内模式三级构成
.为了能够在系统内部实现这3个抽象层次的联系和转换,数据库管理系统在这三级模式之间提供了两层映像:
- 外模式/模式映像(映像定义通常包含在各自外模式的描述中,保证了数据与程序的逻辑独立性,简称数据的逻辑独立性,应用程序是依据外模式编写的)
- 模式/内模式映像(包含在模式描述中,此映像是唯一的,它定义了数据全局逻辑结构与存储结构之间的对应关系,它保证了数据与程序的物理独立性,所以称为数据的物理独立性)
安全性与完整性
区分
-
完整性控制:为了防止数据是非法的,即任何情况下都不能产生错误的数据,即使是合法的用户和合法的操作
-
安全性控制:为了防止用户和操作是非法的(即用户是合法的,但执行操作超出了用户的权限范围)
安全性的两个方面
- 管理用户权限
- grant,授予用户权限
grant 权限 on 关系对象 to 用户
grant select, update on R to lily (with grant option)(可以把权限转手给其他用户) - revoke,回收用户权限
revoke update on R from lily
- grant,授予用户权限
- 检查用户权限
用户要对某个对对象操作时,DBMS首先会检查用户是否被授予了相应的权限,以决定是响应还是拒绝用户请求。
完整性
三类完整性
-
实体完整性
- 规则:元组在主码的每个属性上取唯一值,且不能为空
- 在实体映射为元组后,靠主码区分不同的元组/实体。保证每一元组/实体,可与其它元组/实体是可区分的。
-
参照完整性
- 规则:如果关系R的外部码对应关系S的主码,则R每个元组在外部码上的取值必须满足:
- 要么等于空值
- 要么等于某个对应的主码值(S某个元组的主码值)
- 意义:元组/实体的外部码,说明跟另外哪一个元组/实体(的主码)相联系的。保证这一联系有意义,不会联系不存在的元组/实体
- 规则:如果关系R的外部码对应关系S的主码,则R每个元组在外部码上的取值必须满足:
-
用户定义完整性
- 规则:用户根据具体的应用环境定义
- 意义:保证元组/实体的属性取值是合理的,反映现实世界的真实情况,反映了程序编制的要求
各种操作破坏这些完整性规则的处理方法(拒绝、级联、置空)
关系的外部码约束的三种形式:CASCADE、RESTRICT、 SET NULL
- CASCADE: 从父表删除或更新且自动删除或更新子表中匹配的行
- SET NULL: 从父表删除或更新行,并设置子表中的外键列为NULL
- RESTRICT: 拒绝对父表的删除或更新操作
视图
视图的优点:
- 简化用户的操作
- 对于同一数据,不同用户可以从不同角度观察
- 增强安全性
- 提供模式(逻辑模式)/外模式(子模式)映射和逻辑独立性
数据库事务管理
概念
事务是由一系列访问和更新操作组成的程序执行单元。这些操作要么都做,要么都不做,是一个不可分割的整体。
开始和结束的命令语句
- 开始:Begin transaction
- 结束:Commit(提交)/ Rollback(回滚)
ACID
1. 原子性(Atomicity)
事务被视为不可分割的最小单元,事务的所有操作要么全部提交成功,要么全部失败回滚。
由恢复机制实现
2. 一致性(Consistency)
数据库在事务执行前后都保持一致性状态。在一致性状态下,所有事务对一个数据的读取结果都是相同的。
由完整性机制实现
3. 隔离性(Isolation)
一个事务所做的修改在最终提交以前,对其它事务是不可见的。
由并发控制机制实现
4. 持久性(Durability)
一旦事务提交,则其所做的修改将会永远保存到数据库中。即使系统发生崩溃,事务执行的结果也不能丢失。
由恢复机制实现
事务的 ACID 特性概念简单,但不是很好理解,主要是因为这几个特性不是一种平级关系:
- 只有满足一致性,事务的执行结果才是正确的。
- 在无并发的情况下,事务串行执行,隔离性一定能够满足。此时只要能满足原子性,就一定能满足一致性。
- 在并发的情况下,多个事务并行执行,事务不仅要满足原子性,还需要满足隔离性,才能满足一致性。
- 事务满足持久化是为了能应对数据库崩溃的情况。
AUTOCOMMIT
MySQL 默认采用自动提交模式。也就是说,如果不显式使用START TRANSACTION
语句来开始一个事务,那么每个查询都会被当做一个事务自动提交。
并发控制
并发控制的基本单位是事务
并发操作产生的三类数据不一致性问题
在并发环境下,事务的隔离性很难保证,因此会出现很多并发一致性问题。
丢失修改
和 两个事务都对一个数据进行修改, 先修改, 随后修改, 的修改覆盖了 的修改。
读脏数据
修改一个数据, 随后读取这个数据。如果 撤销了这次修改,那么 读取的数据是脏数据。
不可重复读
读取一个数据, 对该数据做了修改。如果 再次读取这个数据,此时读取的结果和第一次读取的结果不同。
幻影读
读取某个范围的数据, 在这个范围内插入新的数据, 再次读取这个范围的数据,此时读取的结果和和第一次读取的结果不同。
产生并发不一致性问题主要原因是破坏了事务的隔离性,解决方法是通过并发控制来保证隔离性。并发控制可以通过封锁来实现。
死锁
如果有两个事务同时要对两个不同的数据加锁就有可能发生相互等待的问题,从而产生死锁。
解决方法:
- 预防
- 一次封锁法
- 顺序封锁法
- 抢占与事务回滚
- 检测与恢复
- 超时法
- 等待图法
封锁
封锁粒度
MySQL 中提供了两种封锁粒度:行级锁以及表级锁。
应该尽量只锁定需要修改的那部分数据,而不是所有的资源。锁定的数据量越少,发生锁争用的可能就越小,系统的并发程度就越高。
但是加锁需要消耗资源,锁的各种操作(包括获取锁、释放锁、以及检查锁状态)都会增加系统开销。因此封锁粒度越小,并发度越高,系统开销就越大。
封锁类型
1. 读写锁
- 排它锁(Exclusive),简写为 X 锁,又称写锁。
- 共享锁(Shared),简写为 S 锁,又称读锁。
有以下两个规定:
- 一个事务对数据对象 A 加了 X 锁,就可以对 A 进行读取和更新。加锁期间其它事务不能对 A 加任何锁。
- 一个事务对数据对象 A 加了 S 锁,可以对 A 进行读取操作,但是不能进行更新操作。加锁期间其它事务能对 A 加 S 锁,但是不能加 X 锁。
锁的兼容关系如下:
- | X | S |
---|---|---|
X | × | × |
S | × | √ |
2. 意向锁
目的:
- 提高对某个数据对象加锁时系统的检查效率
内容:
- 对任一结点加基本锁,必须先对它的上层结点加意向锁
- 如果对一个结点加意向锁,则说明该结点的下层结点正在被加锁
分类
- 意向共享锁(Intent Share Lock,简称IS锁)
- 意向排它锁(Intent Exclusive Lock,简称IX锁)
- 共享意向排它锁(Share Intent Exclusive Lock,简称SIX锁)
注意:
- 要对某个元组加S锁,则要首先对关系和数据库加IS锁
- 要对某个元组加X锁,则要首先对关系和数据库加IX锁
- 对某个表加SIX锁,则表示该事务要读整个表(所以要对该表加S锁),同时会更新个别元组(所以要对该表加IX锁)
各种锁的兼容关系如下:
- | X | IX | S | IS |
---|---|---|---|---|
X | × | × | × | × |
IX | × | √ | × | √ |
S | × | × | √ | √ |
IS | × | √ | √ | √ |
解释如下:
- 任意 IS/IX 锁之间都是兼容的,因为它们只是表示想要对表加锁,而不是真正加锁;
- S 锁只与 S 锁和 IS 锁兼容,也就是说事务 T 想要对数据行加 S 锁,其它事务可以已经获得对表或者表中的行的 S 锁。
封锁协议
失物对数据对象加锁时,还需要遵守某些规则,包括:何时加锁,何时释放。这些规则即为封锁协议
1. 三级封锁协议
一级封锁协议
事务 T 要修改数据 A 时必须加 X 锁,直到T 结束才释放锁。
可以解决丢失修改问题,因为不能同时有两个事务对同一个数据进行修改,那么事务的修改就不会被覆盖。
二级封锁协议
在一级的基础上,要求读取数据 A 时必须加 S 锁,读取完马上释放 S 锁。
可以解决读脏数据问题,因为如果一个事务在对数据 A 进行修改,根据 1 级封锁协议,会加 X 锁,那么就不能再加 S 锁了,也就是不会读入数据。
三级封锁协议
在二级的基础上,要求读取数据 A 时必须加 S 锁,直到事务结束了才能释放 S 锁。
可以解决不可重复读的问题,因为读 A 时,其它事务不能对 A 加 X 锁,从而避免了在读的期间数据发生改变。
2. 两段锁协议
在对任何数据进行读写之前,事务首先要获得对该数据的封锁,释放封锁后不能再读、写该数据
两个阶段:
- 生长阶段:获得封锁
- 收缩阶段:释放封锁
可串行化调度:
- 通过并发控制,使得并发执行的事务结果与某个串行执行的事务结果相同。
两段锁协议的内容
- 定理:如果所有事务都遵守两段锁协议,调度一定是可串行化的;
- 两段锁协议不能防止死锁的发生
事务遵循两段锁协议 --> 保证可串行化调度的充分条件。(充分不必要条件)
lock-x(A)...lock-s(B)...lock-s(C)...unlock(A)...unlock(C)...unlock(B)
但可串行化调度不一定遵循两段锁协议
lock-x(A)...unlock(A)...lock-s(B)...unlock(B)...lock-s(C)...unlock(C)
关系数据库设计理论
函数依赖
记 A->B 表示 A 函数决定 B,也可以说 B 函数依赖于 A。
如果 {A1,A2,… ,An} 是关系的一个或多个属性的集合,该集合函数决定了关系的其它所有属性并且是最小的,那么该集合就称为键码。
对于 A->B,如果能找到 A 的真子集 A’,使得 A’-> B,那么 A->B 就是部分函数依赖,否则就是完全函数依赖。
对于 A->B,B->C,则 A->C 是一个传递函数依赖。
异常
以下的学生课程关系的函数依赖为 Sno, Cname -> Sname, Sdept, Mname, Grade,键码为 {Sno, Cname}。也就是说,确定学生和课程之后,就能确定其它信息。
Sno | Sname | Sdept | Mname | Cname | Grade |
---|---|---|---|---|---|
1 | 学生-1 | 学院-1 | 院长-1 | 课程-1 | 90 |
2 | 学生-2 | 学院-2 | 院长-2 | 课程-2 | 80 |
2 | 学生-2 | 学院-2 | 院长-2 | 课程-1 | 100 |
3 | 学生-3 | 学院-2 | 院长-2 | 课程-2 | 95 |
不符合范式的关系,会产生很多异常,主要有以下四种异常:
- 冗余数据:例如
学生-2
出现了两次。 - 修改异常:修改了一个记录中的信息,但是另一个记录中相同的信息却没有被修改。
- 删除异常:删除一个信息,那么也会丢失其它信息。例如删除了
课程-1
需要删除第一行和第三行,那么学生-1
的信息就会丢失。 - 插入异常:例如想要插入一个学生的信息,如果这个学生还没选课,那么就无法插入。
范式
范式理论是为了解决以上提到四种异常。
高级别范式的依赖于低级别的范式,1NF 是最低级别的范式。
1. 第一范式 (1NF)
属性不可分。
2. 第二范式 (2NF)
每个非主属性完全函数依赖于键码。
可以通过分解来满足。
分解前
Sno | Sname | Sdept | Mname | Cname | Grade |
---|---|---|---|---|---|
1 | 学生-1 | 学院-1 | 院长-1 | 课程-1 | 90 |
2 | 学生-2 | 学院-2 | 院长-2 | 课程-2 | 80 |
2 | 学生-2 | 学院-2 | 院长-2 | 课程-1 | 100 |
3 | 学生-3 | 学院-2 | 院长-2 | 课程-2 | 95 |
以上学生课程关系中,{Sno, Cname} 为键码,有如下函数依赖:
- Sno -> Sname, Sdept
- Sdept -> Mname
- Sno, Cname-> Grade
Grade 完全函数依赖于键码,它没有任何冗余数据,每个学生的每门课都有特定的成绩。
Sname, Sdept 和 Mname 都部分依赖于键码,当一个学生选修了多门课时,这些数据就会出现多次,造成大量冗余数据。
分解后
关系-1
Sno | Sname | Sdept | Mname |
---|---|---|---|
1 | 学生-1 | 学院-1 | 院长-1 |
2 | 学生-2 | 学院-2 | 院长-2 |
3 | 学生-3 | 学院-2 | 院长-2 |
有以下函数依赖:
- Sno -> Sname, Sdept
- Sdept -> Mname
关系-2
Sno | Cname | Grade |
---|---|---|
1 | 课程-1 | 90 |
2 | 课程-2 | 80 |
2 | 课程-1 | 100 |
3 | 课程-2 | 95 |
有以下函数依赖:
- Sno, Cname -> Grade
3. 第三范式 (3NF)
非主属性不传递函数依赖于键码。
上面的 关系-1 中存在以下传递函数依赖:
- Sno -> Sdept -> Mname
可以进行以下分解:
关系-11
Sno | Sname | Sdept |
---|---|---|
1 | 学生-1 | 学院-1 |
2 | 学生-2 | 学院-2 |
3 | 学生-3 | 学院-2 |
关系-12
Sdept | Mname |
---|---|
学院-1 | 院长-1 |
学院-2 | 院长-2 |
BCN范式
ER 图
###设计数据库流程
Entity-Relationship,有三个组成部分:实体、属性、联系。
用来进行关系型数据库系统的概念设计。
实体的三种联系
包含一对一,一对多,多对多三种。
- 如果 A 到 B 是一对多关系,那么画个带箭头的线段指向 B;
- 如果是一对一,画两个带箭头的线段;
- 如果是多对多,画两个不带箭头的线段。
下图的 Course 和 Student 是一对多的关系。
表示出现多次的关系
一个实体在联系出现几次,就要用几条线连接。
下图表示一个课程的先修关系,先修关系出现两个 Course 实体,第一个是先修课程,后一个是后修课程,因此需要用两条线来表示这种关系。
联系的多向性
虽然老师可以开设多门课,并且可以教授多名学生,但是对于特定的学生和课程,只有一个老师教授,这就构成了一个三元联系。
一般只使用二元联系,可以把多元联系转换为二元联系。
表示子类
用一个三角形和两条线来连接类和子类,与子类有关的属性和联系都连到子类上,而与父类和子类都有关的连到父类上。
恢复系统(故障恢复)
故障种类
- 事务故障(数据未丢失,可能不正确)
-
- 因某种原因,事务无法继续执行而失败。
-
- 恢复: UNDO故障事务
- 系统故障(数据未丢失,可能不正确)
-
- 因某种错误,造成DBMS停止运行
-
- UNDO未提交事务,撤销未提交事务(改成旧值) ,防止未提交事务已经变成了修改过后的新值。
-
- REDO 已提交事务, 重做已提交事务(改成新值) ,防止已提交事务仍然是旧值。
- 磁盘故障(数据可能全部丢失)
-
- 因某种原因,磁盘上的数据部分或完全消失
-
- 恢复:根据其他地方(磁盘,磁带)上的备份重建数据库
恢复技术
故障恢复的实现思想:冗余
- 任何数据被破坏或发生错误后,都可以通过存储在其他地点的冗余数据重建该数据。
建立冗余数据
数据转储
- 由DBA定期将数据库进行复制,得到后备副本并保存在另外的磁盘或磁带上的过程
分类:
- 静态转储(转储期间不能有事务运行)
- 动态转储
- 海量(完全)转储 (转储整个数据库)
- 增量转储(只转储从上次转储以来发生了变化的那一部分数据)
登录日志文件
日志文件以数据库为单位,一个数据库就有一个日志
类型:
- 以记录为操作对象
- 以数据块为操作对象
内容:
- 登记事务开始
- 登记事务结束
- 登记事务修改操作对象