Linux-Inode
转载声明:
本文系转载自以下文章:
-
Linux的inode的理解
作者: iTech -
MySQL索引背后的数据结构及算法原理
作者: 张小琦
转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。
0x01 摘要
我们使用ll -i
能看到每个文件或文件夹都有一串数字编号,这个就是inode。本文说说他到底是个啥,并会提到硬链接、软连接等相关内容。
0x02 引子-磁盘
2.1 磁盘结构
理解inode,要从文件储存说起。文件储存在磁盘上。
- 盘片
一个磁盘由大小相同且同轴的圆形盘片组成,磁盘可以转动(各个磁盘必须同步转动)。 - 磁头
在磁盘的一侧有磁头支架,磁头支架固定了一组磁头,每个磁头负责存取一个磁盘的内容。磁头不能转动,但是可以沿磁盘半径方向运动(实际是斜切向运动),每个磁头同一时刻也必须是同轴的,即从正上方向下看,所有磁头任何时候都是重叠的(不过目前已经有多磁头独立技术,可不受此限制)。
- 磁道
盘片被划分成一系列同心环,圆心是盘片中心,每个同心环叫做一个磁道。所有半径相同的磁道组成一个柱面(因为有多个盘片)。 - 扇区
磁道被沿半径线划分成一个个小的段,每个段叫做一个扇区。每个扇区是磁盘的最小存储单元。每个扇区储存512字节(相当于0.5KB)。 - 页
页是计算机管理存储器的逻辑块,硬件及操作系统往往将主存和磁盘存储区分割为连续的大小相等的块。每个存储块称为一页,主存和磁盘以页为单位交换数据。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个 sector组成一个 块。
为了简单起见,我们下面假设磁盘只有一个盘片和一个磁头:
- 当需要从磁盘读取数据时,系统会将数据逻辑地址传给磁盘
- 磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址,即确定要读的数据在哪个磁道,哪个扇区
- 为了读取这个扇区的数据,需要将磁头放到这个扇区上方,为了实现这一点,磁头需要移动对准相应磁道,这个过程叫做
寻道
,所耗费时间叫做寻道时间
- 然后磁盘
旋转
将目标扇区旋转到磁头下,这个过程耗费的时间叫做旋转时间
2.2 局部性原理
由于存储介质的特性,磁盘本身存取就比主存慢很多,再加上机械运动耗费,磁盘的存取速度往往是主存的几百万分之一,因此为了提高效率,要尽量减少磁盘I/O。为了达到这个目的,磁盘往往不是严格按需读取,而是会预读。也就是说,即使只需要一个字节,磁盘也会从这个位置开始顺序向后读取一定长度的数据放入内存。这样做的理论依据是计算机科学中著名的局部性原理:
当一个数据被用到时,其附近的数据也通常会马上被使用。
程序运行期间所需要的数据通常比较集中。由于磁盘顺序读取的效率很高(不需要寻道时间,只需很少的旋转时间),因此对于具有局部性的程序来说,预读可以提高I/O效率。
预读的长度一般为页(page)的整倍数。当程序要读取的数据不在主存中时,会触发一个缺页异常,此时系统会向磁盘发出读盘信号,磁盘会找到数据的起始位置并向后连续读取一页或几页载入内存中,然后异常返回,程序继续运行。
2.3 主角-Inode
文件数据都储存在"块"中,而文件的元信息,如文件的创建者、文件的创建日期、文件的大小等,需要存到的区域就叫做inode
,中文译名为"索引节点"。
0x03 Inode的内容
inode包含文件的元信息,具体来说有以下内容:
- 文件的字节数
- 文件拥有者UID
- 文件GroupID
- 文件的读r、写w、执x行权限
- 文件的时间戳,共有三个:
- ctime指inode上一次变动的时间
- mtime指文件内容上一次变动的时间,
- atime指文件上一次打开的时间。
- 链接数,即有多少文件名指向这个inode
- 文件数据block的位置
可以用stat
命令,查看某个文件的inode
信息:
$ stat tomcat-pure.tar.gz
File: `tomcat-pure.tar.gz'
Size: 84425746 Blocks: 164896 IO Block: 4096 regular file
Device: fd02h/64770d Inode: 22282974 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2018-08-23 10:37:12.213119660 +0800
Modify: 2018-08-23 10:37:04.539119698 +0800
Change: 2018-08-23 10:37:04.539119698 +0800
总之,除了文件名以外的所有文件信息,都存在inode之中。至于为什么没有文件名,下文会有详细解释。
0x04 Inode的大小
inode也会消耗硬盘空间,所以硬盘格式化的时候,操作系统自动将硬盘分成两个区域。
- 一个是数据区,存放文件数据;
- 另一个是inode区(inode table),存放inode所包含的信息。每个inode节点的大小,一般是128字节或256字节。
inode节点的总数,在格式化时就给定,一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中,每个inode节点的大小为128字节,每1KB就设置一个inode,那么inode table的大小会达到128MB,占整块硬盘12.8%。
- 查看每个硬盘分区的inode总数和已经使用的数量,可以使用df命令:
$ df -i
Filesystem 512-blocks Used Available Capacity iused ifree %iused Mounted on
/dev/disk1 487849984 367491856 119846128 76% 2317522 4292649757 0% /
devfs 364 364 0 100% 630 0 100% /dev
map -hosts 0 0 0 100% 0 0 100% /net
map auto_home 0 0 0 100% 0 0 100% /home
localhost:/xx 487849984 487849984 0 100% 0 0 100% /Volumes/MobileBackups
- 查看每个inode节点的大小,可以用如下命令:
sudo dumpe2fs -h /dev/hda | grep "Inode size"
由于每个文件都必须有一个inode,因此有可能发生inode已经用光,但是硬盘还未存满的情况。这时,就无法在硬盘上创建新文件。
0x05 Inode编号
每个inode都有一个编号,操作系统用inode号码来识别不同的文件。
注意:Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。
对于OS来说,文件名只是inode编号便于识别的别称或者绰号。表面上,用户通过文件名,打开文件。实际上,系统内部这个过程分成三步:
- 系统找到这个文件名对应的inode号码;
- 通过inode号码,获取inode信息;
- 根据inode信息,找到文件数据所在的block,读出数据。
使用ls -i
命令,可以看到文件名对应的inode号码:
$ ls -i config.py
35722498 config.py
0x06 目录文件
Unix/Linux系统中,目录(directory)也是一种文件。打开目录,实际上就是打开目录文件。
目录文件的结构非常简单,就是一系列目录项(dirent)的列表。每个目录项,由两部分组成:
- 所包含文件的文件名,
- 该文件名对应的inode号码。
ls
命令只列出目录文件中的所有文件名,ls -i
命令列出整个目录文件,即文件名和inode
号码:
$ ls -i
34967989 __pycache__ 35722498 config.py
34967984 ali_search.py 34967987 config.pyc
34967985 ali_search.py~ 34967988 master.zip
34967918 aliyun-opensearch-python-sdk-master
如果要查看文件的详细信息,就必须根据inode号码来访问inode节点,读取信息。ls -l
(也就是ll命令)命令列出文件的详细信息。
$ ls -l config.py
-rwxrwxrwx 1 chengc admin 486 11 14 23:05 config.py
0x07 硬链接
7.1 简介
一般情况下,文件名和inode号码是一一对应的。但是,Unix/Linux系统允许,多个文件名指向同一个inode号码。这意味着:
- 可以用不同的文件名访问同样的内容(同一个inode)
- 对文件内容进行修改,会影响到所有文件名
- 但是,删除一个文件名,不影响另一个文件名的访问
这种情况就被称为硬链接
(hard link)。
ln命令可以创建硬链接:
ln 源文件 目标文件
运行上面这条命令以后,源文件与目标文件的inode号码相同,都指向同一个inode。
inode信息中有一项叫做链接数
,记录指向该inode的文件名总数,这时就会增加1。反过来,删除一个文件名,就会使得inode节点中的链接数
减1。当这个值减到0,表明没有文件名指向这个inode,系统就会回收这个inode号码,以及其所对应block区域。
这里顺便说一下目录文件的链接数
。创建目录时,默认会生成两个目录项:
.
.
的inode号码就是当前目录的inode号码,等同于当前目录的"硬链接";..
..
的inode号码就是当前目录的父目录的inode号码,等同于父目录的"硬链接"。
所以,任何一个目录的硬链接
总数,总是等于2加上它的子目录总数(含隐藏目录),这里的2
是父目录对其的硬链接
和当前目录下的指向自身的硬链接
。
7.2 例子
$ ln 123.txt hardlink
$ ll -i
35827728 drwxr-xr-x 4 chengc staff 136 11 16 19:50 ./
630516 drwxr-xr-x+ 98 chengc staff 3332 11 16 19:49 ../
35827738 -rw-r--r-- 2 chengc staff 0 11 16 19:49 123.txt
35827738 -rw-r--r-- 2 chengc staff 0 11 16 19:49 hardlink
我们用命令创建了一个 hardlink
指向123.txt
的inode的硬链接,可以看到他们的inode编号相同。
0x08 软链接
8.1 简介
除了硬链接以外,还有一种特殊情况:
- 文件A和文件B的inode号码虽然不一样,但是文件A的内容是文件B的路径。
- 读取文件A时,系统会自动将访问者导向文件B。因此,无论打开哪一个文件,最终读取的都是文件B。
这时,文件A就称为文件B的软链接
(soft link)或者符号链接
(symbolic link)。
这意味着,文件A依赖于文件B而存在,如果删除了文件B,打开文件A就会报错:“No such file or directory”。
注意:软链接与硬链接最大的不同:文件A指向文件B的文件名,而不是文件B的inode号码,文件B的inode链接数
不会因此发生变化。
ln -s
命令可以创建软链接:
ln -s 源文文件或目录 目标文件或目录
8.2 例子
$ ln -s 123.txt softlink
$ ll -i
35827728 drwxr-xr-x 6 chengc staff 204 11 16 19:53 ./
630516 drwxr-xr-x+ 98 chengc staff 3332 11 16 19:49 ../
35827738 -rw-r--r-- 2 chengc staff 0 11 16 19:49 123.txt
35827738 -rw-r--r-- 2 chengc staff 0 11 16 19:49 hardlink
35827975 lrwxr-xr-x 1 chengc staff 7 11 16 19:53 softlink@ -> 123.txt
我们用命令创建了一个 hardlink
指向123.txt
的文件名的软链接,可以看到他们的inode编号不相同
0x09 Inode的特殊作用
由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象。
- 有时,文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用。
- 移动文件或重命名文件,只是改变文件名,不影响inode号码。
- 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名。这使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode号码,识别运行中的文件,不通过文件名。
更新的时候,新版文件以同样的文件名,生成一个新的inode,不会影响到运行中的文件。
等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode则被回收。
0x10 实际问题
在一台配置较低的Linux服务器(内存、硬盘比较小)的/data分区内创建文件时,系统提示磁盘空间不足,用df -h命令查看了一下磁盘使用情况,
发现/data分区只使用了66%,还有12G的剩余空间,按理说不会出现这种问题。 后来用df -i查看了一下/data分区的索引节点(inode),发现已经用满(IUsed=100%),导致系统无法创建新目录和文件。
-
查找原因:
/data/cache目录中存在数量非常多的小字节缓存文件,占用的Block不多,但是占用了大量的inode。 -
解决方案:
删除/data/cache目录中的部分文件,释放出/data分区的一部分inode。