1. 前言
正则表达式（Regular Expression）又称RegEx，是用来匹配字符的一种工具。在一大串字符中寻找你需要的内容，它常被用在很多方面。比如，网页爬虫、文稿整理、数据筛选等等。正则表达式绝对不是一天就能学会和记住的。因为表达式里面的内容非常多，强烈建议，现在这个阶段，你只需要了解正则都有什么，不用记住，等你真正需要用到它的时候，再反过头来，好好琢磨，那个时候才是你需要训练自己记住这些表达式。
2. Regular Expression（正则表达式）
正则表达式是用来简洁表达一组字符串的表达式。一个表达式，可以代表一组字符串。为什么使用正则表达式呢？主要原因在于它的简洁。可以将一组字符串的特点表示出来。
正则表达式：
- 通用的字符串表达框架
- 简洁表达一组字符串的表达式
- 针对字符串表达的“简洁”和”特征“思想的工具
- 判断某字符串的特征归属
正则表达式在文本处理中十分常用
- 表达文本类型的特征（病毒、入侵等）
- 同时查找或替换一组字符串
- 匹配字符串的全部或部分，后面我们会看到很多例子。
正则表达式的使用：
- 编译：将符合正则表达式语法的字符串转换成正则表达式特征，而这个特征可以表示一组字符串。
3. 正则表达式的语法
正则表达式语法由字符和操作符构成。
3.1.常用操作符
| 操作符 | 说明 | 实例 |
|---|---|---|
| . | 表示任何单个字符(不包括换行符) | |
| [ ] | 字符集，对单个字符给出取值范围 | [abc]表示a、b、c，[a-z]表示a到z单个字符 |
| [ ^ ] | 非字符集，对单个字符给出排除范围 | [ ^abc]表示非a且非b且非c的单个字符 |
| * | 前一个字符0次或无限次扩展 | abc*表示ab、abc、abcc、abccc等 |
| + | 前一个字符1次或无限次扩展 | abc+表示abc、abcc、abccc等 |
| ？ | 前一个字符0次或1次扩展 | abc+表示ab、abc |
| | | 左右表达式任意一个 | abc|def表示abc、def |
| {m} | 扩展前一个字符m次 | ab{2}c表示abbc |
| {m,n} | 扩展前一个字符m至n次（含n） | ab{1,2}c表示abc、abbc |
| ^ | 匹配字符串开头 | ^abc表示abc且在一个字符串的开头 |
| $ | 匹配字符串结尾 | abc $表示abc且在一个字符串的结尾 |
| （） | 分组标记，内部只能使用 | 操作符 | (abc)表示abc，（abc|def）表示abc、def |
| \d | 数字，等价于[0-9] | |
| \w | 单词字符，等价于[A-Za-z0-9_] | |
| \s | 空白符，表示空格，换行符，制表符等 |
3.2 正则表达式语法实例：
| 正则表达式 | 对应字符串 |
|---|---|
| P(Y|YT|YTH|YTHO)?N | ‘PN’、‘PYN’、‘PYTN’、‘PYTHN’、‘PYTHON’ |
| PYTHON+ | ‘PYTHON’、‘PYTHONN’、‘PYTHONNN’… |
| PY[TH]ON | ‘PYTON’、‘PYHON’ |
| PY[ ^TH]?ON | ‘PYON’、‘PYaON’、‘PYbON’、‘PYcON’… |
| PY{:3}N | ‘PN’、‘PYN’、‘PYYN’、‘PYYYN’ |
3.3 经典正则表达式实例
| 说明 | 正则表达式 |
|---|---|
| 由26个英文字母组成的字符串 : | ^ [A-Za-z]+$ |
| 由26个英文字母和数字组成的字符串 : | ^ [A-Za-z0-9]+$ |
| 整数形式的字符串： | ^-?\d+$ |
| 正整数形式的字符串 : | ^ [0-9]*[1-9] [0-9] * $ |
| 中国境内邮政编码，6位 | [1-9]\d{5} |
| 匹配中文字符串 | [\u4e00-\u9fa5] |
| 国内电话号码，010-68913536 | \d{3}-\d{8} | \d{4}-\d{7} |
| IP地址 | (([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]) |
4.Re库介绍
Re库是Python的标准库，主要用于字符串匹配。
正则表达式的表示类型：
- raw string 类型（原生字符串类型）
Re库采用raw string类型表示正则表达式，表示为：r.‘text’
例如：r’[1-9]\d{5}’，在字符串前加一个r。raw string是不包含转义符的字符串。 - string类型，更繁琐。因为string类型认为’\‘是一个转义字符。所以，要想表达刚刚的字符串表达式，就要写成：’[1-9]\\d{5}’
Re库的主要功能函数
| 函数 | 说明 |
|---|---|
| re.search() | 在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象 |
| re.match() | 从一个字符串的开始位置起匹配正则表达式，返回match对象 |
| re.findall() | 搜索字符串，以列表类型返回全部能匹配的子串 |
| re.split() | 将一个字符串按照正则表达式的结果进行分割，返回列表类型 |
| re.finditer() | 搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象 |
| re.sub() | 在一个字符串中替换所有匹配正则表达式的字串，返回替换后的字符串 |
4.1每个函数的具体介绍
- re.search(pattern,string,flags=0)
pattern：正则表达式的字符串或原生字符串表示
string：待匹配字符串
flags：正则表达式使用时的控制标记
| 常用标记 | 说明 |
|---|---|
| re.I | 忽略正则表达式的大小写，[A-Z]能够匹配小写字符 |
| re.M | 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始 |
| re.S | 正则表达式中的 . 操作符能够匹配所有字符（包括换行符），默认匹配除换行外的所有字符串 |
>>> import re
>>> match=re.search(r'[1-9]\d{5}','BIT 100081')
>>> if match:
print(match.group(0))
100081
- re.match(pattern,string,flags=0)
>>> match=re.match(r'[1-9]\d{5}','BIT 100081')
>>> if match:
match.group(0) #因为match是从一个字符串的起始位置开始匹配，所以没有匹配成功。
>>> match=re.match(r'[1-9]\d{5}','100081 BIT')
>>> if match:
match.group(0) #因为match是从一个字符串的起始位置开始匹配，匹配到100081。
'100081'
- re.findall(pattern,string,flags=0)
>>> ls=re.findall(r'[1-9]\d{5}','BIT100081 TSU100084')
>>> ls
['100081', '100084']
- re.split(pattern,string,maxsplit=0,flags=0)
maxsplit：最大分割数，剩余部分作为最后一个元素输出
>>> re.split(r'[1-9]\d{5}','BIT100081 TSU100084')
['BIT', ' TSU', ''] #将匹配的部分去除，去掉之后的部分分别作为分割字符串的元素放在列表里
>>> re.split(r'[1-9]\d{5}','BIT100081 TSU100084',maxsplit=1)
['BIT', ' TSU100084']
- re.finditer(pattern,string,flags=0)
>>> for m in re.finditer(r'[1-9]\d{5}','BIT100081 TSU100084'):
if m:
print(m.group(0))
100081
100084
- re.sub(pattern,repl,string,count=0,flags=0)
repl：替换匹配字符串的字符串
count：匹配的最大替换次数
>>> re.sub(r'[1-9]\d{5}',':zipcode','BIT100081 TSU100084')
'BIT:zipcode TSU:zipcode'
4.2 Re库的另一种等价用法：
- 函数式用法：一次性操作
>>> rst = re.srarch(r'[1-9]\d{5}','BIT 100081')
- 面型对象用法：编译后的多次操作
>>> pat = re.compile(r'[1-9]\d{5}') #将正则表达式的字符串编译成正则表达式对象
>>> rst = pat.search('BIT 100081') #当多次需要使用正则表达式时，这样做很方便。
regex = re.compile(pattern,flags=0)
——将正则表达式的字符串形式编译成正则表达式对象
- pattern：正则表达式的字符串或原生字符串表示
- flags：正则表达式使用时的控制标记
正则表达式对象的方法也和Re库中方法相同，只是把参数中的正则表达式字符串去掉即可（因为已经编译过了）。
4.3 Match对象
上边的Re库函数中有几个返回的都是match对象，这里讲解一下。
Match对象属性：
| 属性 | 说明 |
|---|---|
| .string | 待匹配的文本 |
| .re | 匹配时使用的pattern对象（正则表达式） |
| .pos | 正则表达式搜索文本的开始位置 |
| .endpos | 正则表达式搜索文本的结束位置 |
>>> m=re.search(r'[1-9]\d{5}','BIT100081 TSU100084')
>>> m.string
'BIT100081 TSU100084'
>>> m.re
re.compile('[1-9]\\d{5}')
>>> m.pos
0
>>> m.endpos
19
Match对象方法：
| 方法 | 说明 |
|---|---|
| .group(0) | 获得匹配后的字符串 |
| .start() | 匹配字符串在原始字符串的开始位置 |
| .end() | 匹配字符串在原始字符串的结束位置 |
| .span() | 返回（.start(),.end()），元组类型 |
>>> m=re.search(r'[1-9]\d{5}','BIT100081 TSU100084')
>>> m.group(0) #match对象只返回第一次匹配的结果
'100081'
>>> m.start()
3
>>> m.end()
9
>>> m.span()
(3, 9)
5. Re库的贪婪匹配和最小匹配
Re库默认采用贪婪匹配，即输出匹配最长的字串。
>>> match = re.search(r'PY.*N','PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'
如何输出最短字串？加一个‘?’即可。
>>> match = re.search(r'PY.*?N','PYANBNCNDN')
>>> match.group(0)
'PYAN'
最小匹配操作符
| 操作符 | 说明 |
|---|---|
| *? | 前一个字符0次或无限次扩展，最小匹配 |
| +? | 前一个字符1次或无限次扩展，最小匹配 |
| ?? | 前一个字符0次或1次扩展，最小匹配 |
| {m,n}? | 扩展前一个字符m至n次（含n），最小匹配 |
6. 总结
文章对Re库进行了简单的介绍，讲解了一些方法，这些都是比较基础的东西。对这些知识都要很清楚。后面我会用几个实例来将前面所讲的Requests库、BeautifulSoup库、Re库等串联起来，更具形式的讲解。后续更新，请多多关注~~
文章如有不当之处，还请多多指教~~
❤️
