正则,是正则表达式(Regular Expression)的简称,又称规则表达式,在代码中常简写为regex、regexp或RE,计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。好多复杂的查询和过滤算法其实都是基于正则,但能匹配出很复杂的正则表达式需要一定的功夫,不是有句话说“一入正则深似海”。你品,你细品。
用途:
1、用来文本搜索和替换
2、查询指定数据
3、分割比较复杂的字符串(爬虫)
正则使用时要导入正则库,如下:
import re
一、re常用的处理函数
1.1 match
re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。
def match(pattern, string, flags=0):
"""Try to apply the pattern at the start of the string, returning
a Match object, or None if no match was found."""
return _compile(pattern, flags).match(string)
match有3个参数,作用如下:
参数 | 作用 |
---|---|
pattern | 匹配的正则表达式 |
string | 要匹配的字符串 |
flags | 标志位,用于控制正则表达式的匹配方式,如:是否区分大小写,多行匹配等等 |
如:
import re
print(re.match('aa', 'aawewrwr'))
输出为:
<re.Match object; span=(0, 2), match='aa'>
表示在[0-2)之间匹配到了字符串“aa”
1.2 search
search与match不同,search会扫描整个字符串,返回匹配到的第一个,如果匹配不到,返回None。
def search(pattern, string, flags=0):
"""Scan through string looking for a match to the pattern, returning
a Match object, or None if no match was found."""
return _compile(pattern, flags).search(string)
search也有3个参数,与match一致。
参数 | 作用 |
---|---|
pattern | 匹配的正则表达式 |
string | 要匹配的字符串 |
flags | 标志位,用于控制正则表达式的匹配方式,如:是否区分大小写,多行匹配等等 |
如:
import re
print(re.search('com', 'www.baidu.com').span())
输出
(10, 13)
表示在10-13之间第一次匹配到了字符串“com”
1.3 compile
compile 函数用于编译正则表达式,生成一个正则表达式( Pattern )对象,供 match() 和 search() 这两个函数使用。
def compile(pattern, flags=0):
"Compile a regular expression pattern, returning a Pattern object."
return _compile(pattern, flags)
pattern指的是正则表达式。
如:
import re
pattern = re.compile(r'\d+')
m = pattern.match('ondfh123edsre32')
print(m)
输出:
None
r’\d+ ':表示匹配1个及以上的数字,由于match至匹配头部,因此输出为None。
1.4 findall
在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表。
def findall(pattern, string, flags=0):
"""Return a list of all non-overlapping matches in the string.
If one or more capturing groups are present in the pattern, return
a list of groups; this will be a list of tuples if the pattern
has more than one group.
Empty matches are included in the result."""
return _compile(pattern, flags).findall(string)
如:
import re
pattern = re.compile(r'\d+')
print(pattern.findall('123rerfgrer456'))
输出:
['123', '456']
1.5 finditer
re.finditer和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个迭代器返回。
如:
import re
it = re.finditer(r"\d+","12a32bc43jf3")
for match in it:
print (match.group() )
输出:
12
32
43
3
1.6 split
re.split可以把匹配到的字符串分割,返回一个分割后的列表,对于无法匹配的,返回整个字符串。
如:
import re
print(re.split(r'\w', 'adc,abc,abc'))
输出:
['abc', 'abc', 'abc']
二、正则表达式
表达式 | 含义 |
---|---|
^ | 匹配字符串的开头 |
$ | 匹配字符串的末尾 |
. | 匹配任意字符,除了换行符 |
[…] | 原子表,存储表达式、字符集合。匹配所包含任意一个字符 |
[^…] | 匹配不在[]之中的字符 |
* | 匹配前面0个或多个表达式 |
+ | 匹配前面1个或多个表达式 |
? | 匹配前面0个或1个表达式,非贪婪匹配 |
{m} | 匹配前面表达式m次,不能单独使用 |
{m,n} | 匹配m到n次前面表达式,贪婪匹配 |
a|b | 匹配a或者b |
[a-z] | 匹配任意一个小写字母 |
[\u4e00-\u9fa5] | 匹配汉字 |
[AbCd] | 匹配任意一个大小写字母 |
[a-zA-Z] | 匹配任意一个大小写字母 |
\d | 等价于[0-9],匹配任意数字 |
\D | 匹配任意非数字 |
\w | 匹配任意字母数字和下划线,等价于[a-zA-Z0-9_] |
\W | 匹配非数字字母及下划线 |
\s | 匹配任意空白字符 |
\S | 匹配任意非空字符 |
\A | 匹配字符串开始 |
\Z | 匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串 |
\z | 匹配字符串结束 |
实例:
import re
# 匹配一个字母
print(re.compile('[a]').match('aabaa'))
# 匹配任意一个字母a、b、c
print(re.compile('[abc]').match('abcbaa'))
# 匹配任意一个小写字母
print(re.compile('[a-z]').search('ASDAFasadSAD'))
# 匹配汉字
print(re.compile('[\u4e00-\u9fa5]').search('ASDA帅哥SAD'))
# 匹配任意一个字母
print(re.compile('[a-zA-Z]').search('ASDA帅哥SAD'))
# 匹配手机号
print(re.compile('^1[3-8][0-9]{9}$').search('13884559256'))
# 匹配前边任意次
print(re.compile('a*').search('aaaaasdasdsada'))
输出:
<re.Match object; span=(0, 1), match='a'>
<re.Match object; span=(0, 1), match='a'>
<re.Match object; span=(5, 6), match='a'>
<re.Match object; span=(4, 5), match='帅'>
<re.Match object; span=(0, 1), match='A'>
<re.Match object; span=(0, 11), match='13884559256'>
<re.Match object; span=(0, 5), match='aaaaa'>
三、一个简单的利用re判断QQ号是否合法化的小练习
import re
def isValidQQ(qq):
pattern = re.compile("[1-9][0-9]{4,10}$")
r = pattern.match(qq)
if r:
return True
else:
return False
def isCheckQQ(qq):
if qq.isdigit() == False:
return "{}号码不全为数字".format(qq)
if len(qq) < 5:
return "{}号码长度不够".format(qq)
if isValidQQ(qq) == True:
return "{}号码合法".format(qq)
else:
return "{}号码不合法".format(qq)
if __name__ == "__main__":
while True:
qq = input("请输入qq号:\n")
if qq == "q":
break
print(isCheckQQ(qq))
四、总结
正则表达式通过其基本的正则元素能够组合出各种正则表达式,用来匹配所需的字符串。常用来做爬虫页面中所需资料的匹配、简单的人机对话系统等,有着较高的效率,熟练使用正则能够提升工作效率,是中高级爬虫的必备工具之一。