正则表达式
用途
1.判断用户输入的数据是否符合你的要求(用户名,密码等)
2.爬虫,数据清洗
正则表达式概述
re模块操作
简单举例
import re
# re.match(正则表达式, 要处理的字符串)
result = re.match(r'hello', 'hello world')
result1 = re.match(r'Hello', 'hello world')
result2 = re.match(r'[Hh]ello', 'hello world')
result3 = re.match(r'[Hh]ello', 'Hello world')
print(result) # <re.Match object; span=(0, 5), match='hello'>
print(result1) # None
print(result2) # <re.Match object; span=(0, 5), match='hello'>
print(result3) # <re.Match object; span=(0, 5), match='hello'>
# group返回匹配到的数据
print(result.group()) # hello
# print(result1.group()) # 空None,报错
print(result2.group()) # hello
print(result3.group()) # Hello
观察现象,判断是否符合re.match的正则表达式规范,若符合规范则有数据返回,反之没有数据返回
匹配单个字符
字符 | 功能 |
---|---|
. | 匹配任意一个字符(除了\n) |
[] | 匹配[]中列举的字符 |
\d | 匹配数字0-9 |
\D | 匹配非数字 |
\s | 匹配空白,即空格和tab键 |
\S | 匹配非空白 |
\w | 匹配单词字符, 即a-z, A-Z, 0-9 ,_(python 要求定义变量的规范,但是要慎用,他能返回中文字符) |
\W | 匹配非单词字符 |
举一个demo
import re
# 只能匹配一个字符
# \d 范围0-9 ,速度与激情没有9 需要规定范围
# [] 的作用 取用一个数据[12345678] 从1-8取一个
ret = re.match(r'速度与激情\d', '速度与激情1')
ret1 = re.match(r'速度与激情\d', '速度与激情2')
ret2 = re.match(r'速度与激情\d', '速度与激情22')
ret3 = re.match(r'速度与激情[12345678]]', '速度与激情9')
# 若排序正好为12345678则可写为1-8, 若不连续不能写1-8
ret4 = re.match(r'速度与激情[1-8]]', '速度与激情0')
# 若想看速度与激情123系列与678系列
ret5 = re.match(r'速度与激情[123678]', '速度与激情5')
ret6 = re.match(r'速度与激情[1-36-9]', '速度与激情5')
ret7 = re.match(r'速度与激情\w', '速度与激情啊')
print(ret.group()) # 速度与激情1
print(ret1.group()) # 速度与激情2
print(ret2.group()) # 速度与激情2
print(ret3) # None
print(ret4) # None
print(ret5) # None
print(ret6) # None
print(ret7.group()) # 速度与激情啊
匹配多个字符
字符 | 功能 |
---|---|
* | 匹配前一个字符出现0次或者无数次,即可有可无 |
+ | 匹配前一个字符出现1次或者无数次,即至少有1次 |
? | 匹配前一个字符出现1次或者0次,即要么有1次,要么没有 |
{m} | 匹配前一个字符出现m次 |
{m,n} | 匹配前一个字符出现从m次到n次,都可以 |
举一个demo
import re
# {m,n}用法
ret = re.match(r'速度与激情\d{1,3}', '速度与激情')
ret1 = re.match(r'速度与激情\d{1,3}', '速度与激情1')
ret2 = re.match(r'速度与激情\d{1,3}', '速度与激情12')
ret3 = re.match(r'速度与激情\d{1,3}', '速度与激情123')
ret4 = re.match(r'速度与激情\d{1,3}', '速度与激情1234')
# ?的作用
# 假设我们匹配杭州的电话号码
ret5 = re.match(r'0571-?\d{8}', '0571-12345678')
ret6 = re.match(r'0571-?\d{8}', '057112345678')
# * + 的使用
content = """jijfaf
fadsfadsf
fasdfasf
fasdfadf
f"""
ret7 = re.match(r'.*', content)
ret8 = re.match(r'.*', content, re.S)
ret9 = re.match(r'.*', '')
ret10 = re.match(r'.+', '')
print(ret) # None
print(ret1.group()) # 速度与激情1
print(ret2.group()) # 速度与激情12
print(ret3.group()) # 速度与激情123
print(ret4.group()) # 速度与激情123
print(ret5.group()) # 0571-12345678
print(ret6.group()) # 057112345678
print(ret7.group()) # jijfaf
print(ret8.group())
"""
jijfaf
fadsfadsf
fasdfasf
fasdfadf
f
"""
print(ret9.group()) #
print(ret10) # None
匹配开头结尾
注意注意
match只判断了以谁开头,但是没判断以谁结尾
字符 | 功能 |
---|---|
^ | 开头 |
$ | 结尾 |
做个练习,正则匹配出python变量名是否符合规范
# coding = utf-8
import re
def main(names):
"""判断变量名是否符合规范"""
for name in names:
# 完整的判断^开头$结尾
ret = re.match(r'^[a-zA-Z_]+[a-zA-Z0-9_]*$', name)
if ret:
print(ret.group())
"""
name1
_name
__name__
"""
if __name__ == '__main__':
names = ['name1', '_name', '2_name', '__name__', 'a#123', 'a!']
main(names)
判断163邮箱地址
# coding = utf-8
import re
def main(email):
"""判断163邮箱地址"""
# 注意注意 .?等需要转义
ret = re.match(r'^[a-zA-Z0-9_]{4,20}@163\.com$', email)
if ret:
print(ret.group())
else:
print('no')
if __name__ == '__main__':
email = input('邮箱地址')
main(email)
匹配分组
刚才介绍了正则匹配163邮箱,但是如果还想继续匹配126或者qq就要换一种方式,匹配分组。
字符 | 功能 |
---|---|
| | 匹配左右任意一个表达式 |
(ab) | 将括号中的字符作为一个分组,分组还可以提取,几个括号写最多在group写几个 |
\num | 引用分组num匹配到的字符串 |
(?P=<name>) | 分组起别名 |
(?P=name) | 引用别名为name分组匹配到的字符串 |
举例
# coding = utf-8
import re
def num(html):
"""使用\num"""
ret = re.match(r'^<(\w*)><(\w*)>.*</\2></\1>$', html)
ret1 = re.match(r'^<(?P<p1>\w*)><(?P<p2>\w*)>.*</(?P=p2)></(?P=p1)>$', html)
if ret:
print(ret.group()) # <body><h1>haha</h1></body>
if ret1:
print(ret1.group()) # <body><h1>haha</h1></body>
def main(email):
"""()的使用"""
# 注意注意 .?等需要转义 | 表示or, ()表示分组
ret = re.match(r'^([a-zA-Z0-9_]{4,20})@(163|126|qq)\.com$', email)
if ret:
print(ret.group()) # [email protected]
print(ret.group(1)) # 1011123304
print(ret.group(2)) # qq
else:
print('no')
if __name__ == '__main__':
email = '[email protected]'
html = "<body><h1>haha</h1></body>"
main(email)
num(html)
能用\1,就不写name,太麻烦了
re模块的高级用法
re.match :固定从开头开始匹配
re.search :寻找可以不从开头开始匹配,但是要注意,他只能找到第一个,第二个开始就不行
re.findall : 能找到所有东西,返回列表,直接返回数据不用group
re.sub : 不管什么数据都替换找到所有数据, 不用group, sub支持函数的使用
re.split : 将数据切割,以列表形式返回
举例
# coding = utf-8
import re
def search():
"""re.search"""
ret = re.search(r'\d+', '阅读 999,点赞数 888')
print(ret.group()) # 999
def findall():
"""re.findall"""
ret = re.findall(r'\d+', '阅读 999,点赞数 888')
print(ret) # ['999', '888']
def add(temp):
str_num = temp.group()
num = int(str_num) + 1
return str(num)
def sub():
"""re.sub"""
ret = re.sub(r'\d+', '666', '阅读 999,点赞数 888')
print(ret) # 阅读 666,点赞数 666
ret1 =re.sub(r'\d+', add, '阅读 999,点赞数 888')
print(ret1) # 阅读 1000,点赞数 889
def split():
"""re.split"""
ret = re.split(r':| ', 'ni shi bu shi:sha')
print(ret) # ['ni', 'shi', 'bu', 'shi', 'sha']
if __name__ == '__main__':
search()
findall()
sub()
split()
实战:
# coding = utf-8
import re
text = """
<div>
<p>岗位职责:</p>
<p>完成推荐算法、数据统计、接口、后台等服务器端相关工作</p>
<p><br></p>
<p>必备要求:</p>
<p>良好的自我驱动力和职业素养,工作积极主动、结果导向</p>
<p> <br></p>
<p>技术要求:</p>
<p>1、一年以上 Python 开发经验,掌握面向对象分析和设计,了解设计模式</p>
<p>2、掌握HTTP协议,熟悉MVC、MVVM等概念以及相关WEB开发框架</p>
<p>3、掌握关系数据库开发设计,掌握 SQL,熟练使用 MySQL/PostgreSQL 中的一种<br></p>
<p>4、掌握NoSQL、MQ,熟练使用对应技术解决方案</p>
<p>5、熟悉 Javascript/CSS/HTML5,JQuery、React、Vue.js</p>
<p> <br></p>
<p>加分项:</p>
<p>大数据,数理统计,机器学习,sklearn,高性能,大并发。</p>
</div>
"""
def main(_text):
"""数据清洗"""
txt = re.sub(r'</?\w*>|( )', '', _text)
print(txt)
if __name__ == '__main__':
main(text)
"""
岗位职责:
完成推荐算法、数据统计、接口、后台等服务器端相关工作
必备要求:
良好的自我驱动力和职业素养,工作积极主动、结果导向
技术要求:
1、一年以上 Python 开发经验,掌握面向对象分析和设计,了解设计模式
2、掌握HTTP协议,熟悉MVC、MVVM等概念以及相关WEB开发框架
3、掌握关系数据库开发设计,掌握 SQL,熟练使用 MySQL/PostgreSQL 中的一种
4、掌握NoSQL、MQ,熟练使用对应技术解决方案
5、熟悉 Javascript/CSS/HTML5,JQuery、React、Vue.js
加分项:
大数据,数理统计,机器学习,sklearn,高性能,大并发。
"""
贪婪和非贪婪
# coding = utf-8
import re
def main():
s = "This is a number 234-235-22-423"
ret = re.match(r'.+(\d+-\d+-\d+-\d+)', s)
ret1 = re.match(r'.+?(\d+-\d+-\d+-\d+)', s)
if ret:
print(ret.group(1)) # 4-235-22-423
print(ret1.group(1)) # 234-235-22-423
if __name__ == '__main__':
main()
正则表达式模式中使用到通配字,那它在从左到右的顺序求值时,会尽量“抓取”满足匹配最长字符串,在我们上面的例子里面,“.+”会从字符串的启始处抓取满足模式的最长字符,其中包括我们想得到的第一个整型字段的中的大部分,“\d+”只需一位字符就可以匹配,所以它匹配了数字“4”,而“.+”则匹配了从字符串起始到这个第一位数字4之前的所有字符。
解决方式:非贪婪操作符“?”,这个操作符可以用在"*","+","?"的后面,要求正则匹配的越少越好。
r的作用
Python中字符串前面加上 r 表示原生字符串,
与大多数编程语言相同,正则表达式里使用"“作为转义字符,这就可能造成反斜杠困扰。假如你需要匹配文本中的字符”",那么使用编程语言表示的正则表达式里将需要4个反斜杠"\":前两个和后两个分别用于在编程语言里转义成反斜杠,转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。
Python里的原生字符串很好地解决了这个问题,有了原生字符串,你再也不用担心是不是漏写了反斜杠,写出来的表达式也更直观。