Pythonp爬虫之正则表达式

import re

一、Python正则表达式中常见的函数

1.match()

  • re.match()方法是从字符串起始位置匹配一个模式,匹配失败返回None。
  • re.match(pattern,string,flag),其中pattern是正则表达式,string是源字符串,flag可以放模式修正符等信息。
string = "apythonhellomypythonourpythonend"
pattern = ".python."
re.match(pattern,string)
<_sre.SRE_Match object; span=(0, 8), match='apythonh'>

2.search()

  • re.search()类似于re.match(),但最大的不同是,match()是从字符串的开头进行匹配,而search()则是全文匹配。
  • re.search(pattern,string,flag),其中pattern是正则表达式,string是源字符串,flag可以放模式修正符等信息。
string = "hellomypythonhispythonourpythonend"
pattern = ".python."
print(re.match(pattern,string))
print(re.search(pattern,string))
None
<_sre.SRE_Match object; span=(6, 14), match='ypythonh'>

3.findall()

  • 无论是match()还是search()都只匹配一个结果,而使用全局匹配函数则可以将符合模式的内容全部匹配出来。
string = "hellomypythonhispythonourpythonend"
pattern = re.compile(".python.") # 编译正则表达式
pattern.findall(string)
['ypythonh', 'spythono', 'rpythone']

4.sub()

  • 如果想通过正则表达式实现替换某些字符串的功能,可以使用re.sub()实现。
  • re.sub(pattern, repl, string, count=0, flags=0),其中pattern是正则表达式,repl替换使用的字符串(也可以是函数),count是替换的字符个数(0表示替换所有匹配的字符串),flag可以放模式修正符等信息。
string = "hellomypythonhispythonourpythonend"
pattern = ".python."
print(re.sub(pattern,"java",string))
print(re.sub(pattern,"java",string,2))
hellomjavaijavaujavand
hellomjavaijavaurpythonend

二、正则表达式修饰符–参数flag的值

  • 正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志:
修饰符 描述
re.I 使匹配对大小写不敏感
re.L 做本地化识别匹配
re.M 多行匹配,影响 ^ 和 $
re.S 使 . 匹配包括换行在内的所有字符
re.U 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

三、正则表达式模型

  • 字母和数字表示他们自身。
  • 多数字母和数字前加一个反斜杠时会拥有不同的含义。
  • 标点符号只有被转义时才匹配自身,否则它们表示特殊的含义。
  • 反斜杠本身需要使用反斜杠转义。
模式 描述
^ 匹配字符串的开头。
$ 匹配字符串的末尾。
. 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。
[….] 用来表示一组字符,单独列出:[amk] 匹配 ‘a’,’m’或’k’。
[^…] 不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。
re* 匹配0个或多个的表达式。
re+ 匹配1个或多个的表达式。
re? 匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式
re{n} 精确匹配 n 个前面表达式。例如, o{2} 不能匹配 “Bob” 中的 “o”,但是能匹配 “food” 中的两个 o。
re{n,} 匹配 n 个前面表达式。例如, o{2,} 不能匹配”Bob”中的”o”,但能匹配 “foooood”中的所有 o。”o{1,}” 等价于 “o+”。”o{0,}” 则等价于 “o*”。
re{n,m} 匹配 n 到 m 次由前面的正则表达式定义的片段,贪婪方式。
a|b 匹配a或b
(re) 匹配括号内的表达式,也表示一个组
(?imx) 正则表达式包含三种可选标志:i, m, 或 x 。只影响括号中的区域。
(?-imx) 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?:re) 类似 (…), 但是不表示一个组
(?imx:re) 在括号中使用i, m, 或 x 可选标志
(?-imx:re) 在括号中不使用i, m, 或 x 可选标志
(?#…) 注释
(?= re) 前向肯定界定符。如果所含正则表达式,以 … 表示,在当前位置成功匹配时成功,否则失败。但一旦所含表达式已经尝试,匹配引擎根本没有提高;模式的剩余部分还要尝试界定符的右边。
(?! re) 前向否定界定符。与肯定界定符相反;当所含表达式不能在字符串当前位置匹配时成功
(?> re) 匹配的独立模式,省去回溯。
\w 匹配字母数字及下划线
\W 匹配非字母数字及下划线
\s 匹配任意空白字符,等价于 [\t\n\r\f].
\S 匹配任意非空字符
\d 匹配任意数字,等价于 [0-9].
\D 匹配任意非数字
\A 匹配字符串开始
\Z 匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串。
\z 匹配字符串结束
\G 匹配最后匹配完成的位置。
\b 匹配一个单词边界,也就是指单词和空格间的位置。例如, ‘er\b’ 可以匹配”never” 中的 ‘er’,但不能匹配 “verb” 中的 ‘er’。
\B 匹配非单词边界。’er\B’ 能匹配 “verb” 中的 ‘er’,但不能匹配 “never” 中的 ‘er’。
\n, \t, 等. 匹配一个换行符。匹配一个制表符。等
\1…\9 匹配第n个分组的内容。
\10 匹配第n个分组的内容,如果它经匹配。否则指的是八进制字符码的表达式。

四、常见的正则表达式示例

1.匹配.com或.cn后缀的URL网址

pattern = "[a-zA-Z]+://[^\s]*[.com|.cn]"
string = "<a href = 'http://www.baidu.com'>百度首页</a>"
print(re.search(pattern,string))
<_sre.SRE_Match object; span=(11, 31), match='http://www.baidu.com'>

2.匹配电话号码

pattern = "\d{4}-\d{7}|\d{3}-\d{8}"
string = "021-6728263682382265236"
print(re.search(pattern,string))
<_sre.SRE_Match object; span=(0, 12), match='021-67282636'>

3.匹配电子邮件地址

pattern = "\w+([.+-]\w+)*@\w+([.-]\w+)*\.\w+([.-]\w+)*"
stirng = "<a href = 'http://www.baidu.com'>百度首页</a><br><a href = 'mailto:[email protected]'>电子邮件地址</a>"
print(re.search(pattern,string))
None

猜你喜欢

转载自blog.csdn.net/bqw18744018044/article/details/80993431