企业门户网站特征,汕头房产网,做美容美发学校网站公司,php mysql网站开发实例前面#xff0c;我们已经可以用requests库来获取网页的源代码#xff0c;得到HTML代码。但我们真正想要的数据是包含在HTML代码之中的。要怎样才能从HTML代码中获取想要的信息呢#xff1f;正则表达式是一个万能的方法#xff01;#xff01;#xff01;
目录
正则表达… 前面我们已经可以用requests库来获取网页的源代码得到HTML代码。但我们真正想要的数据是包含在HTML代码之中的。要怎样才能从HTML代码中获取想要的信息呢正则表达式是一个万能的方法
目录
正则表达式
1、实例引入
2、match
3、匹配目标
4、通用匹配
5、贪婪与非贪婪
6、修饰符
7、转义匹配
8、search
9、findall
10、sub
11、compile 正则表达式
1、实例引入 打开开源中国提供的正则表达式测试工具在线正则表达式测试输入待匹配的文本然后选择常用的正则表达式就可以得出相应的匹配结果了。例这里输入如下待匹配的文本。
Hello, my phone number is 010-86432100 and email is cqccuiqingcai.com, and my website is https://cuiqingcai.com 这段字符串中包含一个电话号码、一个Email地址和一个URL接下来就尝试用正则表达式将这些内容提取出来。在网页右侧选择“匹配Email地址”就可以看到下方出现了文本中的E-mail如图所示。 如果选择“匹配网址URL”可以看到下方出现了文本中URL如图所示。 [a-zA-z]://[^\s]* 这个正则表达式是用于匹配类似URL的字符串如果待匹配的文本含有的话就会被提取出来。正则表达式看上去虽然是乱糟糟的一团但里面其实是有特定语法规则的。例如a-z 代表匹配任意的小写字母任意的小写字母\s代表匹配任意的空白字符*代表匹配前面的任意多个字符那一长串正则表达式就是这么多匹配规则的组合。 写好正则表达式后就可以拿它去一个长字符串里匹配查找了。不论这个字符串里面有什么只要符合我们写的规则统统可以找出来。对于网页来说如果想找出网页源代码里有多少URL只要用匹配 URL的正则表达式去匹配即可。 上面我们介绍了几个匹配规则下表列出了常用的一些匹配规则。 正则表达式在各种编程语言中都存在在Python中re库提供了整个正则表达式的实现。下面就来了解它的用法吧。
2、match 该方法向它传入要匹配的字符串以及正则表达式就可以检测这个正则表达式是否和字符串相匹配。match方法会尝试从字符串的起始位置开始匹配正则表达式如果匹配就返回匹配成功的结果如果匹配不成功就返回None。实例如下
import re
content Hello 123 4567 World_This is a Regex Demo
print(len(content))
result re.match(^Hello\s\d\d\d\s\d{4}\s\w{10},content)
print(result)
print(result.group())
print(result.span())结果如下:
41
re.Match object; span(0, 25), matchHello 123 4567 World_This
Hello 123 4567 World_This
(0, 25) 这个实例首先声明了一个字符串其中包含英文字母、空白字符、数字等。接着写了一个正则表达式 ^Hello\s\d\d\d\s\d{4}\s\w{10} 用它来匹配声明的那个长字符串。开头的^表示匹配字符串的开头也就是以Hello开头然后\s 表示匹配空白字符用来匹配目标字符串里 Hello后面的空格 \d 表示匹配数字3个\d用来匹配123紧接着的1个\s表示匹配空格 目标字符串的后面还有4567我们其实依然可以用4个\d来匹配 但是这么写比较烦琐 所以可以用\d 后面跟 {4}的形式代表匹配4 次数字 后面又是 1 个空白字符最后\w{10}则表示匹配 10 个字母及下划线。我们注意到这里其实并没有把目标字符串匹配完不过这样依然可以进行匹配只是匹配结果短一点而已。 在match方法中第一个参数是传入了正则表达式第二个参数是传入了要匹配的字符串。将输出结果打印出来可以看到结果是 SRE Match 对象证明匹配成功。该对象包含两个方法group方法可以输出匹配到的内容, 结果是 Hello 123 4567 World This, 这恰好是正则表达式按照规则匹配的内容 span方法可以输出匹配的范围结果是(025)这是匹配到的结果字符串在原字符串中的位置范围。 通过上面的例子我们基本了解了如何在Python中使用正则表达式来匹配一段文字。
3、匹配目标 用match 方法可以实现匹配如果想从字符串中提取一部分内容该怎么办呢? 就像上一节的实例一样从一段文本中提取出E-mail地址或电话号码。可以使用括号()将想提取的子字符串括起来。()实际上标记了一个子表达式的开始和结束位置被标记的每个子表达式依次对应每个分组调用 group方法传入分组的索引即可获取提取结果。实例如下
import re
content Hello 1234567 World This is a Regex Demo
result re. match(^Hello\s(\d)\sWorld, content)
print(result)
print(result.group())
print(result.group(1))
print(result.span()) 通过这个实例我们把字符串中的 1234567提取出来了可以看到其中数字部分的正则表达式被()括了起来。然后调用group(1) 获取了匹配结果。运行结果如下
re.Match object; span(0, 19), matchHello 1234567 World
Hello 1234567 World
1234567
(0, 19) 可以看到我们成功匹配到了1234567。这里用group(1) 它与group()有所不同后者会输出完整的匹配结果前者会输出第一个被()包围的匹配结果。假如正则表达式后面还有用包围的内容那么可以依次用group(2)、group(3)等获取。
4、通用匹配 刚才我们写的正则表达式其实比较复杂只要出现空白字符就需要写\s 匹配出现数字就需要写\d 匹配这样的工作量非常大。其实完全没必要这么做因为还有一个万能匹配可以用就是.*。其中.可以匹配任意字符(除换行符)*代表匹配前面的字符无限次所以它们组合在一起就可以匹配任意字符了。有了它我们就不用挨个字符进行匹配了。 接着上面的例子我们利用.*改写一下正则表达式
import re
content Hello 123 4567 World This is a Regex Demo
result re. match(^Hello.*Demo$, content)
print(result)
print(result. group())
print(result. span()) 这里我们直接省略中间部分全部用.*来代替并在最后加一个结尾字符串。运行结果如下
re.Match object; span(0, 41), matchHello 123 4567 World This is a Regex Demo
Hello 123 4567 World This is a Regex Demo
(0, 41) 可以看到group 方法输出了匹配的全部字符串也就是说我们写的正则表达式匹配到了目标字符串的全部内容 span方法输出(041)这是整个字符串的长度。因此使用.*能够简化正则表达式的书写。 5、贪婪与非贪婪 使用通用匹配.*匹配到的内容有时候并不是我们想要的结果。看下面的例子
import re
content Hello 1234567 World_This is a Regex Demo
result re. match(^He.*(\d).*Demo$, content)
print(result)
print(result. group(1))这里我们依然想获取目标字符串中间的数字所以正则表达式中间写的依然是(\d)。而数字两侧由于内容比较杂乱, 所以想省略来写, 于是都写成 .*。最后, 组成^He.*(\d).*Demo$, 看样子没什么问题。可我们看下运行结果
re.Match object; span(0, 40), matchHello 1234567 World_This is a Regex Demo
7 这里涉及贪婪匹配和非贪婪匹配的问题。在贪婪匹配下.*会匹配尽可能多的字符。正则表达式中 .*后面是\d也就是至少一个数字而且没有指定具体几个数字因此.*会匹配尽可能多的字符这里就把123456都匹配了只给\d留下一个可满足条件的数字7因此最后得到的内容就只有数字7。但这很明显会给我们带来很大的不便。有时候匹配结果会莫名其妙少一部分内容。其实这里只需要使用非贪婪匹配就好了。非贪婪匹配的写法是 .*?比通用匹配多了一个 ?那么它可以起到怎样的效果? 我们再用实例看一下
import re
content Hello 1234567 World This is a Regex Demo
result re. match(^He.*?(\d).*Demo$, content)
print(result)
print(result. group(1)) 这里我们只是将第一个.*改成了 .*?贪婪匹配就转变为了非贪婪匹配。结果如下
re.Match object; span(0, 40), matchHello 1234567 World This is a Regex Demo
1234567 此时便可以成功获取 1234567了。原因可想而知贪婪匹配是匹配尽可能多的字符非贪婪匹配就是匹配尽可能少的字符。当.*?匹配到Hello后面的空白字符时再往后的字符就是数字了而\d恰好可以匹配于是这里 .*?就不再进行匹配了而是交给\d去匹配。最后.*?匹配了尽可能少的字符, \d 的结果就是 1234567。所以说在做匹配的时候字符串中间尽量使用非贪婪匹配也就是用.*?代替.*以免出现匹配结果缺失的情况。但这里需要注意如果匹配的结果在字符串结尾.*?有可能匹配不到任何内容了因为它会匹配尽可能少的字符。例如
import re
content http://weibo.com/comment/kEraCN
result1 re.match(http.*?comment/(.*?),content)
result2 re.match(http.*?comment/(.*),content)
print(result1,result1.group(1))
print(result2,result2.group(1))
运行结果如下
result1
result2 kEraCN 可以观察到.*?没有匹配到任何结果而.*则是尽量多匹配内容成功得到了匹配结果。
6、修饰符 在正则表达式中可以用一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。我们用实例来看一下
import recontent Hello 1234567 World This
is a Regex Demoresult re.match(^He.*?(\d).*?Demo$, content)
print(result.group(1))运行结果如下
Traceback (most recent call last):File C:\Users\Lenovo\Desktop\爬虫学习\Python知识\urllib库的使用\requests_01.py, line 7, in moduleprint(result.group(1))^^^^^^^^^^^^
AttributeError: NoneType object has no attribute group 发现运行直接报错也就是说正则表达式没有匹配到这个字符串返回结果为 None而我们又调用了 group方法, 导致AttributeError。
那么为什么加了一个换行符就匹配不到了呢? 这是因为匹配的内容是除换行符之外的任意字符当遇到换行符时.*?就不能匹配了所以导致匹配失败。这里只需加一个修饰符re. S即可修正这个错误
result re. match(^He.*?(\d).*? Demo$, content, re.S) 这个修饰符的作用是使匹配内容包括换行符在内的所有字符。此时运行结果如下 1234567 这个re. S 在网页匹配中经常用到。因为 HTML 节点经常会有换行加上它就可以匹配节点与节点之间的换行了。另外还有一些修饰符在必要的情况下也可以使用如表所示。 修 饰 符 描 述 re. I 使匹配对大小写不敏感 re. L 实现本地化识别(locale-aware) 匹配 re. M 多行匹配 影响^和$ re. S 使匹配内容包括换行符在内的所有字符 re. U 根据Unicode字符集解析字符。这个标志会影响\w、\W、\b和\B re. X 该标志能够给予你更灵活的格式以便将正则表达式书写得更易于理解 在网页匹配中, 较为常用的有 re. S和 re. I。
7、转义匹配 我们知道正则表达式定义了许多匹配模式如.用于匹配除换行符以外的任意字符。但如果目标字符串里面就包含 .这个字符那该怎么办呢?这时需要用到转义匹配实例如下
import re
content (百度) www.baidu.com
result re.match(\(百度\) www\.baidu\.com, content)
print(result) 当在目标字符串中遇到用作正则匹配模式的特殊字符时在此字符前面加反斜线\转义一下即可。例如\.就可以用来匹配.运行结果如下
re.Match object; span(0, 18), match(百度) www.baidu.com 可以看到这里成功匹配到了原字符串。
以上这些是写正则表达式时常用的几个知识点熟练掌握它们对后面非常有帮助。
8、search 前文提到过match 方法是从字符串的开头开始匹配的意味着一旦开头不匹配整个匹配就失败了。我们看下面的例子
import re
content Extra stings Hello 1234567 World This is a Regex Demo Extra stings
result re. match(Hello.*?(\d).*? Demo, content)
print(result) 这里的字符串以Extra 开头正则表达式却以Hello开头其实整个正则表达式是字符串的一部分但这样匹配是失败的。运行结果如下
None因为match 方法在使用时需要考虑目标字符串开头的内容因此在做匹配时并不方便。它更适合检测某个字符串是否符合某个正则表达式的规则。这里就有另外一个方法search它在匹配时会扫描整个字符串然后返回第一个匹配成功的结果。也就是说正则表达式可以是字符串的一部分。在匹配时search方法会依次以每个字符作为开头扫描字符串直到找到第一个符合规则的字符串然后返回匹配内容如果扫描完还没有找到符合规则的字符串, 就返回None。我们把上面代码中的 match方法修改成 search再看下运行结果
re.Match object; span(13, 53), matchHello 1234567 World This is a Regex Demo
1234567 这时就得到了匹配结果。因此为了匹配方便尽量使用search 方法。下面再用几个实例来看看 search 方法的用法。首先这里有一段待匹配的 HTML 文本接下来写几个正则表达式实例实现相应信息的提取
html div idsongs-list
h2 classtitle经典老歌/h2
p classintroduction
经典老歌列表
/p
ul idlist classlist-group
li data-view2一路上有你/li
li data-view7
a href/2.mp3 singer任贤齐沧海一声笑/a
/li
li data-view4 classactive
a href/3.mp3 singer齐秦往事随风/a
/li
li data-view6 a href/4.mp3 singerbeyond光辉岁月
/a/1i
li data-view5a href/5.mp3 singer陈慧琳记事本
/a/1i
li data-view5
a href/6.mp3 singer邓丽君但愿人长久/a
/li
/ul
/div 可以观察到ul 节点里有许多li 节点这些 li 节点中有的包含 a 节点有的不包含。a 节点还有一些相应的属性————超链接和歌手名。首先我们尝试提取 class 为 active的 li 节点内部的超链接包含的歌手名和歌名也就是说需要提取第三个 li节点下 a 节点的 singer属性和文本。此时正则表达式可以以 li 开头然后寻找一个标志符active中间的部分可以用.*?来匹配。接下来因为要提取 singer这个属性值所以还需要写入singer(.*?)这里把需要提取的部分用小括号括了起来以便用group方法提取出来小括号的两侧边界是双引号。然后还需要匹配 a 节点的文本此文本的左边界是右边界是 /a。然后目标内容依然用(.*?)来匹配所以最后的正则表达式就变成了 li.* ?active.* ?singer(.*?)(.*?)/a 再调用search方法它会搜索整个HTML 文本找到符合上述正则表达式的第一个内容并返回。另外由于代码中有换行所以search 方法的第三个参数需要传入 re. S。于是整个匹配代码如下
result re. search(li.* ?active.* ?singer(.*?)(.*?)/a, html,re.S)
if result:print(result.group(1),result.group(2))
由于需要获取的歌手和歌名都已经用小括号包围所以可以用group方法获取。.运行结果如下 齐秦 往事随风 可以看到这正是class 为 active的 li节点内部的超链接包含的歌手名和歌名。如果正则表达式不加 active(也就是匹配不带 class 为 active的节点内容)会怎样呢? 我们将正则表达式中的 active去掉代码改写如下
result re. search(re. search(li.* ?singer(.*?)(.*?)/a,html,re.S)
if result:print(result. group(1), result. group(2)) 由于 search方法会返回第一个符合条件的匹配目标于是这里结果就变了 任贤齐 沧海一声笑 把 active标签去掉后从字符串开头开始搜索此时符合条件的节点就变成了第二个 li 节点后面的就不再匹配所以运行结果就变成第二个 li节点中的内容。注意在上面的两次匹配中search 方法的第三个参数都加了 re. S这使得.*?可以匹配换行所以含有换行的 li 节点被匹配到了。如果我们将其去掉结果会是什么? 去掉re. S 的代码如下
result re. search(re. search(li.* ?singer(.*?)(.*?)/a,html)
if result:print(result. group(1), result. group(2))
运行结果如下 beyond 光辉岁月 可以看到结果变成了第四个 li节点的内容。这是因为第二个和第三个li节点都包含换行符去掉 re. S之后.*?已经不能匹配换行符所以正则表达式不会匹配这两个 li 节点而第四个 li节点中不包含换行符可以成功匹配。由于绝大部分 HTML 文本包含换行符所以需要尽量加上 re. S修饰符以免出现匹配不到的问题。 9、findall 介绍完了 search方法的用法它可以返回与正则表达式相匹配的第一个字符串。如果想要获取与正则表达式相匹配的所有字符串该如何处理呢? 这就要借助 findall方法了。还是用上面的HTML 文本如果想获取其中所有a节点的超链接、歌手和歌名可以将search方法换成 findall 方法。其返回结果是列表类型需要通过遍历来依次获取每组内容。代码如下
results re.findall(li.*?href(.*?).*?singer(.*?)(.*?)/a,html,re.S
print(results)
print(type(results))
for result in results:
print(result)
print(result[0], result[1], result[2])
运行结果如下
[(/2.mp3, 任贤齐, 沧海一声笑), (/3.mp3, 齐秦, 往事随风), (/4.mp3, beyond, 光辉岁月\n), (/5.mp3, 陈慧琳, 记事本\n), (/6.mp3, 邓丽君, 但愿人长久)]
class list
(/2.mp3, 任贤齐, 沧海一声笑)
/2.mp3 任贤齐 沧海一声笑
(/3.mp3, 齐秦, 往事随风)
/3.mp3 齐秦 往事随风
(/4.mp3, beyond, 光辉岁月\n)
/4.mp3 beyond 光辉岁月(/5.mp3, 陈慧琳, 记事本\n)
/5.mp3 陈慧琳 记事本(/6.mp3, 邓丽君, 但愿人长久)
/6.mp3 邓丽君 但愿人长久 可以看到返回的列表中的每个元素都是元组类型。因此如果只想获取匹配到的第一个字符串可以用search方法如果想要提取多个内容可以用findall方法。
10、sub 除了使用正则表达式提取信息有时候还需要借助它来修改文本。例如想要把一串文本中的所有数字都去掉如果只用字符串的 replace 方法未免太烦琐了这时可以借助sub方法。实例如下
import re
content 54aK54yr5oiR54ix5L2g
content re. sub(\d, , content)
print(content)
运行结果如下 aKyroiRixLg 这里往 sub方法的第一个参数中传入\d以匹配所有的数字往第二个参数中传入把数字替换成的字符串(如果去掉该参数可以赋值为空)第三个参数是原字符串。可以通过sub方法去除掉不需要的节点然后通过findall方法直接提取即可。
11、compile 前面所讲的方法都是用来处理字符串的方法最后再介绍一下 compile 方法这个方法可以将正则字符串编译成正则表达式对象以便在后面的匹配中复用。实例代码如下
import re
content1 2019-12-15 12:00
content2 2019-12-17 12:55
content3 2019-12-22 13:21
pattern re. compile(\d{2}:\d{2})
result1 re. sub(pattern, , content1)
result2 re. sub(pattern, , content2)
result3 re. sub(pattern, , content3)
print(result1, result2, result3)
这个实例里有3个日期我们想分别将这3个日期中的时间去掉这时可以借助sub方法。该方法的第一个参数是正则表达式但是这里没有必要重复写 3 个同样的正则表达式此时就可以借助compile 方法将正则表达式编译成一个正则表达式对象以便复用。运行结果如下
2019-12-15 2019-12-17 2019-12-22 另外, compile 还可以传入修饰符, 例如re. S 等修饰符, 这样在 search、findall 等方法中就不需要额外传了。所以可以说compile 方法是给正则表达式做了一层封装以便我们更好地复用。
