Python怎么使用正则表达式获取网页中所需要的信息-创新互联
这篇文章主要介绍了Python怎么使用正则表达式获取网页中所需要的信息,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都做网站、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的汝州网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!使用正则表达式的几个步骤:
1、用import re 导入正则表达式模块;
2、用re.compile()函数创建一个Regex对象;
3、用Regex对象的search()或findall()方法,传入想要查找的字符串,返回一个Match对象;
4、调用Match对象的group()方法,返回匹配到的字符串。
在交互式环境中简单尝试一下,查询字符串中的固话:
import re text = '小明家的固话是0755-123456,而小丽家的固话时0789-654321,小王家的电话是123456789'#用于检测的字符串 ph_re = re.compile(r'\d{4}?-\d+') #创建Regex对象,匹配几种电话的方式,\d表示0-9的数字,{4}表示前面的匹配4次,?表示可选,+表示出现1次或多次。 matchs1 = ph_re.findall(text) #findall()表示查找所有匹配项,返回一个字符串 matchs2 = ph_re.search(text)#search(),查找第一次匹配的文本,返回一个对象。 print(matchs1) print(matchs2) matchs2.group()
返回的结果,是这样的:
findall()方法返回的是一个字符串,可以直接打印出来。而search()方法返回的是一个对象,所以打印出来的是是如图的第二行。
调用group(),对象返回匹配的结果。
最后,小王的电话之所以没有匹配到,是因为'-'没有进行可选即在其后加上‘?'。
下面进行一个小的实验,获取某个网页中所有的http/https网址,并计算有多少个。
首先是获取HTML文件。这里要用到requests模块。
# -*- coding: utf-8 -*- import requests import re def get_html(url): res = requests.get(url) res.encoding = 'utf-8' html = res.text return html
这里get_html函数返回的,其实就类似上面例子中的text,用来匹配的文本。
然后,创建正则表达式:
def get_addr(response): addr_regex = re.compile(r'''( (http://|https://)? #http/https (www)? (\.[a-z1-9A-Z]+) (\.com|\.cn) )''',re.VERBOSE)#匹配网址, matchs = [] for groups in addr_regex.findall(response): matchs.append(groups[0]) if len(matchs) == 0: print('没有网址') return matchs
这里向re.compile(),传入变量re.VERBOSE,作为第二个参数,可以将正则表达式放在多行,并进行注释,如上。
返回一个matchs列表对象。
再来个启动函数。
def start(): url = 'http://news.163.com/18/0127/18/D966K4CO0001899N.html' a = get_html(url) b = get_addr(a) print('\n'.join(b)) print(str(len(b))) print('ok') if __name__ == '__main__': start()
这里传入的url是我随意找的一个新闻链接。
然后调用get_html()
和get_addr(),
就得到了想要的东西。str(len(b))
,为统计的数量。
测试的结果是类似这样的:
这里似乎获取一些URL,没什么卵用。。。但是,如果结合前面的查询新闻列表的方式,获取批量url,
而创建的正则是xxx.jpg,然后调用os模块,os.mkdir(folder)、os.chdir(folder),将获取到的匹配结果写入文件,放入某个文件夹。
那么就可以实现,从某些网站上批量获取jpg图片,然后存入某个文件夹的爬虫功能。实测,可行!
感谢你能够认真阅读完这篇文章,希望小编分享的“Python怎么使用正则表达式获取网页中所需要的信息”这篇文章对大家有帮助,同时也希望大家多多支持创新互联成都网站设计公司,关注创新互联成都网站设计公司行业资讯频道,更多相关知识等着你来学习!
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、网站设计器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
分享标题:Python怎么使用正则表达式获取网页中所需要的信息-创新互联
浏览地址:http://pwwzsj.com/article/cspohd.html