平武建站

数据提取时用xpath还是正则表达式呢

这篇文章给大家分享的是有关数据提取时用xpath还是正则表达式呢的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

创新互联建站专注为客户提供全方位的互联网综合服务，包含不限于网站建设、网站设计、麻江网络推广、小程序设计、麻江网络营销、麻江企业策划、麻江品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联建站为所有大学生创业者提供麻江建站搭建服务，24小时服务热线：18980820575，官方网址：www.cdcxhl.com

xpath和正则表达式是数据提取时最常用的两种方法，究竟用哪个好呢？

测试代码如下所示，实验目标是同一HTML文档，分别使用webscrpaing库中的xpath，lxml库中的xpath以及正则表达式提取100次，统计各方法的用时：

view plain copy to clipboard print ?

  1. # coding: utf-8  

  2. # xpath_speed_test.py  

  3.   

  4. import re  

  5. import time  

  6. from lxml import etree  

  7. from webscraping import common, download, xpath  

  8.   

  9. TEST_TIMES = 100  

  10.   

  11. def test():  

  12.     url = 'http://hotels.ctrip.com/international/washington26363'  

  13.     html = download.Download().get(url)  

  14.     html = common.to_unicode(html)  

  15.       

  16.     # 测试webscraping库的xpath提取速度  

  17.     start_time = time.time()  

  18.     for i in range(TEST_TIMES):  

  19.         for hid, hprice in zip(xpath.search(html, '//div[@class="hlist_item"]/@id'), xpath.search(html, '//div[@class="hlist_item_price"]/span')):  

  20.             #print hid, hprice  

  21.             pass  

  22.     end_time = time.time()  

  23.     webscraping_xpath_time_used = end_time - start_time  

  24.     print '"webscraping.xpath" time used: {} seconds.'.format(webscraping_xpath_time_used)  

  25.       

  26.       

  27.     # 测试lxml库xpath提取速度  

  28.     start_time = time.time()  

  29.     for i in range(TEST_TIMES):  

  30.         root = etree.HTML(html)  

  31.         for hlist_div in root.xpath('//div[@class="hlist_item"]'):  

  32.             hid = hlist_div.get('id')  

  33.             hprice = hlist_div.xpath('.//div[@class="hlist_item_price"]/span')[].text  

  34.             #print hid, hprice  

  35.             pass  

  36.     end_time = time.time()  

  37.     lxml_time_used = end_time - start_time  

  38.     print '"lxml" time used: {} seconds.'.format(lxml_time_used)  

  39.       

  40.     # 测试正则表达式的速度  

  41.     start_time = time.time()  

  42.     for i in range(TEST_TIMES):  

  43.         for hid, hprice in zip(re.compile(r'class="hlist_item" id="(\d+)"').findall(html), re.compile(r'¥([\d\.]+)').findall(html)):  

  44.             #print hid, hprice  

  45.             pass  

  46.     end_time = time.time()  

  47.     re_time_used = end_time - start_time  

  48.     print '"re" time used: {} seconds.'.format(re_time_used)  

  49.       

  50.       

  51. if __name__ == '__main__':  

  52.     test()  

运行结果如下：

数据提取时用xpath还是正则表达式呢

view plain copy to clipboard print ?

  1. "webscraping.xpath" time used: 100.677000046 seconds.  

  2. "lxml" time used: 2.09100008011 seconds.  

  3. "re" time used: 0.138999938965 seconds.  

结果很震撼：

  • 正则表达式只用了0.14秒；

  • lxml的xpath用了2.1秒；

  • webscraping的xpath用了101秒！

由于xpath简单而且灵活，我们在爬虫开发的时候一般都会首选，但是通过这个实验发现它的效率远低于正则表达式，尤其是webscrpaing库中的xpath速度更是慢得恐怖。

因此，在我们的爬虫开发过程中，应该首选正则表达式，如果用正则表达式实在难于实现，再考虑xpath，另外，在使用xpath的时候一定要选用高效的库，比如lxml。特别是在数据量特别大的时候，效率显得尤为重要。

感谢各位的阅读！关于“数据提取时用xpath还是正则表达式呢”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！


网站名称：数据提取时用xpath还是正则表达式呢
URL标题：http://pwwzsj.com/article/poddje.html

其他资讯