scrapy数据存储在mysql数据库的方式是什么
scrapy数据存储在MySQL数据库的方式是什么,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
为灵台等地区用户提供了全套网页设计制作服务,及灵台网站建设行业解决方案。主营业务为成都做网站、成都网站制作、灵台网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
这篇文章主要介绍了scrapy数据存储在mysql数据库的两种方式(同步和异步),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
方法一:同步操作
1.pipelines.py文件(处理数据的python文件)
import pymysqlclass LvyouPipeline(object):def __init__(self):# connection databaseself.connect = pymysql.connect(host='XXX', user='root', passwd='XXX', db='scrapy_test') # 后面三个依次是数据库连接名、数据库密码、数据库名称# get cursorself.cursor = self.connect.cursor()print("连接数据库成功")def process_item(self, item, spider):# sql语句insert_sql = """insert into lvyou(name1, address, grade, score, price) VALUES (%s,%s,%s,%s,%s)"""# 执行插入数据到数据库操作self.cursor.execute(insert_sql, (item['Name'], item['Address'], item['Grade'], item['Score'],item['Price']))# 提交,不进行提交无法保存到数据库self.connect.commit()def close_spider(self, spider):# 关闭游标和连接self.cursor.close()self.connect.close()
2.配置文件中
方式二 异步储存
pipelines.py文件:
通过twisted实现数据库异步插入,twisted模块提供了 twisted.enterprise.adbapi
1. 导入adbapi。
2. 生成数据库连接池。
3. 执行数据数据库插入操作。
4. 打印错误信息,并排错。
import pymysqlfrom twisted.enterprise import adbapi# 异步更新操作class LvyouPipeline(object):def __init__(self, dbpool):self.dbpool = dbpool@classmethoddef from_settings(cls, settings): # 函数名固定,会被scrapy调用,直接可用settings的值"""数据库建立连接:param settings: 配置参数:return: 实例化参数"""adbparams = dict(host=settings['MYSQL_HOST'],db=settings['MYSQL_DBNAME'],user=settings['MYSQL_USER'],password=settings['MYSQL_PASSWORD'],cursorclass=pymysql.cursors.DictCursor # 指定cursor类型)# 连接数据池ConnectionPool,使用pymysql或者Mysqldb连接dbpool = adbapi.ConnectionPool('pymysql', **adbparams)# 返回实例化参数return cls(dbpool)def process_item(self, item, spider):"""使用twisted将MySQL插入变成异步执行。通过连接池执行具体的sql操作,返回一个对象"""query = self.dbpool.runInteraction(self.do_insert, item) # 指定操作方法和操作数据# 添加异常处理query.addCallback(self.handle_error) # 处理异常def do_insert(self, cursor, item):# 对数据库进行插入操作,并不需要commit,twisted会自动commitinsert_sql = """insert into lvyou(name1, address, grade, score, price) VALUES (%s,%s,%s,%s,%s)"""self.cursor.execute(insert_sql, (item['Name'], item['Address'], item['Grade'], item['Score'],item['Price']))def handle_error(self, failure):if failure:# 打印错误信息print(failure)
注意:
1、python 3.x 不再支持MySQLdb,它在py3的替代品是: import pymysql。
2、报错pymysql.err.ProgrammingError: (1064, ……
原因:当item['quotes']里面含有引号时,可能会报上述错误。
解决办法:使用pymysql.escape_string()方法。
例如:
sql = """INSERT INTO video_info(video_id, title) VALUES("%s","%s")""" %(video_info["id"],pymysql.escape_string(video_info["title"]))
3、存在中文的时候,连接需要添加charset='utf8',否则中文显示乱码。
4、每执行一次爬虫,就会将数据追加到数据库中,如果多次的测试爬虫,就会导致相同的数据不断累积,怎么实现增量爬取?
scrapy-deltafetch
scrapy-crawl-once(与1不同的是存储的数据库不同)
scrapy-redis
scrapy-redis-bloomfilter(3的增强版,存储更多的url,查询更快)
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。
本文题目:scrapy数据存储在mysql数据库的方式是什么
文章源于:http://pwwzsj.com/article/ipogps.html