python爬虫如何爬取天气预报表
小编给大家分享一下python爬虫如何爬取天气预报表,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
新县网站制作公司哪家好,找创新互联建站!从网页设计、网站建设、微信开发、APP开发、自适应网站建设等网站项目制作,到程序开发,运营维护。创新互联建站2013年至今到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联建站。
1 构造URL列表
每个月份的历史天气数据是通过一个 Javascript 文件获取的。因此,我们需要构造带爬取数据的 URL 列表,再批量爬取数据。
# 构造2019全年的月份列表 months = [] for year in (2019,): for month in range(12): months.append("%d%02d"%(year, month+1)) todo_urls = [ "http://tianqi.2345.com/t/wea_history/js/"+month+"/58457_"+month+".js" for month in months ]
2 批量下载数据
使用 requests 库获取 js 文件中的数据,并存到 datas 变量中。
import requests datas = [] for url in todo_urls: r = requests.get(url, headers = headers) if r.status_code!=200: raise Exception() # 去除javascript前后的字符串,得到一个js格式的JSON data = r.text.lstrip("var weather_str=").rstrip(";") datas.append(data)
3 解析数据
我们从 js 文件获取的数据 json 格式存储的,需要使用 demjson 对数据进行解析。
# 解析所有月份的数据 all_datas = [] for data in datas: tqInfos = demjson.decode(data)["tqInfo"] all_datas.extend([x for x in tqInfos if len(x)>0])
4 将结果导入 csv 文件
import csv with open('./hangzhou_tianqi_2019.csv', 'w', newline='', encoding='utf-8') as csv_file: writer = csv.writer(csv_file) columns = list(all_datas[0].keys()) writer.writerow(columns) for data in all_datas: writer.writerow([data[column] for column in columns])
5 结果展示
以上是python爬虫如何爬取天气预报表的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
当前题目:python爬虫如何爬取天气预报表
分享地址:http://pwwzsj.com/article/peihoe.html