Python如何爬取豆瓣电影和演员评分以及做出可视化图
Python如何爬取豆瓣电影和演员评分以及做出可视化图,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
目前创新互联建站已为数千家的企业提供了网站建设、域名、虚拟主机、网站托管运营、企业网站设计、厦门网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
随着电影行业的蓬勃发展,越来越多的电影出现在了观众的视野中,丰富了大家的生活,好的电影也能让大家在放松自我的同时收获一些对人生的思考。
然而,也有那么一些“烂片”,让大家在看过之后“添堵”,后悔为这种“烂片”贡献票房,白白被收割了“智商税”,今天,我们就用Python来几年那些被烂片收割走的智商税。
数据获取
这次的数据源也是大家的老朋友,被亲切地称之为“马蜂窝”的豆瓣网,现在有很多平台会对电影进行打分,包括了猫眼和淘票票,但是相较之下,豆瓣的评分更加全面,一些冷门的“烂片”只能在豆瓣中被大家挖掘出来。
诚然,豆瓣的评分会存在一些“文艺滤镜”,对文艺片比较宽容,对此我们认为,“豆瓣评分高的不一定是真的高,但是被豆瓣打了低分的是真的低”。此次选择的影片范围是2010年至今的国产影片:
最终获取到了3000多部电影的数据,代码如下:
## 爬取剧集列表,并输出成为excel表格 driver = webdriver.Chrome() driver.maximize_window() driver.close() driver.switch_to_window(driver.window_handles[0]) url = 'https://movie.douban.com/tag/#/?sort=U&range=2,10&tags=%E7%94%B5%E5%BD%B1,2010%E5%B9%B4%E4%BB%A3,%E4%B8%AD%E5%9B%BD%E5%A4%A7%E9%99%86' js='window.open("'+url+'")' driver.execute_script(js) driver.close() driver.switch_to_window(driver.window_handles[0]) while True: try: js="var q=document.documentElement.scrollTop=10000000" driver.execute_script(js) driver.find_element_by_class_name('more').click() time.sleep(2) except: break name = [k.text for k in driver.find_elements_by_class_name('title')] score = [k.text for k in driver.find_elements_by_class_name('rate')] url = [k.get_attribute('href') for k in driver.find_elements_by_class_name('item')] pd.DataFrame({'name':name,'score':score,'url':url}).to_excel('电影名称.xlsx')
整体数据
首先要做的事情就是看一下豆瓣对国产电影的整体打分情况,以此确定之后对“烂片”的划分依据,首先看一下整体评分的柱形图:
可以看到豆瓣用户对国产片还是比较严格,大多数电影都是在6分一下,8分以上的电影可以说是“凤毛麟角”,因此后续对烂片的标准也要相应放低,下面看一下各个将分数向下取整后的统计数量:
唯一一部获得9分的就是18年上映的《我不是药神》,未来也希望能有更多这样的优秀影片,而且这种期望也是有依据的,我们看一下每一年烂片和非烂片的占比:
可以看到在所有的影片中,人气TOP10的影片评分都还是不错,流浪地球,药神和哪吒也都在票房中有非常不错的表现,显然,这不是我们需要,我们下面就来看下烂片和超级烂片中的人气榜:
热烈恭喜《上海堡垒》凭借2.9分的评分和217110的评价数喜提两项人气榜的冠军,《爱情公寓》因为“大忽悠”式的营销也跻身榜单,不知道即将上映的《爱情公寓5》能否为这一系列挽回一些口碑
票房榜
同样,我们来分别看下所有影片、烂片和超级烂片的票房排行,看看究竟是哪些“烂片”在疯狂收割着大家的智商税,首先看一下左右影片的票房榜:
烂片票房榜中的TOP10都超过了2.6亿,大闹天竺和爱情公寓更是分别收获了7.5亿和5.5亿的票房,疯狂收割着大家的智商税,相信未来随着大家对影片要求的提高,疯狂收割智商税的现象会逐渐减少。
评分高的演员就无须赘述了,都是经过了市场和观众的挑战,但是目前还没有一位演员在主演影片数量超过5部之后,分数可以上7,诚然有一部分是因为豆瓣对国产的严格要求,但另一方面也在敦促电影人不断进步
下面看一下评分排在倒数的演员,首先看下BOTTOM10:
由于过多的“跨界”演员出现在了榜单BOTTOM10中,导致很多大家心目中的演员没有上榜,于是我们继续看BOTTOM11-20,这份榜单似乎正常了一点,但是好多更加应该在电视剧中出现的名字也位列其中。
看来电影和电视剧还是有所区别,在电视剧中能够大放异彩的演员未必能在电影中有同样精彩的表现,考虑到电视剧演员们的加入,继续把榜单范围放大到BOTTOM21-30:
看完上述内容,你们掌握Python如何爬取豆瓣电影和演员评分以及做出可视化图的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注创新互联行业资讯频道,感谢各位的阅读!
当前标题:Python如何爬取豆瓣电影和演员评分以及做出可视化图
文章出自:http://pwwzsj.com/article/jeeccc.html