Python爬虫之利用Github搜索资源的方法
小编给大家分享一下Python爬虫之利用Github搜索资源的方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
成都创新互联成都网站建设按需求定制开发,是成都网站开发公司,为效果图设计提供网站建设服务,有成熟的网站定制合作流程,提供网站定制设计服务:原型图制作、网站创意设计、前端HTML5制作、后台程序开发等。成都网站推广热线:028-86922220
这段时间以来,我发现大家都把Github挂在嘴上,但是不少人其实并不会用Github。具体怎么说呢,比方说实现某些简单的功能的时候,自己可能需要花2-3小时去实现,那么大家愿意自己去实现。
具体一些,比方说我以前写一个简单的爬虫采集大众点评的一些数据的时候,我可能需要花时间去了解网站结构然后写爬虫,写下来没个半天不行。但是这种网站你上Github搜索「大众点评爬虫」或者「dazhongdianping」等等关键词。你会发发现有一堆的爬虫项目,你直接拿来稍微改一下就能用了。
这个直接能节省你半天甚至一天的时间,你可以节省这一天的时间用在更有意义的事情上面,比如说做深入的挖掘分析。
我们很多搞技术的人经常会陷入所有事情都要亲自干的这种误区。但记住并不是所有事情都要亲力亲为的,有时候只是浪费时间。比你成功的人通常不会重复造轮子,而是会利用资源。
在利用Github搜索资源的时候其实也是有一些小技巧的。也不能称之为技巧,但你往下看肯定是让你非常受益的。
1、awesome + xx
awesome这个单词表示的棒极了一类意思,如果你在Github中搜索awesome + xxxg关键词,你就能搜索这个关键词的资源大全,比方说:
awesome python
awesome go
awesome linux
你就会发现关于这些东西的学习资料真的是一大堆一大堆的。无论是书籍资源,库资源,还是学习视频、学习笔记,应有尽有。会了这个技能你再也不用到处求学习资源了。
2、功能 + 网站
我在上面举了个例子。比方说当你想采集某个网站的时候,你可以在Github里面搜「网站名称 +Scrapy」,如果搜不到可以搜「网站名称+采集」,还可以搜「网站名称+Python」等等。
如果你想做一个仿大众点评的App,那么你在Github上搜「仿大众点评」,你就能快速找到别人做的一个大众点评项目,拿来几乎可以直接用了,想一想这节省了你多少时间?
有时候你找不到,可能仅仅是你关键词弄得不对,记得换一换关键词,比如说英文搜索,拼音搜索,大多时候就能搜到了。
3、接口
大家在开发调用一些数据接口查询的时候,个人开发者一般来说都有一些调用的限制,必须要成为企业或者付费才能调高这些限制。
比如说百度的地图的路线规划API,普通开发者的Key一天只能调用2000次,而且并发只有20次,这个数量肯定不够,但是我们个人开发者又不愿意花钱去搞这件事情,怎么办呢?
我们看到这个接口调用是这样调用的,只要在最后写上开发者的AK就行了,所以我们把这个网址中不是自定义的内容直接拿到Github里面搜就可以了。全是你想要的东西。
其实类似的操作很多的,比方说搜数据库的密码。你想想在开发的过程中哪些东西是约定俗成不会变的,你在GitHub中就能搜索到了。当然并没有让你去干坏事撒。
类似的小技巧其实挺多的,Github其实真是一个藏宝的地方,关键是你会不会用。要会发挥想象力,多想多动手,千万不要不想只动手。
以上是Python爬虫之利用Github搜索资源的方法的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
本文名称:Python爬虫之利用Github搜索资源的方法
浏览路径:http://pwwzsj.com/article/ppsdsi.html