python简单爬虫笔记-创新互联
python模拟游览器爬取相关页面
在乳源等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站制作、成都做网站、外贸营销网站建设 网站设计制作按需求定制设计,公司网站建设,企业网站建设,品牌网站设计,网络营销推广,成都外贸网站建设公司,乳源网站建设费用合理。import urllib.request
url="https://blog.51cto.com/itstyle/2146899"
#模拟浏览器
headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36")
opener=urllib.request.build_opener()
opener.addheaders=[headers]
data=opener.open(url).read()
fh=open("D:/5.html","wb")
fh.write(data)
fh.close()
python爬取新闻网站并将文章下载到本地
import urllib.request
import urllib.error
import re
data=urllib.request.urlopen("http://news.sina.com.cn/").read()
data2=data.decode("utf-8","ignore")
pat='href="(http://news.sina.com.cn/.*?)">'
allurl=re.compile(pat).findall(data2)
for i in range(0,len(allurl)):
try:
print("第"+str(i+1)+"次爬取")
thisurl=allurl[i]
file="D:/pac/sinanews/"+str(i)+".html"
urllib.request.urlretrieve(thisurl,file)
print("-----成功-----")
except urllib.error.URLError as e:
if hasattr(e,"code"):
print(e.code)
if hasattr(e,"reason"):
print(e.reason)
python爬取月光博客文章下载到本地
import re
import urllib.request
import urllib.error
data=urllib.request.urlopen("http://www.williamlong.info/").read()
pat='rel="bookmark">(.*?)'
pat_url='class="post-title">
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
分享题目:python简单爬虫笔记-创新互联
网站地址:http://pwwzsj.com/article/jojds.html