curl命令和wget命令
curl:
curl 是强大的URL传输工具,这个命令最常用的功能就是通过命令行发送http请求以及下载文件,比如模拟refer(从那个页面跳转过来)、cookie、agent(使用什么浏览器)等,同时还能够模拟表单数据。
在望谟等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都做网站、成都网站制作 网站设计制作定制网站建设,公司网站建设,企业网站建设,成都品牌网站建设,营销型网站,外贸网站制作,望谟网站建设费用合理。
curl命令选项:
-i: 显示头部信息
-I:只显示头部信息,不显示正文
-X:指定请求方法,比如GET\POST等
--from:模拟表单,利用这个参数可以上传文件、模拟点击按钮等
-A:指定用户代理,比如Mozilla/4.0
-b:设置cookie
-c:指定cookie文件
-e:指定referer,有些网址必须从某个页面跳转过去
--header:设置请求头部信息
--user:有些页面需要http认证,传递name:passwd认证
curl -X POST -d "*****"
使用重定向“>” 符号将输出重定向到本地文件中
curl http://www.jd.com >index.html
也可以通过curl自带的-o/-O选项将内容保存到文件中
-o(小写的o):结果被保存到命令行中提供的文件名
curl -o index.html http://www.jd.com
-O(大写的O):URL中的文件名会被用作保存文件到本地
curl /upload/otherpic68/2481 -O
续传:当文件下载之前结束该进程,通过日俺家-C选项继续对该文件进行下载,已下载的文件不会被重复下载。
--limit-rate: 对curl限速
curl --limit-rate 1024B http://www.jd.com
对文件的最后修改时间进行判断,如果该文件在指定日期内修改过,就进行下载,否则不下载,该功能通过-z实现:比如若a.html文件在2019/12/28之后有过更新才会进行下载。
curl -z 21-Dec-18 http://www.a.com/a.html
当通过浏览器打开链接是,会自动跳转http://www.jd.com 此时我们想要curl做的像浏览器一样跟随链接的跳转,获取最终的网页内容。可以在命令中添加-L选项来跟随衔接重定向。
curl -L http://www.jd.com
wget命令
wget是一个文件下载工具,他用在命令行下,支持断点下载功能,同时支持ftp和http下载方式。支持代理服务器和设置起来方便简单。
wget -c:断点续传使用
wget -b:后台下载
wget --spider URL :测试下载链接是否有效
wget ftp-url :使用wget完成ftp链接的下载,匿名ftp下载类似于http下载
wget --ftp-user=name --ftp-password=passwd url:使用wget用户名和密码认证的ftp下载
wget -Q:限制总下载文件大下
下载文件超过10MB而退出下载
wget -Q10m -i iso_limit.txt
下载单个文件:
wget http://www.jd.com/a.iso
当下载的文件名太长不方便运维人员操作,可以自定义文件名,可以使用”-O“来指定一个文件名:
wget -O Centos-7.iso http://www.jd.com/a.iso
把下载信息存入到日志:wget -o
wget -o a.log URL
使用--limit-rate限速下载:
wget -O Centos-7.iso --limit-rate=600k http://www.jd.com/a.iso
使用wget做网站镜像:
wget --mirror -p --convert-links -p ./local url
--mirror :设置这个参数用来建设本地镜像
-p:下载所有html文件适合显示的元素
--convert-links:下载完成之后,将文档链接都转换成本地的
-P ./local :保存所有的文件和目录到指定文件夹下
下载站点时,不打算下载gif动画图片
wget --reject=gif url
网站栏目:curl命令和wget命令
URL链接:http://pwwzsj.com/article/pogdce.html