shell脚本(5)一团乱麻?没这回事

1、wget命令行下载工具

基本用法
wget URL
参数
wget ftp://example_domain.com/somefile.img -O dloaded_file.img -o log :-O选项指定输出文件名,如果存在同名的文件会覆盖该文件;-o选项指定日志文件
wget -t 5 URL //-t选项指定重试次数,重试5次
wget -t 0 URL //不停的重试
wget --limit-rate 20k http://example.com/file.iso :--limit-rate选项下载限速
wget -Q 100m http://example.com/file1 http://example.com/file2 :-Q选项指定最大下载配额
wget -c URL : -c选项断点续传
wget --user username --password pass URL: --user/--password选项访问需要认证的HTTP或FTP页面
--ask-password: 可以不在命令行中指定密码,而由网页提供并手动输入密码。

2、curl入门

描述
作为一款强力工具,curl支持包括HTTP,HTTPS,FTP在内的众多协议。它还支持POST,cookie,认证,从指定偏移处下载部分文件,参照页(referer),用户代理字符串,扩展头部,限速,文件大小限制,进度条等特性。
基本用法
curl URL
参数
--silent: 不打印输出日志
curl URL --silent
curl URL --silent -O :选项-O表明下载数据写入文件,而非标准输出中。该文件采用的是从URL中解析出的文件名
curl http://slynux.org -o index.html --progress : -o指定下载文件名,--progress显示下载进度
大小o选项同wget命令的用作不太一样,wget中大O指定下载的文件名,小o指定日志文件
curl URL/file -C offset : -C选项表示断点续传
curl -C - URL :curl会推断出正确的断点位置下载文件
curl --referer Referer_URL target_URL : --referer设置参照页字符串
从A网页打开一个链接进入B网页,B网页可以通过referer参数知道自己的上一个网页是谁,这里的referer就是A网页,比如我们知道B网页是来自google,就可以在B网页加上一个google的logo。
curl --referer http://google.com http://slynux.org
curl http://example.com --cookie "user=slynux;pass=hack" : --cookie选项指定cookie,cookie包含在双引号中,以key=value的形式,多组key=value以分号隔开
curl URL --user-agent "Mozilla/5.0" : --user-agent选项指定userAgent
curl -H "Host:www.slynux.org" -H "Accept-language: en" URL :-H选项可以设置HTTP请求header的参数信息
curl URL --limit-rate 20k :--limit-rate选项设置下载速度,同wget
curl URL --max-filesize bytes: --max-filesize选项指定可下载的最大文件大小,同wget的-Q选项
curl -u user:pass http://test_auth.com : -u选项用于用户认证,同wget的--user/--password
curl -u user http://test_auth.com : 提示后输入密码,同wget的--ask-password
curl -I http://slynux.org : -I选项只打印响应头部信息(不包括数据部分)

转载于:https://www.jianshu.com/p/25d41f979f4e

猜你喜欢

转载自blog.csdn.net/weixin_34249678/article/details/91186376