如何在Linux中使用wget
wget基础
wget
是 Linux 中用于从网络下载文件的命令行工具,支持 HTTP、HTTPS、FTP 等多种协议,它的核心特点是支持断点续传、递归下载、自动化脚本调用等,适用于文件下载、网站镜像、数据备份等场景。
基本用法与核心选项
选项 | 作用 | 示例 |
---|---|---|
-P |
指定下载文件的存储目录(需手动创建) | wget -P /home/user/downloads https://example.com/file.zip |
-O |
将文件保存为指定名称 | wget -O newname.txt https://example.com/oldname.txt |
-c |
断点续传(未完成下载时可恢复) | wget -c https://example.com/largefile.iso |
-b |
后台运行(将任务放入后台) | wget -b https://example.com/file.zip |
-r |
递归下载(下载整个网站或目录) | wget -r https://example.com |
-A |
仅下载指定后缀的文件(如 .jpg ) |
wget -r -A jpg https://example.com |
-R |
排除指定后缀的文件 | wget -r -R gif https://example.com |
--user-agent |
自定义用户代理(模拟浏览器) | wget --user-agent="Mozilla" https://example.com |
--cookies |
加载或保存 Cookie(支持会话管理) | wget --save-cookies cookies.txt https://example.com |
高级功能与实战技巧
-
递归下载与深度控制
- 递归下载网站时,需配合
-l
限制层级深度,避免无限下载:wget -r -l 2 https://example.com # 仅下载首页及链接页面
- 排除不需要的文件类型(如样式表、脚本):
wget -r -R css -R js https://example.com
- 递归下载网站时,需配合
-
断点续传与任务管理
- 若下载中断,直接重新运行命令并添加
-c
:wget -c https://example.com/largefile.iso
- 后台下载任务可通过
ps
或jobs
查看状态:wget -b https://example.com/file.zip tail -f /path/to/download.log # 实时监控日志
- 若下载中断,直接重新运行命令并添加
-
自动化脚本与管道结合
- 在脚本中自动下载并验证文件:
#!/bin/bash wget -q https://example.com/file.zip || { echo "Download failed"; exit 1; } unzip file.zip && rm file.zip
- 结合
grep
过滤下载内容:wget -q https://example.com -O | grep "keyword" > output.txt
- 在脚本中自动下载并验证文件:
-
模拟登录与认证
- 使用
--save-cookies
和--load-cookies
实现会话管理:wget --save-cookies session.cookies https://example.com/login # 登录并保存 Cookie wget --load-cookies session.cookies https://example.com/protected # 访问受保护页面
- 使用
常见问题与解决方案
问题 | 解决方法 |
---|---|
下载速度慢或超时 | 添加 -t 5 重试次数(wget -t 5 url )更换镜像站点或使用 --limit-rate 限制带宽(如 -B 1024k ) |
递归下载导致磁盘空间耗尽 | 使用 -l 限制层级配合 -N 仅更新修改过的文件(断点续传)提前清理无用文件 |
SSL 证书验证失败 | 忽略证书检查(非推荐):--no-check-certificate 更新 CA 证书库或手动信任证书 |
下载文件被重命名或覆盖 | 使用 -O 指定文件名添加时间戳(如 file_$(date +%F).ext ) |
实际应用场景
-
下载服务器日志
wget -P /var/log/server/ https://example.com/logs/latest.log
-
备份网站内容
wget -r -np -k https://example.com/docs/ # -np 禁止父目录,-k 转换链接为本地路径
-
在脚本中自动更新软件包
wget -O /tmp/update.sh https://example.com/update.sh && sh /tmp/update.sh
相关问答FAQs
Q1:wget 和 curl 有什么区别?
A1:
- wget:专注于文件下载,支持断点续传、递归下载、后台任务,适合批量下载和镜像网站。
- curl:轻量级工具,支持更多协议(如 FTP、SMTP、POP3),擅长发送请求和简单的数据交互,但不支持递归下载。
Q2:如何下载中途中断的任务?
A2:
- 重新运行原命令并添加
-c
参数:wget -c https://example.com/largefile.iso
- 若未使用
-c
,可删除部分已下载文件后重启(不推荐)。
通过灵活组合选项,wget
可高效完成复杂下载任务,是 Linux 运维和
原创文章,发布者:酷盾叔,转转请注明出处:https://www.kd.cn/ask/68669.html