Linux如何查找大文件并安全清除


这篇文章主要介绍“Linux如何查找大文件并安全清除”,在日常操作中,相信很多人在Linux如何查找大文件并安全清除问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Linux如何查找大文件并安全清除”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!服务线上环境,会出现一些磁盘使用率过高而告警的情况,可能是某个日志文件过大,没有及时清理回收,如何找到大目录和大文件?如何安全的清理大文件?如何使占用的磁盘空间快速释放掉?(这里以当前目录 ./ 为例,统计 top5)【du -k –max-depth=1 ./ |sort -nr|head -n5】(这里以当前目录 ./ 为例,统计 top5)(1)命令详情和说明【du -sk * ./ | sort -nr | head -n5 | awk -F’t’ ‘{if(1024 * 1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024 * 1024) {printf “%.2fTtt %sn”, $1/(1024 * 1024 * 1024), $2} else if(1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024) {printf “%.2fGtt %sn”, $1/(1024 * 1024), $2} else if (1024 * 1024 > $1 && $1 >= 102开发云主机域名4) {printf “%.2fMtt %sn”, $1/1024, $2} else {printf “%sktt %sn”, $1, $2}}’ 】(2)du、head、sort、awk 详细说明参考已有文章附录(3)Linux 中 printf 命令使用参考(1)rm 命令有哪些坑?rm -rf / # 这个命令绝逼不能操作,删除根目录下的文件,就是系统中的所有文件都要被删除。如果是线上服务机器操作了,那就悲剧了!误操作了怎么办?赶快ctrl+c、ctrl+z 能保住多少是多少吧。rm -rf / home/apps/logs/ # 这也是个天坑命令!目的是删除日志文。结果书写时“多了一个空格”的 bug,看懂了么?这就变成了 [rm -rf /] !埋藏隐患的日志清理 shell 脚本!脚本关键内容如下。目的是:进入到日志目录,然后把日志都删除。隐患:当目录不存在时,悲剧就发生了!(2)如何安全使用 rm 命令?在生产环境把 [rm -rf] 命令替换为 [mv],再写个脚本程序定期清理,模拟回收站的功能。把日志清理 shell 脚本,改用逻辑与 && 进行连接。改用逻辑与 && 进行连接,合并成一句,前半句逻辑失败,后半句命令不执行:```shellcd ${log_path} && rm -rf *完整的日志清理 shell 脚本如下:(1)问题情景1 磁盘使用率监控报警,进入机器可以 (df -h) 命令看到磁盘使用率确实超过了报警阀值。2 使用命令查看大目录,并进入到目录下 【du -sk * ./ | sort -nr | head -n5 | awk -F't' '{if(1024 * 1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024 * 1024) {printf "%.2fTtt %sn", $1/(1024 * 1024 * 1024), $2} else if(1024 * 1024 * 1024 > $1 && $1 >= 1024 * 1024) {printf "%.2fGtt %sn", $1/(1024 * 1024), $2} else if (1024 * 1024 > $1 && $1 >= 1024) {printf "%.2fMtt %sn", $1/1024, $2} else {printf "%sktt %sn", $1, $2}}' 】3 依然没找到大文件,该怎么办呢?(2)排查思路1 思考:是不是有文件已经被删除了,但进程还在占用该文件,进程未结束,空间未释放?2 使用「lsof |grep -i deleted」命令查看,能查看到已删除,空间没有释放的文件,包含文件大小,进程和服务名等信息。lsof(List Open Files) 用于查看进程打开的文件,打开文件的进程,进程打开的端口(TCP、UDP),找回/恢复删除的文件。是十分方便的系统监视工具,因为 lsof 命令需要访问核心内存和各种文件,所以需要root 用户权限执行。(3)占用磁盘空间释放重启下进程所指的服开发云主机域名务,占用的磁盘空间即可释放掉。线上生产操作一定要谨慎,不要直接 kill 掉进程,评估看是否有进程服务自身的重启名命令,以及评估服务是否可以重启。(4)备注附录1 当一个文件正在被一个进程使用时,用户删除此文件,文件只会从目录结构中删除,但并没有从磁盘删除。2 当使用这个文件的进程结束后,文件才会真正的从磁盘删除,释放占有的空间。Linux 打开一个文件的时候,内核会为每个进程在 /proc//proc/{nnnn}/fd/文件夹({nnnn} 为 pid)』建立一个以其 pid 为名的文件夹用来保存进程的相关信息,而其子文件夹 fd 保存的是该进程打开的全部文件的 fd(fd:file descriptor)。3 Ctrl + CCtrl + Z都是中断命令。Ctrl + C 是强制中断程序的执行,进程已经终止;Ctrl + Z 是将任务中止(暂停的意思),他仍然在进程中他只是维持挂起的状态。6 生产环境常用的安全清理大文件命令生产环境安全清理大文件的诉求是什么?既要不影响服务的正常运行,又要让磁盘占用的空间快速释放掉(让文件消失掉不是我们的开发云主机域名目的,我们的目的是快速释放掉占用的磁盘空间)。不要使用 「rm -rf xxx.log」;常用 「echo "" > xxx.log」。这里假设 xxx.log 为大文件,如这个 xxx.log 有几十个 GB,「echo "" > xxx.log」是用一个 "" 内容覆盖原文件内容,使磁盘空间得到瞬间释放!到此,关于“Linux如何查找大文件并安全清除”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注开发云网站,小编会继续努力为大家带来更多实用的文章!

相关推荐: linux如何查看jdk是否安装成功

这篇文章主要为大家展示了“linux如何查看jdk是否安装成功”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习开发云主机域名一下“linux如何查看jdk是否安装成功”这篇文章吧。 linux查看j开发云主机域名dk是否安…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 05/06 08:32
下一篇 05/06 08:32

相关推荐