linux下快速删除大量小文件的方法详解

发布时间:2020-04-14编辑:脚本学堂
本文介绍下,如何在linux中快速删除大量小文件的方法,有需要的朋友不妨参考下哦。

linux系统中,删除少量的文件,可以使用rm -rf *。
如果需要删除成千上万的,且目录层级较深的文件时,使用这个方法就不灵了,会比较消耗资源的。

此时,可以使用linux系统命令rsync来巧妙的处理
rsync实际上用的是替换原理,处理数十万个文件也是秒删

1. rsync安装
有些系统中,默认已经安装了。
 

Ubuntu系统:sudo apt-get install rsync
Fedora 系统:sudo yum install rsync

源码安装的话,请到:http://rsync.samba.org 下载源码软件包。

2. rsync的一些跟删除有关的参数
rsync --help | grep delete
    --del                                an alias for --delete-during
    --delete                          delete extraneous files from destination dirs
    --delete-before            receiver deletes before transfer, not during
    --delete-during            receiver deletes during transfer (default)
    --delete-delay              find deletions during, delete after
    --delete-after                receiver deletes after transfer, not during
    --delete-excluded        also delete excluded files from destination dirs
    --ignore-errors            delete even if there are I/O errors
    --max-delete=NUM    don't delete more than NUM files
其中--delete-before接收者在传输之前进行删除操作

3. 来看具体的删除示例
清空目录或文件,如下:
1、先建立一个空目录
 

复制代码 代码示例:
mkdir /data/blank

2、用rsync删除目标目录
 

复制代码 代码示例:
rsync --delete-before -d -a -H -v --progress --stats /data/blank/ /var/edatacache/

rsync --delete-before -d /data/blank/ /var/edatacache/

这样/var/edatacache目录就被快速的清空了。

选项说明:
 

–delete-before 接收者在传输之前进行删除操作
–progress          在传输时显示传输过程
-a                      归档模式,表示以递归方式传输文件,并保持所有文件属性
-H                      保持硬连接的文件
-v                      详细输出模式
–stats                给出某些文件的传输状态
-d                      transfer directories without recursing

3、删除大文件
假如需要删除/root/下一个几十G甚至上百G的文件data,可以按如下的步骤:
1,创建一个空文件
  

复制代码 代码示例:
  touch /root/empty
 

2,用rsync清空/root/data文件
 

复制代码 代码示例:
    rsync --delete-before -d --progess --stats /root/empty /root/data

注意:
 

当SRC和DEST文件性质不一致时将会报错
当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件
当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录

就介绍这么多了,使用rsync可以轻松删除linux中的大文件,以后再也不用担心大文件难以删除的问题了。