linux下快速删除大量文件与快速复制大量小文件

发布时间:2020-07-30编辑:脚本学堂
本文介绍了在linux中快速删除大量文件与快速复制大量小文件的方法,需要的朋友参考下。

linux操作系统中,如何快速删除大量文件,又如何快速复制大量小文件呢?尤其对数据巨大的小文件的处理,需要一定的技巧。

1)、快速删除大量小文件
一个百万级的cache目录,删了20+分钟只删掉一个目录。
一种巧妙的快速删除方法,原理很简单,使用rsync同步一个空目录即可。对于万级文件的目录基本是秒删,回车即可。

步骤如下:
1、建立一个空目录
 

复制代码 代码示例:
mkdir -p /tmp/rsync_blank

2、确立需要清空的目标目录
/data/ooxx

3、使用rsync同步删除(注意目录后面的“/”),整体效率会快一个数量级的样子。
rsync --delete-before -a -H -v --progress --stats /tmp/rsync_blank/ /data/ooxx/
选项说明:
    –delete-before 接收者在传输之前进行删除操作
    –progress 在传输时显示传输过程
    -a 归档模式,表示以递归方式传输文件,并保持所有文件属性
    -H 保持硬连接的文件
    -v 详细输出模式
    -stats 给出某些文件的传输状态
 
一般不需要显示进度,使用以下命令即可
rsync --delete-before -a -H /tmp/rsync_blank/ /data/ooxx/
这样要删除的 cache目录就会被清空了。

tips: 
当SRC和DEST文件性质不一致时将会报错 
当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件 
当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录 
最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事 
最核心的内容:rsync实际上用的就是替换原理

2)快速复制大量小文件方法
1,在需要对大量小文件进行移动或复制时,用cp、mv都会显得很没有效率,可以用tar先压缩再解压缩的方式。

2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输。

nc和tar可以用来快速的在两台机器之间传输文件和目录,比ftp和scp要来得简单的多。

由于nc是一个超轻量的命令,所以一般busybox都会集成它。当一个linux终端,比如linux pda,

通过usblan的方式连接到另一台linux主机时,这样的嵌入式终端上一般不会集成ftp server, ssh server

这样比较笨重的服务,此时nc可能成为唯一的上传手段。

比如将机器A上的mytest目录上传到到机器 B(192.168.0.11)上,只需要:
在机器B上,用nc来监听一个端口,随便就好,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。
 

复制代码 代码示例:
#nc -l 4444 |tar -C /tmp/dir -zxf -

然后,在A上通过nc和 tar发送test目录,使用一致的4444的端口。
 

复制代码 代码示例:
#tar -zcvf  -  test|nc 192.168.0.11 4444