一个统计子目录大小的shell脚本

发布时间:2019-08-13编辑:脚本学堂
本文介绍下,一个用于统计linux子目录大小的shell脚本,用脚本作数据统计,在linux中太常用了。有需要的朋友,可以参考下这个例子。

脚本如下:
 

复制代码 代码示例:

#/bin/sh
#
# File: totalsize.sh
# Use : show the size of the files and sub directories
#

if [ $# -gt 0 ]
then
echo "Usage: $totalsize.sh (Note: no arguments)"
exit
fi

bgntime=`date +%s`
tmpval=$1
totalsize=0
totalsizedir=0
echo "1) Files"
echo " MB KB File"
echo "--------------"
#NF the nums of fields per row
ls -l $1 |grep -v ^d |sort -n +4 |linuxjishu/13830.html target=_blank class=infotextkey>awk '(NF > 2){totalsize=totalsize+$5;printf "%14.3fM %14.3fK %sn",$5/1024/1024M,$5/1024,$NF} END{ printf "------------Total:%fM-------------",totalsize/1024/1024}'|sed 's:/.*/([^/]{1,})$:1:g'

echo
echo

echo "2) Dirs"
echo " MB KB Directories"
echo "--------"
du $1 --max-depth=1 | sort -n|awk '$2!="." {totalsizedir=totalsizedir+$1;printf "%14.3fM %14.3fK %sn",$1/1024,$1,$2} END{printf "--------------Total: %fM---------------n",totalsizedir/1024 }'|sed 's:/.*/([^/]{1,})$:1:g'

endtime=`date +%s`
echo "Total Time: $(($endtime-$bgntime))s"

shell脚本不熟悉的朋友,可以考虑用linux命令的方法进行统计。

linux查看目录大小及硬盘大小的命令:
 

复制代码 代码示例:
# du -ks   ---in all
# du -k     ---every last
 

du和df命令都被用于获得文件系统大小的信息:df用于报告文件系统的总块数及剩余块数,du -s /用于报告文件系统使用的块数。
但是,从df命令算出的文件系统使用块数的值与通过du命令得出的值是不一致的。
如下例:
 

复制代码 代码示例:
# du -s /tmp

返回如下值:
---12920 /tmp
 

而 df /tmp返回如下值:
Filesystem --512-blocks-- Free --%Used --Iused-- %Iused --mounted on
/dev/hd3 --------57344 --42208--- 26% ----391 ------4% --/tmp


从上面的值可以算出 - = : 57344 - 42208 = 15136. 而15136大于12920。
该值差异的存在,是由于du与df命令实施上的不同:
du -s命令通过将指定文件系统中所有的目录、符号链接和文件使用的块数累加得到该文件系统使用的总块数;
df命令通过查看文件系统磁盘块分配图得出总块数与剩余块数。

文件系统分配其中的一些磁盘块用来记录它自身的一些数据,如i节点,磁盘分布图,间接块,超级块等。
这些数据对大多数用户级的程序来说是不可见的,通常称为Meta Data。

du命令是用户级的程序,它不考虑Meta Data,而df命令则查看文件系统的磁盘分配图并考虑Meta Data。
df命令获得真正的文件系统数据,而du命令只查看文件系统的部分情况。
例如,一个frag=4096 并且 nbpi=4096的空的大小为4MB的日志文件系统中Meta Data的分配情况如下:
 

1 4k block for the LVM
2 4k super blocks
2 4k blocks for disk maps
2 4k blocks for inode maps
2 4k blocks for .indirect
32 4k blocks for inodes
-------------------------
41 4k blocks for meta data on an empty 4MB file system
 

对于AIX 4.X版本:
执行 du /foo返回的结果如下:
 

----8 -------/foo/lost+found
----16 ------/foo

要使du命令输出的结果与df命令输出的结果匹配,我们必须要加上Meta Data。首先,将41个4k的块转换为以512字节为单位的值:
 

41 * 8 = 328
328(meta data) + 16(from du) = 344

所以有344个以512字节为单位的块分配给了这个空的文件系统。
而使用 df /foo命令可以得到下面的结果:
 

Filesystem --512-blocks --Free --%Used --Iused---%Iused --Mounted on
/dev/lv01 ------8192 -----7848 -----5% -----16 -----2% ----/foo

从中可以得到该文件系统使用的块数:8192(total blocks) - 7848(free blocks) = 344。该值与上面得出的值一致。
上面的换算方法对于空的文件系统很容易实现,但是对于非空的文件系统,由于Meta Data中文件间接块的大小不定,因此较难实现。所以不需要查看du 与 df返回的值的匹配关系,而只需要了解du -s命令返回的值反映了分配给文件及目录的磁盘块数,而df命令则反映了文件系统的实际分配情况。

df命令反映的实际情况包含了用户数据(文件及目录)和Meta Data。

例2,
如果用户删除了一个正在运行的应用所打开的某个目录下的文件,则du命令返回的值显示出减去了该文件后的目录的大小。
但df命令并不显示减去该文件后的大小。直到该运行的应用关闭了这个打开的文件,df返回的值才显示出减去了该文件后的文件系统的使用情况。

列出一个目录占用的空间:
1. du或du -s或du -k
  du -S | sort -n 可以迅速发现那个目录是最大的。
2. 用df可以看到已安装的文件系统的空间大小及剩余空间大小。
3. quota -v查看用户的磁盘空间信息,如果你用quota限制了用户空间大小的话。