清理mongodb collection中大量数据的二种办法

发布时间:2020-04-09编辑:脚本学堂
分享下在mongodb数据库中,清理collection中大量数据的两种办法,用shell脚本来实现清理,有需要的朋友参考下。

本节主要内容:
学习mongodb中清理collection中大量数据的办法。

方法1,shell for循环清理
每次去连接一下mongo, 进行数据的remove操作。
 

复制代码 代码示例:
#!/bin/sh
#
#site: www.jb200.com
echo "Begin ..." >> /root/time.log; 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log; 
 
for((i=1;i<=100000000;i++));  
do  
 objectid=`/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "printjson(db.tickets.findOne({"date":{$lt:ISODate("2013-01-10T01 
:16:33.303Z")}},{"_id":1}))"`; 
  /usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "db.tickets.remove($objectid)"; 
  echo " done " $objectid "  " >> /root/tickets.log 
done 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log; 
echo "End ..." >> /root/time.log; 
echo " " >> /root/time.log 

方法2,mongo shell中 for循环 清理
只连接一次mongo, 在mongo shell中for循环清理。
 

复制代码 代码示例:
[root@mongo ~]# more t.sh 
#!/bin/bash
#
#site: www.jb200.com
echo "Begin ..." >> /root/t.log; 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log; 
 
/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin t.js; 
 
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log; 
echo "End ..." >> /root/t.log; 
echo " " >> /root/t.log 
[root@mongo ~]#  
[root@mongo ~]#  
[root@mongo ~]# more t.js 
for( var i=1 ; i<=100000000; i++ ) { 
        var objectid = db.tickets.findOne({date:{$lt:ISODate("2013-01-10T01:16:33.303Z")}},{_id:1});  
        db.tickets.remove(objectid); 

总结:
测试发现,方法1速度较慢,清理100G的数据,竟然需要三天。
方法2,速度快,清理100G的数据,用了6个小时,据说有风险,请谨慎使用。