本节主要内容:
学习mongodb中清理collection中大量数据的办法。
方法1,shell for循环清理
每次去连接一下mongo, 进行数据的remove操作。
复制代码 代码示例:
#!/bin/sh
#
#site: www.jb200.com
echo "Begin ..." >> /root/time.log;
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;
for((i=1;i<=100000000;i++));
do
objectid=`/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "printjson(db.tickets.findOne({"date":{$lt:ISODate("2013-01-10T01
:16:33.303Z")}},{"_id":1}))"`;
/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "db.tickets.remove($objectid)";
echo " done " $objectid " " >> /root/tickets.log
done
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;
echo "End ..." >> /root/time.log;
echo " " >> /root/time.log
方法2,mongo shell中 for循环 清理
只连接一次mongo, 在mongo shell中for循环清理。
复制代码 代码示例:
[root@mongo ~]# more t.sh
#!/bin/bash
#
#site: www.jb200.com
echo "Begin ..." >> /root/t.log;
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;
/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin t.js;
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;
echo "End ..." >> /root/t.log;
echo " " >> /root/t.log
[root@mongo ~]#
[root@mongo ~]#
[root@mongo ~]# more t.js
for( var i=1 ; i<=100000000; i++ ) {
var objectid = db.tickets.findOne({date:{$lt:ISODate("2013-01-10T01:16:33.303Z")}},{_id:1});
db.tickets.remove(objectid);
}
总结:
测试发现,方法1速度较慢,清理100G的数据,竟然需要三天。
方法2,速度快,清理100G的数据,用了6个小时,据说有风险,请谨慎使用。