为MongoDB服务器配置备份脚本-mongodb配置文件详解

有效管理数据、服务和信息对一个公司的成功至关重要。在数据日益增长的世界里，选择正确的数据管理解决方案比以往更加重要。MongoDB 是一个新兴的开源 NoSQL 数据库，可用于海量数据管理。它提供了高性能、高可用性和易于扩展的特性。数据管理的一个关键要素是定期执行备份，预防数据丢失，而且不应手动完成此项工作。可使用多种不同方法在 MongoDB 中执行备份，但本文只展示了如何使用 mongodump 和 mongorestore 配置和运行备份脚本。

[[202048]]

设置 MongoDB 实例

执行以下步骤，设计可通过 cron 作业自动运行的 MongoDB 备份脚本。可根据业务需求来自定义备份脚本。

备注：要跟随本教程中的步骤进行操作，请创建一个单独的用户(例如名为 mongo 的用户)，在 MongoDB 中执行管理操作。

1、从 MongoDB Download Center 安装 MongoDB。MongoDB 二进制文件位于 /opt/mongodb/mongodb/bin/ 目录中。安装 MongoDB 时使用 root 用户凭证。

2、以 root 用户身份进行登录，然后创建一个组和用户：

# groupadd mongogrp 
# vi /etc/group 
mongogrp:x:1005: 
1.
2.
3.

3、将用户 mongo 添加到刚创建的组 mongogrp 中：

# useradd mongo -d /home/mongo -f -1 -g mongogrp -m 
1.

4、验证是否已创建该用户：

# cd /home 
# ls -l 
drwxr-xr-x 2 mongo mongogrp 4096 Oct 18 07:25 mongo 
vi /etc/passwd 
mongo:x:1005:1005::/home/mongo: 
1.
2.
3.
4.
5.

5、设置用户 mongo 设置密码：

# passwd mongo 
1.

调用 MongoDB shell

1、打开一个新会话并以用户 mongo 登录：

$ sudo su – mongo 
1.

2、找到 MongoDB 安装的 bin 目录：

$ cd /opt/mongodb/mongodb/bin/ 
$ ls 
bsondump mongo mongod mongodump mongoexport mongofiles mongoimport 
mongooplog mongoperf mongorestore mongos mongosniff mongostat mongotop 
1.
2.
3.
4.

3、要运行这些实用程序，bin 目录必须对用户 mongo 具有适当的访问权。使用 root 用户凭证，并为 mongo 用户提供对 bin 目录的适当访问权。

4、验证第 2 步中所示的实用程序是否位于 bin 目录下。

5、调用 MongoDB shell 时有两个选项：一个使用 SSL，一个不使用 SSL。下面给出了两个选项的使用说明。

a、要调用 MongoDB shell，请使用以下选项运行 mongo 命令：

$ ./mongo - - host pre-mongo01.ibmcloud.com - - port 27017 
1.

如果不使用 SSL 调用 MongoDB shell，请使用以下选项运行 mongo

b、命令：

$ ./mongo --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem--sslPEMKeyPassword 
password123 pre-mongo01.ibmcloud.com:27017 
1.
2.

其中：

Certification file :/opt/mongodb/mongodb/cert/mongo.server.trust-certs.pem 
password123 :sslPEMKeyPassword 
port no :27017 
Hostname :pre-mongo01.ibmcloud.com 
1.
2.
3.
4.

备注：在这里，您将获得 MongoDB shell V3.2。现在可以执行各种操作了。

本文使用 SSL 执行 MongoDB 命令和实用程序。

> show dbs 
testdb1 0.800GB 
local 0.000GB 
mydb 0.300GB 
1.
2.
3.
4.

MongoDB 备份和还原功能

要备份 MongoDB 数据库，请使用 mongodump 实用程序，它位于 bin 目录中。这会将所有数据都备份到默认位置 /bin/dump 上的 dump 文件夹中。MongoDB 使用默认端口 27017。可以使用实用程序 mongodump 执行热(在线)和冷(离线)备份。

离线 MongoDB 备份

MongoDB 服务器有一个主要的守护进程，名为 mongod 。 Mongod 管理数据访问、数据请求和后台操作。要执行离线备份，首先要停止 mongod 服务，这会停止 MongoDB 实例。然后，执行备份并启动 MongoDB 实例。

要创建离线 MongoDB 备份，请执行以下操作：

创建一个备份目录。基于 MongoDB 数据库的大小，在各个备份位置创建备份目录。在这里，将备份目录创建为 /mongo_data/backup：

# mkdir /mongo_data/backup  
# ls –l 
1.
2.

2、将所有者更改为用户 mongo ：

# chown -R mongo:mongogrp /mongo_data/backup/  
# ls –l 
1.
2.

3、停止 mongod 实例：

service mongod stop 
1.

4、执行离线备份。首先，以 mongo 用户身份进行登录并找到 bin 目录：

$ pwd 
/opt/mongodb/mongodb/bin 
$./mongodump --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem 
--sslPEMKeyPassword password123 --host pre-mongo01.ibmcloud.com:27017 --out /mongo_data/backup/ 
1.
2.
3.
4.

5、启动 mongod 实例，方法是键入 service mongod start 。

在线 MongoDB 备份

要执行在线备份，请连续运行 mongodump 命令，然后重新启动 mongod 实例。可以使用或不使用 SSL 来运行此命令。两个命令都在下方给出。

要使用 SSL 执行 mongodump 命令，该命令看起来类似于：

$./mongodump --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem 
--sslPEMKeyPassword password123 --host pre-mongo01.ibmcloud.com:27017 --out /mongo_data/backup/ 
1.
2.

要不使用 SSL 执行 mongodump 命令，该命令看起来类似于：

$ ./mongodump -- host pre-mongo01.ibmcloud.com --port 27017 --out /mongo_data/backup/ 
1.

使用 mongodump 执行小型分片集群备份

如果分片集群包含一个小数据集，可以使用 mongodump 连接到 mongos 。

在 MongoDB 分片集群中， mongodump 是处理来自应用层的查询的路由服务。为了执行该操作，它会确定此数据在分片集群中的位置。

如果基础架构可以在合理的时间量内执行完整备份，而且一个存储系统可以保存整个 MongoDB 数据集，那么可以创建 MongoDB 集群备份。默认情况下， mongodump 向非主要节点发出其查询。

要对分片集群执行备份，请使用 mongodump ，如以下命令所示：

$ ./mongodump -- host pre-mongo01.ibmcloud.com --port 27017 
1.

备注：在 mongodump 捕获输出期间，应用程序可以继续修改数据。对于副本集， mongodump 提供了 --oplog 选项，以便包含在执行 mongodump 操作期间生成的输出 oplog 条目。这允许相应的 mongorestore 操作重放捕获到的 oplog。要还原使用 --oplog 创建的备份，请使用 mongorestore 和 --oplogReplay 选项。但是，对于副本集，可以考虑 MongoDB Cloud Manager 或 Ops Manager。

恢复场景

如果知道故障是如何发生的和如何从故障中恢复，那么可以更好地规划和避免故障场景。以下各节将模拟不同类型的故障，并给出在您的环境中出现其中一种故障时可以执行的一系列步骤。

场景 1.整个数据库意外丢弃或受损坏

人为错误或硬件故障可能损害或损坏整个数据库。如果出现这种情况，可以应用 mongodump 的***一次完整备份恢复整个数据库，并使用 mongorestore 实用程序还原它。

在此场景中，我们假设数据库为 testdb1，其中的集合(比如 users 和 students)包含一些记录，如下所示。

第 1 步.验证数据库和集合

a、以 mongo 用户身份进行登录：

$ sudo su – mongo 
1.

b、找到 bin 目录：

$ cd /opt/mongodb/mongodb/bin/ 
1.

c、调用 MongoDB shell：

$ ./mongo --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem --sslPEMKeyPassword password123 pre-mongo01.ibmcloud.com:27017 
1.

d、验证数据库和集合：

> show dbs 
 testdb1 0.800GB 
local 0.000GB 
mydb 0.300GB 
> use testdb1 
switched to db testdb1 
> show collections 
student 
users 
> db.student.find({},{_id:0}) 
{ "rollno" : 1, "name" : "amol", "subject" : "english", "marks" : 90 } 
{ "rollno" : 2, "name" : "rachna", "subject" : "english", "marks" : 85 
    } 
{ "rollno" : 3, "name" : "Bob", "subject" : "english", "marks" : 75 } 
> db.users.find({},{_id:0}) 
{ "name" : "Amol", "age" : 39 } 
{ "name" : "Bob", "age" : 30 } 
{ "name" : "Rachna", "age" : 36 } 
{ "name" : "Aadya", "age" : 3 } 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.

第 2 步.备份整个数据库

使用以下代码备份整个数据库：

$./mongodump --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem --sslPEMKeyPassword password123 --host pre-mongo01.ibmcloud.com:27017 –db testdb1 --out /mongo_data/backup/ 
 
2017-01-24T04:14:07.252-0500 writing testdb1.student to 
2017-01-24T04:14:07.253-0500 writing testdb1.users to 
2017-01-24T04:14:07.254-0500 done dumping testdb1.student (3 documents) 
2017-01-24T04:14:07.254-0500 done dumping testdb1.users (3 documents) 
1.
2.
3.
4.
5.
6.

第 3 步.模拟故障

要模拟故障场景，需要完全丢弃数据库。

a、连接到数据库：

> use testdb1 
switched to db mydb 
1.
2.

b、验证集合：

> show collections 
student 
users 
1.
2.
3.

c、验证当前数据库：

> db 
testdb1 
1.
2.

d、丢弃数据库：

> db.dropDatabase() 
{ "dropped" : "testdb1", "ok" : 1 } 
1.
2.

第 4 步.还原数据库 testdb1

使用实用程序 mongorestore 还原备份镜像，如下所示。在此示例中，还原的***备份镜像位于备份位置 /mongo_data/backup/testdb1 。

$ ./mongorestore --ssl --sslCAFile 
../cert/mongo.server.trust-certs.pem --sslPEMKeyPassword password123 --host 
pre-mongo01.ibmcloud.com:27017 --db testdb1 /mongo_data/backup/testdb1 
1.
2.
3.

第 5 步.验证数据库和集合

要验证数据库是否已还原，请连接到数据库并查询集合：

> show dbs 
testdb1 0.800GB 
local 0.000GB 
mydb 0.300GB 
> use testdb1 
switched to db testdb1 
> show collections 
student 
users 
> db.student.find({},{_id:0}) 
> db.users.find({},{_id:0}) 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

场景 2.意外丢弃某个集合

有时，尤其是在数据库中有成千上万个集合时，可能会意外丢弃某个集合。要恢复意外丢弃的集合，需要使用备份位置上该集合(例如 collection.name.bson )的***备份。在此场景中，我将介绍如何使用集合 student 执行这些功能，该集合遭到丢弃并使用 mongorestore 实用程序还原它。

第 1 步.验证集合

使用以下代码验证集合：

> use testdb1 
switched to db testdb1 
> show collections 
student 
users 
> db.student.find({},{_id:0}) 
{ "rollno" : 1, "name" : "amol", "subject" : "english", "marks" : 90 } 
{ "rollno" : 2, "name" : "rachna", "subject" : "english", "marks" : 85 
} 
{ "rollno" : 3, "name" : "Bob", "subject" : "english", "marks" : 75 } 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

第 2 步.备份集合

仅在集合级别上执行备份：

$./mongodump --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem--sslPEMKeyPassword password123 
--host pre-mongo01.ibmcloud.com:27017 –db testdb1 --collection student --out /mongo_data/backup 
1.
2.

备注：确保在备份位置(例如 mongo_data/backup)上创建了一个文件 student.bson。

第 3 步.模拟故障

要模拟此故障，可完全丢弃该集合。

a、连接到数据库：

> use testdb1  
switched to db testdb1 
1.
2.

b、丢弃集合：

> db.student.drop()  
true 
1.
2.

c、验证内容是否已丢弃：

> db.student.find({},{name:1,age:1,_id:0}) 
1.

第 4 步.还原集合

$./mongorestore --ssl --sslCAFile 
../cert/mongo.server.trust-certs.pem --sslPEMKeyPassword 
password123 --host pre-mongo01.ibmcloud.com:27017 --db mydb --collection student 
/mongo_data/backup/testdb1/student.bson 
1.
2.
3.
4.

备注：可以使用 mongodump 执行数据库级备份，如有需要，可以仅从备份目录还原所需的集合。

第 5 步.验证集合

要验证集合是否已还原，请连接到数据库并查询该集合：

> use testdb1 
switched to db testdb1 
 
> show collections 
student 
users 
 
> db.student.find({},{_id:0}) 
{ "rollno" : 1, "name" : "amol", "subject" : "english", "marks" : 90 } 
{ "rollno" : 2, "name" : "rachna", "subject" : "english", "marks" : 85 
} 
{ "rollno" : 3, "name" : "Bob", "subject" : "english", "marks" : 75 } 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

使用一个 crob 作业创建和运行备份脚本

要根据业务需求设置备份策略，需要设置自定义的备份脚本： run_backup.sh 。还需要设置一个 cron 作业来运行此备份。

创建备份脚本

下面的样本备份脚本 run_backup.sh 基于以下条件。

该脚本首先从备份位置删除超过 30 天的备份镜像。它在备份位置对所有数据库执行每日备份。
然后该脚本向日志文件 backup.log 写入注释，表明备份操作删除了哪些内容以及执行备份的时间。默认情况下， mongodump 不会捕获本地数据库的内容。如有需要，应该单独添加它。要使用应用程序名称唯一地标识各个数据库备份，必须在备份脚本中定义一些参数。下一节将展示此操作。

创建一个备份目录

以 root 用户身份进行登录：

# mkdir /mongo_data/backup 
1.

将所有者更改为 mongo 用户：

# chown -R mongo:mongogrp /mongo_data/backup 
1.

以 mongo 用户身份进行登录：

mongo@pre-mongo01 
$pwd 
/mongo_data/backup 
1.
2.
3.

创建备份脚本：

mongo@pre-mongo01:/mongo_data/backup$ vi run_backup.sh 
1.

以下代码给出了备份脚本的样本内容：

#/bin/bash 
cd /opt/mongodb/mongodb/bin/ 
echo `date` >>/mongo_data/backup/backup.log 
APP_NAME="app1" 
MONGO_HOST="pre-mongo01.ibmcloud.com" 
MONGO_PORT="27017" 
TIMESTAMP=`date +%F-%H%M` 
MONGODUMP_PATH="/opt/mongodb/mongodb/bin/mongodump" 
BACKUPS_DIR="/mongo_data/backup/$APP_NAME-$TIMESTAMP" 
BACKUP_NAME="/mongo_data/backup/$APP_NAME-$TIMESTAMP" 
mkdir -p $BACKUPS_DIR 
cd /opt/mongodb/mongodb/bin/ 
#Delete all backups older than 30 days from /mongo_data/backup 
echo "Deleting following backup files older than 30 days:" >> 
    /mongo_data/backup/backup.log 
find /mongo_data/backup/ -type d -name 'app1-*' -mtime +30 >> 
    /mongo_data/backup/backup.log 
find /mongo_data/backup/ -type d -name 'app1-*' -mtime +30 -exec rm -rf {} 
    + 
#Run the daily backup 'local' database only. 
for databaseName in local 
do 
echo "Starting daily backup of $databaseName ...." >> 
    /mongo_data/backup/backup.log 
./mongodump --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem 
    --sslPEMKeyPassword password123 --host pre-mongo01.ibmcloud.com:27017 --db 
    $databaseName >>/mongo_data/backup/backup.log 
#Run the daily backup of remaining databases. 
echo "Starting daily backup of all databases...." >> 
    /mongo_data/backup/backup.log 
./mongodump --ssl --sslCAFile ../cert/mongo.server.trust-certs.pem 
    --sslPEMKeyPassword password123 --host pre-mongo01.ibmcloud.com:27017 
    >>/mongo_data/backup/backup.log 
if [ $? != 0 ]; then 
echo "Failed to make backup of $databaseName on `date +%F_%T`"|mailx -s 
    "MongoDB backup failed" amolbarsagade@in.ibm.com 
fi 
done 
mv /opt/mongodb/mongodb/bin/dump $BACKUP_NAME 
echo `date` >> /mongo_data/backup/backup.log 
echo "End of backup run" >> /mongo_data/backup/backup.log 
echo "----------------------------------" >> 
    /mongo_data/backup/backup.log 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.

授予权限

保存该文件并向它授予 755 权限：

mongo@pre-mongo01:/mongo_data/backup$ chmod 755 run_backup.sh 
1.

创建一个 cron 作业来运行备份脚本

在 mongo_data/backup 位置创建一个名为 mycron.txt 的新 cron 作业，并根据备份策略来调度它。

以 mongo 用户身份进行登录：

mongo@pre-mongo01 
:/mongo_data/backup$ pwd 
/mongo_data/backup 
1.
2.
3.

检查 mongo 用户的现有 cron 作业：

mongo@pre-mongo01:/mongo_data/backup$ crontab -l 
no crontab for mongo 
1.
2.

创建一个新 cron 作业：

mongo@pre-mongo01:/mongo_data/backup$ vi mycron.txt 
1.

根据备份策略添加运行此 crob 作业的备份时间表。例如：

30 02 * * * /mongo_data/backup/run_backup.sh >> /mongo_data/backup/run_backup.sh.out 
1.

设置 cron 作业并验证它：

mongo@pre-mongo01:/mongo_data/backup$ crontab mycron.txt 
mongo@pre-mongo01:/mongo_data/backup$ crontab -l 
30 02 * * * /mongo_data/backup/run_backup.sh >> 
/mongo_data/backup/run_backup.sh.out 
1.
2.
3.
4.

结束语

您已为 MongoDB 数据库服务器配置并运行了备份脚本，并更好地了解了如何使用 mongodump 和 mongorestore 实用程序执行备份和还原。您使用一个 cron 作业调度并运行了备份脚本。可以使用该备份脚本来调度、维护和管理 MongoDB 数据库服务器的备份。