MongoDB 主从复制实例讲解

发布于 2016-10-25 10:06:13 | 182 次阅读 | 评论: 0 | 来源: 网友投递

MongoDB 分布式文件存储的数据库

MongoDB 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

这篇文章主要介绍了MongoDB 主从复制实例讲解，主从复制可以用来数据库备份，故障恢复，读写分离，有兴趣的小伙伴可以参考下本文

主从复制可以用来做数据库的备份，故障恢复，读写分离。

本实验使用Mongodb 3.2版本，我们先查看一下mongod的帮助


[root@localhost mongodb]# mongod --help
.....省略
Master/slave options (old; use replica sets instead):
 --master               master mode
 --slave                slave mode
 --source arg             when slave: specify master as 
                    <server:port>
 --only arg              when slave: specify a single database 
                    to replicate
 --slavedelay arg           specify delay (in seconds) to be used 
                    when applying master ops to slave
 --autoresync             automatically resync if slave data is 
                    stale
.....省略

主从复制已经是过期的功能，目前使用副本集代替。主从复制和副本集的区别，可以简单的理解成主从复制不能自动故障转移，副本集中的集群在主节点宕机后，可以使用选举的策略选择一个新的主节点出来。实现自动的故障转移。

从节点可以是一个，也可以是多个。

下面我们在一台机器上，使用两个实例的方式实现主从复制。

建立数据库目录

[root@localhost data]# mkdir -p /application/mongodb/data/{master,slave}

2. 启动master实例

[root@localhost data]# mongod --dbpath=/application/mongodb/data/master/ --port 27017 --master

--master 指定该实例是主服务器。

3. 启动从实例

[root@localhost ~]# mongod --dbpath=/application/mongodb/data/slave/ --port 27018 --slave --source 127.0.0.1:27017

--slave 指定该实例为从服务器
--source 指定主服务器是谁？

从服务器启动后，即不断的想主服务器请求同步数据


2016-01-16T10:30:10.208+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:11.210+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:12.211+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:14.196+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:15.197+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:16.199+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:17.202+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:18.204+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:19.207+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:30:20.209+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017

至此，主从复制已经配置完成，就是这么的简单。

对于从服务器，还有三个参数需要解释一下。

--only arg

从节点指定只复制某个特定的数据库(默认复制所有数据库)

--slavedelay arg

指定从服务器延迟多久时间再同步，此选项在主服务器发生人为操作失误时，比较有用。发现错误时，从服务器还没有同步错误。这样可以避免错误的发生。

--autoresync

如果从节点的数据与主节点发生断裂（某些oplog中的数据还未被同步，即被覆盖了），那么该选项将是从节点自动的从新从头开始同步数据库。

下面我们验证一下，数据的同步是否有效。
在主库中插入数据。


[root@localhost ~]# mongo 127.0.0.1:27017
MongoDB shell version: 3.2.1
connecting to: 127.0.0.1:27017/test
> db.user.insert({"name":"jack","age":40,"job":"moive star"})
WriteResult({ "nInserted" : 1 })
> db.user.insert({"name":"vicent","age":25,"job":"teacher"})
WriteResult({ "nInserted" : 1 })

登录从数据库，检查数据是否同步


[root@localhost ~]# mongo 127.0.0.1:27018
MongoDB shell version: 3.2.1
connecting to: 127.0.0.1:27018/test
> > db.user.find()
{ "_id" : ObjectId("5699af720102a61caffb76e8"), "name" : "jack", "age" : 40, "job" : "moive star" }
{ "_id" : ObjectId("5699af920102a61caffb76e9"), "name" : "vicent", "age" : 25, "job" : "teacher" }

可以看到数据已经同步啦~

默认情况下，要想在从库开启查询功能，必须告知服务器，你接受从服务器的数据（有可能同步有延迟，数据不一致，你能够接受这种不一致）


> show collections
2016-01-16T10:52:04.363+0800 E QUERY  [thread1] Error: listCollections failed: { "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 } :
_getErrorWithCode@src/mongo/shell/utils.js:23:13
DB.prototype._getCollectionInfosCommand@src/mongo/shell/db.js:746:1
DB.prototype.getCollectionInfos@src/mongo/shell/db.js:758:15
DB.prototype.getCollectionNames@src/mongo/shell/db.js:769:12
shellHelper.show@src/mongo/shell/utils.js:695:9
shellHelper@src/mongo/shell/utils.js:594:15
@(shellhelp2):1:1

执行rs.slaveOK


> rs.slaveOk()
> show collections
user
>

在从服务的local数据库中有个sources集合，记录了主服务的信息


> use local
switched to db local
> show collections
me
sources
startup_log
> db.sources.find().pretty()
{
  "_id" : ObjectId("5699aaafa33311c25ab793df"),
  "host" : "127.0.0.1:27017",
  "source" : "main",
  "syncedTo" : Timestamp(1452913003, 1)
}

我们再次启动从库时，就无需指定source参数啦。


[root@localhost ~]# mongod --dbpath=/application/mongodb/data/slave/ --port 27018 --slave
2016-01-16T10:57:45.965+0800 I CONTROL [initandlisten] MongoDB starting : pid=21820 port=27018 dbpath=/application/mongodb/data/slave/ slave=1 64-bit host=localhost.localdomain
2016-01-16T10:57:45.967+0800 I CONTROL [initandlisten] db version v3.2.1
2016-01-16T10:57:45.968+0800 I CONTROL [initandlisten] git version: a14d55980c2cdc565d4704a7e3ad37e4e535c1b2
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.0.1e-fips 11 Feb 2013
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten] allocator: tcmalloc
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten] modules: none
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten] build environment:
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten]   distmod: rhel62
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten]   distarch: x86_64
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten]   target_arch: x86_64
2016-01-16T10:57:45.969+0800 I CONTROL [initandlisten] options: { net: { port: 27018 }, slave: true, storage: { dbPath: "/application/mongodb/data/slave/" } }
2016-01-16T10:57:46.010+0800 I -    [initandlisten] Detected data files in /application/mongodb/data/slave/ created by the 'wiredTiger' storage engine, so setting the active storage engine to 'wiredTiger'.
2016-01-16T10:57:46.011+0800 I STORAGE [initandlisten] wiredtiger_open config: create,cache_size=1G,session_max=20000,eviction=(threads_max=4),config_base=false,statistics=(fast),log=(enabled=true,archive=true,path=journal,compressor=snappy),file_manager=(close_idle_time=100000),checkpoint=(wait=60,log_size=2GB),statistics_log=(wait=0),
2016-01-16T10:57:48.485+0800 I CONTROL [initandlisten] ** WARNING: You are running this process as the root user, which is not recommended.
2016-01-16T10:57:48.486+0800 I CONTROL [initandlisten] 
2016-01-16T10:57:48.488+0800 I CONTROL [initandlisten] 
2016-01-16T10:57:48.490+0800 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2016-01-16T10:57:48.490+0800 I CONTROL [initandlisten] **    We suggest setting it to 'never'
2016-01-16T10:57:48.490+0800 I CONTROL [initandlisten] 
2016-01-16T10:57:48.490+0800 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
2016-01-16T10:57:48.490+0800 I CONTROL [initandlisten] **    We suggest setting it to 'never'
2016-01-16T10:57:48.490+0800 I CONTROL [initandlisten] 
2016-01-16T10:57:48.493+0800 I FTDC   [initandlisten] Initializing full-time diagnostic data capture with directory '/application/mongodb/data/slave/diagnostic.data'
2016-01-16T10:57:48.494+0800 I NETWORK [initandlisten] waiting for connections on port 27018
2016-01-16T10:57:48.495+0800 I NETWORK [HostnameCanonicalizationWorker] Starting hostname canonicalization worker
2016-01-16T10:57:49.497+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:57:50.503+0800 I REPL   [replslave] sleep 1 sec before next pass
2016-01-16T10:57:51.504+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:57:52.505+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:57:54.295+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017
2016-01-16T10:57:55.296+0800 I REPL   [replslave] syncing from host:127.0.0.1:27017

主从库之间利用oplog日志进行同步。oplog存在于主库的local数据库，oplog.$main集合。


> use local
switched to db local
> db.oplog.$main.find({"op":"i"}).sort({"ts":-1}).pretty()
{
  "ts" : Timestamp(1452916694, 1),
  "h" : NumberLong(0),
  "v" : 2,
  "op" : "i",
  "ns" : "test.user",
  "o" : {
    "_id" : ObjectId("5699bfd6647c735cb3a50e0c"),
    "name" : "zhangcong"
  }
}
{
  "ts" : Timestamp(1452913156, 1),
  "h" : NumberLong(0),
  "v" : 2,
  "op" : "i",
  "ns" : "test.user",
  "o" : {
    "_id" : ObjectId("5699b204358c4672cad1cc6e"),
    "name" : "zhangdd",
    "age" : 30,
    "job" : "teacher"
  }
}
{
  "ts" : Timestamp(1452912530, 1),
  "h" : NumberLong(0),
  "v" : 2,
  "op" : "i",
  "ns" : "test.user",
  "o" : {
    "_id" : ObjectId("5699af920102a61caffb76e9"),
    "name" : "vicent",
    "age" : 25,
    "job" : "teacher"
  }
}
{
  "ts" : Timestamp(1452912498, 2),
  "h" : NumberLong(0),
  "v" : 2,
  "op" : "i",
  "ns" : "test.user",
  "o" : {
    "_id" : ObjectId("5699af720102a61caffb76e8"),
    "name" : "jack",
    "age" : 40,
    "job" : "moive star"
  }
}

该集合属于固定集合。在一定时间后，旧日志会被覆盖。如果日志已经被覆盖，从库还没有来的及同步。那么从库就无法再同步数据了。只有使用--autoresync让其重新同步数据。

备注：命令行参数指定的参数值，可以写到config文件中，启动时使用

mongod --config /path/to/file.conf

mongod 2.4以后的版本使用YAML的格式来编写配置文件。关于主从复制的配置如何在配置文件中声明，官方文件没有给出方法。试了几种写法都不正确。因为mongodb使用副本集代替了主从复制，从而可能配置文件不再支持主从复制。

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

MongoDB 分布式文件存储的数据库

后端技术

前端技术

数据库

热门框架

常用IDE

其他