搭建MongoDB Sharding集群
从1.6版本起,MongoDB开始正式支持Sharding
同时,MongoDB也推出了Replica Sets,用以替代之前版本的Replica Pairs
通过把Sharding和Replica Sets相结合,我们可以搭建一个分布式的,高可用性,自动水平扩展的集群
一个典型的集群结构如下:
集群由以下3个服务组成:
- Shards Server: 每个shard由一个或多个mongod进程组成,用于存储数据
- Config Server: 用于存储集群的Metadata信息,包括每个Shard的信息和chunks信息
- Route Server: 用于提供路由服务,由Client连接,使整个Cluster看起来像单个DB服务器
另外,Chunks是指MongoDB中一段连续的数据块,默认大小是200M,一个Chunk位于其中一台Shard服务器上
下面,搭建一个Cluster,它由4台服务器组成,包括2个Shard,3个Config,1个Route
其中每个Shard由一个Replica Set组成,每个Replica Set由2个Mongod节点,1个vote节点组成
以下是搭建配置的过程:
1. 四台服务器分别启动相应的Mongod进程:
192.168.x.216
/usr/local/mongodb/bin/mongod --fork --shardsvr --port 10000 --replSet set1 --dbpath /pvdata/mongodb_data --logpath /pvdata/mongodb_log/mongod.log
/usr/local/mongodb/bin/mongod --fork --shardsvr --port 10001 --replSet set2 --dbpath /pvdata/mongodb_data1 --logpath /pvdata/mongodb_log/mongod1.log192.168.x.217
/usr/local/mongodb/bin/mongod --fork --shardsvr --port 10000 --replSet set1 --dbpath /pvdata/mongodb_data --logpath /pvdata/mongodb_log/mongod.log192.168.x.218
/usr/local/mongodb/bin/mongod --fork --shardsvr --port 10000 --replSet set2 --dbpath /pvdata/mongodb_data --logpath /pvdata/mongodb_log/mongod.log
/usr/local/mongodb/bin/mongod --fork --shardsvr --port 10001 --replSet set1 --dbpath /pvdata/mongodb_data1 --logpath /pvdata/mongodb_log/mongod1.log192.168.x.137
/usr/local/mongodb/bin/mongod --fork --shardsvr --port 10000 --replSet set2 --dbpath /opt/mongodb_data --logpath /opt/mongodb_log/mongod.log
2. 分别配置2组Replica Sets:
192.168.x.216
mongo --port 10000
config = {_id: 'set1', members: [
{_id: 0, host: '192.168.x.216:10000'},
{_id: 1, host: '192.168.x.217:10000'},
{_id: 1, host: '192.168.x.218:10001', arbiterOnly: true}
]}
rs.initiate(config)
rs.status()
192.168.x.218
mongo --port 10000
config = {_id: 'set2', members: [
{_id: 0, host: '192.168.x.218:10000'},
{_id: 1, host: '192.168.x.137:10000'},
{_id: 1, host: '192.168.x.216:10001', arbiterOnly: true}
]}
rs.initiate(config)
rs.status()
注意:2台Server上的10001对应的Mongod,它们只负责在某个node down掉后,进行vote选举新的master,它们本身并不存储数据备份
3.配置3台Config Servers:
mongod --configsvr --fork --logpath /pvdata/mongodb_log/config.log --dbpath /pvdata/mongodb_config_data --port 20000
4.配置1台Route Server:
192.168.x.216
/usr/local/mongodb/bin/mongos --fork --chunkSize 1 --configdb "192.168.x.216:20000,192.168.x.217:20000,192.168.x.218:20000" --logpath /pvdata/mongodb_log/mongos.log
chunkSize参数用来设置chunk块的大小,这里为了测试,设置成1M
5..配置2组Shard:
192.168.x.216
mongo
use admin
db.runCommand({addshard:'set1/192.168.x.216:10000,192.168.x.217:10000'})
db.runCommand({addshard:'set2/192.168.x.218:10000,192.168.x.137:10000'})
db.runCommand({enablesharding:'test'})
db.runCommand({listshards:1})
printShardingStatus()
db.runCommand({shardcollection:'test.test', key:{_id:1}, unique : true})
这样整个配置就完成了,下面可以用pymongo来进行测试:
con = pymongo.Connection("192.168.x.216", 27017)
db = con.test
collection = db.test
for i in xrange(10000):
name = ''.join(random.choice(string.letters) for i in xrange(10))
collection.save({'_id':name})
然后,进入mongo的命令行,可以在2组的shard中分别查看count值,会发现collection记录被平均的分布到了2组shard server上了
下面,我们再来测试一下automated failover:
将x.218的mongod进程kill -2杀掉后,在x.137的log中,可以看到:
Wed Sep 29 10:51:04 [ReplSetHealthPollTask] replSet info 192.168.x.218:10000 is now down (or slow to respond)
Wed Sep 29 10:51:04 [rs Manager] replSet info electSelf 1
Wed Sep 29 10:51:04 [rs Manager] replSet PRIMARY
说明,新的vote已经完成,x.137变成了新的primary master了
此时,我们再往db中继续写入数据,然后启动x.218,会发现:
Wed Sep 29 10:52:56 [ReplSetHealthPollTask] replSet 192.168.x.218:10000 SECONDARY
说明,x.218此时又作为secondary来运行了
同时,在218 down掉时,137上写入的数据也会继续同步到218上
整个配置过程还是比较简单的,测试也挺正常
但整个Cluster的稳定性,还有待于应用上线后的观察...
你好!我最近也在学习mongoDB的一些相关知识,现在碰到一个问题,想请教你下:在配置分片的完成后,我掐掉了主DB,之后的确会通过投票的方式产生一个新的primary master,但是,为什么当我在写入新的数据的时候,会报“specified is different configdb ”呢?是否需要在哪了配置下?望能指点下!!
我没遇到这样的错误
你是否也配置了多个Config Server?
我觉得可能是你的Config Server没有同步造成的
不知你有没有对比过和普通的master-slave 模式的性能比较, 我 这里发现普通 查询会比原来慢好几倍到10倍左右.
如果方便可以交流下 gtalk: jameswork66 at gmail dot com 或 msn: jameswork66 at hotmail dot com
我没有专门测试过Sharding和Mster/Slave模式的性能,但我们现在的Sharding集群中一个collection中的记录数已经超过1.5亿了,现在insert和find的速度都还是很快的,当然我们基本都是基于索引进行查询的
有个问题,配置了三个Config Servers,一个route服务器,config servers如何与shards Server建立联系?
楼主误人子弟呀,顺序搞错了,害我搞了半天,顺序应该是4、5、3,先配置config server再配置route server,最后在route server里面add share!
不好意思啊,当时是先在服务器上配好后,后来才记录下来的,顺序确实反了,已经修正了
请问为什么我在mongs上面配置mongo,就是进行到第五步的时候会提示出现no primary的错误呢?
我在mongs所在的服务器上配置mongo,show dbs的时候没有local数据库,为什么会出现这样的情况呢?