MongoDB-CN-Manual
  • MongoDB中文手册|官方文档中文版
  • MongoDB用户手册说明
  • MongoDB简介
    • 入门
    • 数据库和集合
      • 视图
      • 按需物化视图
      • 封顶集合
      • 时间序列集合
    • 文档
    • BSON类型
      • Comparison and Sort Order
      • MongoDB Extended JSON (v2)
      • MongoDB Extended JSON (v1)
  • 安装 MongoDB
    • 安装MongoDB社区版
      • 在Linux上安装MongoDB社区版
      • 在macOS上安装MongoDB社区版
      • 在Windows上安装MongoDB社区版
    • 安装MongoDB企业版
      • 在Linux上安装MongoDB企业版
      • 在Mac OS安装MongoDB企业版
      • 在Windows安装MongoDB企业版
      • 使用Docker安装MongoDB企业版
    • 将社区版MongoDB升级到企业版MongoDB
    • 验证MongoDB软件包的完整性
  • The mongo Shell
    • 配置mongo Shell
    • 使用 mongo Shell帮助
    • 为mongo Shell编写脚本
    • mongo Shell中的数据类型
    • mongo Shell 快速参考
  • MongoDB CRUD操作
    • 插入文档
      • 插入方法
    • 查询文档
      • 在mongo Shell中迭代游标
      • 从查询返回的项目字段
      • 查询嵌入式文档数组
      • 查询数组
      • 查询空字段或缺少字段
      • 查询嵌入/嵌套文档
    • 更新文档
      • 更新方法
      • 聚合管道更新
    • 删除文档
      • 删除方法
    • 地理空间查询
      • 用地理空间查询查找餐馆
      • GeoJSON对象
    • 批量写入操作
    • 可重试写入
    • 可重试读取
    • SQL到MongoDB的映射图表
    • 文本搜索
      • 文本索引
      • 文本索引操作
      • 集合管道中的文本索引
      • 文本索引语言
    • Read Concern读关注
      • 读关注 "local"
      • 读关注 "available"
      • 读关注 "majority"
      • 读关注 "linearizable"
      • 读关注 "snapshot"
    • Write Concern写关注
    • MongoDB CRUD概念
      • 原子性和事务
      • 读隔离性,一致性和近因性
        • 因果一致性和读写关注
      • 分布式查询
      • 通过findAndModify进行线性化读取
      • 查询计划
      • 查询优化
        • 评估当前操作性能
        • 优化查询性能
        • 写操作性能
        • 说明结果
      • 分析查询表现
      • Tailable 游标
  • MongoDB聚合
    • 聚合管道
      • 聚合管道优化
      • 聚合管道限制
      • 聚合管道和分片集合
      • 使用 Zip Code 数据集进行聚合
      • 使用用户首选项数据进行聚合
    • Map-Reduce
      • Map-Reduce 和分片集合
      • Map-Reduce 并发
      • Map-Reduce 示例
      • 执行增量 Map-Reduce
      • 对 Map Function 进行故障排除
      • 排除 Reduce Function 问题
      • Map-Reduce转换到聚合管道
    • 聚合参考
      • 聚合管道快速参考
      • 聚合命令
      • 聚合命令对比
      • 聚合表达式中的变量
      • SQL 到聚合映射图表
  • MongoDB数据模型
    • 数据建模介绍
    • 模式验证
    • 数据模型设计
      • 一对一嵌套关系模型
  • MongoDB事务
  • MongoDB事务
    • 驱动程序 API
    • 生产注意事项
    • 生产注意事项 (分片集群)
    • 事务操作
  • MongoDB索引
    • 单字段索引
    • 复合索引
    • 多键索引
      • 多键索引范围
    • 文本索引
      • 为文本索引指定语言
      • 指定文本索引的名称
      • 用权重控制搜索结果
      • 限制扫描条目的数量
    • 通配符索引
      • 通配符索引限制
    • 2dsphere 索引
      • 查询一个2dsphere索引
    • 2d 索引
      • 创建一个2d索引
      • 查询一个2d索引
      • 2d索引内部
      • 使用球面几何计算距离
    • geoHaystack 索引
      • 创建Haystack索引
      • 查询Haystack索引
    • 哈希索引
    • 索引特性
      • TTL 索引
        • 通过设置TTL使集合中的数据过期
      • 唯一索引
      • 部分索引
      • 不分大小写索引
      • Sparse 索引
    • 在填充的集合上建立索引
      • 在副本集上建立滚动索引
      • 在分片群集上建立滚动索引
    • 索引交集
    • 管理索引
    • 衡量索引使用
    • 索引策略
      • 创建索引来支持查询
      • 使用索引对查询结果进行排序
      • 确保索引适合RAM
      • 创建以确保选择性的查询
    • 索引参考
  • MongoDB安全
    • 安全检查列表
    • 启用访问控制
    • 身份验证
      • 用户
        • 添加用户
        • 权限认证机制
          • SCRAM
            • 用x.509证书来认证客户端
    • 审计
      • 配置审计过滤器
      • 配置审计
      • 系统事件审计消息
    • 网络和配置强化
    • 安全参考
      • system.roles集合
      • system.users集合
      • 资源文档
      • 权限操作
    • 附录
      • 附录-A-用于测试的 OpenSSl CA 证书
      • 附录-B-用于测试的OpenSSL服务器证书
      • 附录-C-用于测试的OpenSSL客户端证书
  • Change Streams变更流
    • 变更流生产建议
    • 变更事件
  • MongoDB复制
    • 副本集成员
    • 副本集日志
    • 副本集数据同步
    • 副本集部署架构
    • 副本集成员配置教程
    • 副本集维护教程
    • MongoDB复制参考
  • MongoDB分片
    • 分片集群组件
    • 分片键
    • 哈希分片
    • 范围分片
    • 区
      • 管理分片区
      • 按位置细分数据
      • 用于更改SLA或SLO的分层硬件
      • 按应用或客户细分数据
      • 仅插入工作负载的分布式本地写入
      • 管理分片区
    • 使用块进行数据分区
      • 在分片集群中拆分数据块
    • 分片管理
      • 查看集群设置
    • 重启一个分片集群
    • [把一个分片集群迁移到不同的硬件](fen-pian/migrate-a -sharded-cluster-to-different-hardware.md)
    • 分片参考
  • MongoDB管理
    • 产品说明
    • 操作检查列表
    • 开发检查列表
    • 配置和维护
    • 性能
    • 数据中心意识
      • MongoDB部署中的工作负载隔离
      • 区
        • 管理分片区
        • 按位置细分数据
        • 用于更改SLA或SLO的分层硬件
        • 按应用或客户细分数据
        • 仅插入工作负载的分布式本地写入
        • 管理分片区
    • MongoDB备份方法
    • MongoDB监控
  • MongoDB存储
    • 存储引擎
      • WiredTiger 存储引擎
      • 内存存储引擎
    • 日志记录
      • 管理日志记录
        • GridFS
        • FAQ:MongoDB 存储
  • MongoDB参考
    • 运算符
      • 查询与映射运算符
        • 比较查询运算符
          • $eq
          • $gt
          • $gte
          • $in
          • $lt
          • $lte
          • $ne
          • $nin
        • 逻辑查询运算符
          • $and
          • $not
          • $nor
          • $or
        • 元素查询运算符
        • 评估查询运算符
        • 地理空间查询运算符
        • 数组查询运算符
        • 按位查询运算符
        • $comment
        • 映射运算符
      • 更新运算符
        • 字段更新运算符
        • 数组更新运算符
        • 按位更新运算符
      • 聚合管道阶段
      • 聚合管道操作符
        • $abs (aggregation)
        • $acos (aggregation)
        • $acosh (aggregation)
        • $add (aggregation)
        • $addToSet (aggregation)
        • $allElementsTrue (aggregation)
        • $and (aggregation)
        • $anyElementTrue (aggregation)
        • $arrayElemAt (aggregation)
        • $arrayToObject (aggregation)
        • $asin (aggregation)
        • $asinh (aggregation)
        • $atan (aggregation)
        • $atan2 (aggregation)
        • $atanh (aggregation)
        • $avg (aggregation)
        • $ceil (aggregation)
        • $cmp (aggregation)
        • $concat (aggregation)
        • $concatArrays (aggregation)
        • $cond (aggregation)
        • $convert (aggregation)
        • $cos (aggregation)
        • $dateFromParts (aggregation)
        • $dateToParts (aggregation)
        • $dateFromString (aggregation)
        • $literal (aggregation)
      • 查询修饰符
    • 数据库命令
      • 聚合命令
      • 地理空间命令
      • 查询和写操作命令
      • 查询计划缓存命令
      • 认证命令
      • 用户管理命令
      • 角色管理命令
      • 复制命令
      • 分片命令
      • 会话命令
      • 管理命令
      • 诊断命令
      • 免费监控命令
      • 系统事件审计命令
    • mongo Shell 方法
      • 集合方法
        • db.collection.aggregate()
        • db.collection.bulkWrite()
        • db.collection.copyTo()
        • db.collection.count()
        • db.collection.countDocuments()
        • db.collection.estimatedDocumentCount()
        • db.collection.createIndex()
        • db.collection.createIndexes()
        • db.collection.dataSize()
        • db.collection.deleteOne()
        • db.collection.deleteMany()
        • db.collection.distinct()
        • db.collection.drop()
        • db.collection.dropIndex()
        • db.collection.dropIndexes()
        • db.collection.ensureIndex()
        • db.collection.explain()
        • db.collection.find()
        • db.collection.findAndModify()
        • db.collection.findOne()
        • db.collection.findOneAndDelete()
        • db.collection.findOneAndReplace()
        • db.collection.findOneAndUpdate()
        • db.collection.getIndexes()
        • db.collection.getShardDistribution()
        • db.collection.getShardVersion()
        • db.collection.insert()
        • db.collection.insertOne()
        • db.collection.insertMany()
        • db.collection.isCapped()
        • db.collection.latencyStats()
        • db.collection.mapReduce()
        • db.collection.reIndex()
        • db.collection.remove()
        • db.collection.renameCollection()
        • db.collection.replaceOne()
        • db.collection.save()
        • db.collection.stats()
        • db.collection.storageSize()
        • db.collection.totalIndexSize()
        • db.collection.totalSize()
        • db.collection.update()
        • db.collection.updateOne()
        • db.collection.updateMany()
        • db.collection.watch()
        • db.collection.validate()
    • MongoDB中的限制与阈值
    • MongoDB系统集合
    • 词汇表
    • 默认的MongoDB端口
    • 默认的MongoDB读/写关注
    • 服务器会话
  • MongoDB FAQ
    • FAQ: MongoDB基础知识
    • FAQ: MongoDB索引
    • FAQ: MongoDB并发
    • FAQ: MongoDB分片
    • FAQ: MongoDB复制和副本集
    • FAQ: MongoDB存储
    • FAQ: MongoDB诊断
  • MongoDB 版本管理
  • 联系我们
    • Tapdata Cloud
    • MongoDB中文社区
    • 社区合作伙伴—锦木信息
由 GitBook 提供支持
在本页
  • 初始化同步
  • 过程
  • 容错
  • 复制
  • 多线程复制
  • 流控制
  • 复制同步源的选择
  1. MongoDB复制

副本集数据同步

上一页副本集日志下一页副本集部署架构

最后更新于3年前

在本页

为了维护共享数据集的最新副本,副本集中的从节点成员可以从其他成员同步或复制数据。MongoDB中有两种形式的数据同步:初始化同步将完整的数据集填充至新成员;而复制会持续将变更应用到整个数据集上。

初始化同步

初始化同步会从副本集成员中的一个节点复制所有的数据到另外一个成员。有关初始化同步源选择条件的更多信息请参见。

从MongoDB 4.2.7开始,你可以使用参数 指定优先的初始化同步源。这只能在启动时配置。

过程

当执行一个初始化同步时,MongoDB会:

  1. 克隆除数据库之外的所有数据库。为了进行克隆, 扫描每个源数据库中的各个集合,并将所有数据插入到这些集合各自的副本中。

    3.4版本的变化:初始化同步在为每个集合复制文档时会建立集合的所有索引。在MongoDB的早期版本中,在这个阶段只建立_id索引。

    3.4版本的变化:初始化同步会获取在数据复制期间新增的oplog记录。请确保目标成员的local 数据库中有足够的磁盘空间,以便可以在数据复制阶段期间内临时存储这些oplog记录。

  2. 对数据集应用所有的更改。使用来自源库的oplog, 更新其数据集以反映副本集的当前状态。当初始化同步完成后,目标成员会从 状态转为状态。

若要执行初始化同步,请参见。

容错

为了从短暂网络或操作故障中恢复,初始化同步具有内置的重试逻辑。

版本3.4的变化:MongoDB 3.4改进了初始化同步的重试逻辑,对网络上的间歇性故障更有弹性。

初始化同步源的选择

  • 对于所有其他受支持的读偏好类型,则将从这些副本集成员中选择同步源。

执行初始化同步源选择的成员将会遍历所有副本集成员的列表两次:

同步源选择(第一次遍历)

当选择初始同步源进行第一次遍历时,执行同步源选择的成员将检查每个副本集成员是否满足如下条件:

  • 同步源必须是在线且可访问的。

  • 同步源必须和主节点最新的oplog条目同步时间相差在30s之内。

  • 如果该成员是可创建索引的,则同步源也必须可创建索引。

  • 如果该成员可参与副本集选举投票,则同步源也必须具有投票权。

  • 如果该成员不是一个延迟成员,则同步源也不能是延迟成员。

  • 如果该成员是一个延迟成员,则同步源必须配置一个更短的延迟时间。

  • 同步源必须比当前最好的同步源更快(即更低的时延)。

如果第一次遍历没有产生候选的同步源,则该成员会用更宽松的条件进行第二次遍历。请参考同步源选择(第二次遍历)。

同步源选择(第二次遍历)

当选择初始同步源进行第二次遍历时,执行同步源选择的成员将检查每个副本集成员是否满足如下条件:

  • 同步源必须是在线且可访问的。

  • 如果该成员是可创建索引的,则同步源也必须可创建索引。

  • 同步源必须比当前最好的同步源更快(即更低的时延)。

如果该成员在两次遍历后依然无法选择出初始同步源,它会记录报错并在等待1s后重新发起选择的过程。从节点的Mongod进程在出现报错退出之前,最多会重试10次初始同步源选择的过程。

复制

从节点可以根据ping时间和其他成员复制状态的变化,按需来自动调整它们的同步源。

3.2版本的变化:MongoDB 3.2中投票权为1的副本集成员无法从投票权为0的成员那里同步数据。

多线程复制

4.0版本的变化。

从MongoDB 4.0开始,如果读取发生在正在应用批量复制的从节点上,那么针对从节点且读关注级别设置为“local”或“majority”的读取操作,现在将从WiredTiger数据快照中读取数据。从快照中读取数据可以保证数据的一致性视图,并且允许在进行复制的同时进行读取,而不需要使用锁。因此,这些读关注级别的从节点读取操作不再需要等待批量复制应用完成,并且可以在接收它们的同时进行处理。

流控制

默认情况下,流控制是启用的。

说明

复制同步源的选择

  • 启用级联(默认)后,从副本集成员间执行同步源选择。

  • 禁用级联后,选择主节点作为复制源。如果主服务器不可用或无法访问,则记录错误并定期检查主服务器的可用性。

Members performing replication sync source selection make two passes through the list of all replica set members:

执行复制同步源选择的成员将会遍历所有副本集成员的列表两次:

同步源选择(第一次)

当为选择复制同步源进行第一次遍历时,执行同步源选择的成员将检查每个副本集成员是否满足如下条件:

  • 同步源必须是在线且可访问的。

  • 同步源必须比该成员具有更新的oplog条目(即同步源数据同步领先于该成员)。

  • 同步源必须和主节点最新的oplog条目同步时间相差在30s之内。

  • 如果该成员是可创建索引的,则同步源也必须可创建索引。

  • 如果该成员可参与副本集选举投票,则同步源也必须具有投票权。

  • 如果该成员不是一个延迟成员,则同步源也不能是延迟成员。

  • 如果该成员是一个延迟成员,则同步源必须配置一个更短的延迟时间。

  • 同步源必须比当前最好的同步源更快(即更低的时延)。

如果第一次遍历没有产生候选的同步源,则该成员会用更宽松的条件进行第二次遍历。请参考同步源选择(第二次遍历)。

同步源选择(第二次遍历)

当为选择复制同步源进行第二次遍历时,执行同步源选择的成员将检查每个副本集成员是否满足如下条件:

  • 同步源必须是在线且可访问的。

  • 如果该成员是可创建索引的,则同步源也必须可创建索引。

  • 同步源必须比当前最好的同步源更快(即更低的时延)。

如果该成员在两次遍历后依然无法选择出初始同步源,它会记录报错并在等待1s后重新发起选择的过程。

说明

译者:李正洋

初始化同步源的选择取决于 的启动参数 (版本4.2.7中的新参数):

若参数 设置为 (禁用级联后的默认值),则选择主节点作为同步源。如果主服务器不可用或无法访问,则记录错误并定期检查主服务器的可用性。

若参数 设置为,则优先尝试选择主节点作为同步源。如果主节点不可用或者无法访问,则将从剩余可用的副本集成员中选择同步源。

若参数 设置为 (启用级联后的默认值),则从副本集成员中选择网络时延最小的节点最为同步源。

同步源必须处于 或者 的复制状态。

如果参数 设置为 或者 ,则同步源必须是一个从节点。

同步源必须处于 或者 的复制状态。

如果参数 设置为 ,则同步源必须是一个从节点。

从节点成员在初始化同步之后会不断地复制数据。从节点成员从同步源复制 ,并以异步的方式应用这些操作 。

从节点应避免从和中同步数据。

如果一个从节点成员的参数 设置为true,它只能从其他参数设置为true的成员同步数据。参数设置为false的成员可以从任何其他节点同步数据,除非有其他的同步限制。参数默认为true。

| 从4.2版本开始(从4.0.6开始也是可行的),副本集的副本成员会记录oplog中应用时间超过慢操作阈值的慢操作条目。这些慢oplog信息被记录在从节点的诊断日志中,其路径位于REPL 组件的文本applied op: took ms中。这些慢日志条目仅仅依赖于慢操作阈值。它们不依赖于日志级别(无论是系统还是组件级别)、过滤级别,或者慢操作采样比例。过滤器不会捕获慢日志条目。

MongoDB通过使用多线程批量应用写操作来提高并发。MongoDB根据文档id ()进行分批,同时使用不同的线程应用每组操作。MongoDB总是按照原始的写顺序对给定的文档应用写操作。

从MongoDB 4.2开始,管理员可以限制主节点应用其写操作的速度,目的是将大多数提交延迟保持在可配置参数最大值之下。

为了进行流控制,副本集/分片集群必须满足:参数 设置为4.2,并启用majority级别的读关注。也就是说,如果FCV不是4.2,或者读关注majority被禁用,那么流控制的启用将不会生效。

更多信息请参见。

复制同步源的选择取决于副本集参数 的设置:

同步源必须处于 或者 的复制状态。

同步源必须是。

同步源必须处于 或者 的复制状态。

从MongoDB 4.2.7开始,当选择一个初始化同步源时,启动参数 是优先级高于副本集参数 。在副本集成员成功执行初始化同步之后,选择复制同步源时则取决于参数 的值。

有关初始化同步源的选择的更多信息请参考 。

原文链接:

初始化同步
复制
初始化同步源选择
initialSyncSourceReadPreference
mongod
local
mongod
mongod
STARTUP2
SECONDARY
重新同步副本集成员
mongod
initialSyncSourceReadPreference
initialSyncSourceReadPreference
primary
initialSyncSourceReadPreference
primaryPreferred
initialSyncSourceReadPreference
nearest
PRIMARY
SECONDARY
initialSyncSourceReadPreference
secondary
secondaryPreferred
PRIMARY
SECONDARY
initialSyncSourceReadPreference
secondary
oplog
[1]
延迟成员
隐藏成员
members[n].buildIndexes
buildIndexes
buildIndexes
buildIndexes
[1]
WiredTiger
flowControlTargetLagSeconds
featureCompatibilityVersion (FCV)
流控制
chaining
PRIMARY
SECONDARY
可见的
PRIMARY
SECONDARY
initialSyncSourceReadPreference
settings.chainingAllowed
chainingAllowed
初始化同步源的选择
https://docs.mongodb.com/manual/core/replica-set-sync/