MongoDB-CN-Manual
  • MongoDB中文手册|官方文档中文版
  • MongoDB用户手册说明
  • MongoDB简介
    • 入门
    • 数据库和集合
      • 视图
      • 按需物化视图
      • 封顶集合
      • 时间序列集合
    • 文档
    • BSON类型
      • Comparison and Sort Order
      • MongoDB Extended JSON (v2)
      • MongoDB Extended JSON (v1)
  • 安装 MongoDB
    • 安装MongoDB社区版
      • 在Linux上安装MongoDB社区版
      • 在macOS上安装MongoDB社区版
      • 在Windows上安装MongoDB社区版
    • 安装MongoDB企业版
      • 在Linux上安装MongoDB企业版
      • 在Mac OS安装MongoDB企业版
      • 在Windows安装MongoDB企业版
      • 使用Docker安装MongoDB企业版
    • 将社区版MongoDB升级到企业版MongoDB
    • 验证MongoDB软件包的完整性
  • The mongo Shell
    • 配置mongo Shell
    • 使用 mongo Shell帮助
    • 为mongo Shell编写脚本
    • mongo Shell中的数据类型
    • mongo Shell 快速参考
  • MongoDB CRUD操作
    • 插入文档
      • 插入方法
    • 查询文档
      • 在mongo Shell中迭代游标
      • 从查询返回的项目字段
      • 查询嵌入式文档数组
      • 查询数组
      • 查询空字段或缺少字段
      • 查询嵌入/嵌套文档
    • 更新文档
      • 更新方法
      • 聚合管道更新
    • 删除文档
      • 删除方法
    • 地理空间查询
      • 用地理空间查询查找餐馆
      • GeoJSON对象
    • 批量写入操作
    • 可重试写入
    • 可重试读取
    • SQL到MongoDB的映射图表
    • 文本搜索
      • 文本索引
      • 文本索引操作
      • 集合管道中的文本索引
      • 文本索引语言
    • Read Concern读关注
      • 读关注 "local"
      • 读关注 "available"
      • 读关注 "majority"
      • 读关注 "linearizable"
      • 读关注 "snapshot"
    • Write Concern写关注
    • MongoDB CRUD概念
      • 原子性和事务
      • 读隔离性,一致性和近因性
        • 因果一致性和读写关注
      • 分布式查询
      • 通过findAndModify进行线性化读取
      • 查询计划
      • 查询优化
        • 评估当前操作性能
        • 优化查询性能
        • 写操作性能
        • 说明结果
      • 分析查询表现
      • Tailable 游标
  • MongoDB聚合
    • 聚合管道
      • 聚合管道优化
      • 聚合管道限制
      • 聚合管道和分片集合
      • 使用 Zip Code 数据集进行聚合
      • 使用用户首选项数据进行聚合
    • Map-Reduce
      • Map-Reduce 和分片集合
      • Map-Reduce 并发
      • Map-Reduce 示例
      • 执行增量 Map-Reduce
      • 对 Map Function 进行故障排除
      • 排除 Reduce Function 问题
      • Map-Reduce转换到聚合管道
    • 聚合参考
      • 聚合管道快速参考
      • 聚合命令
      • 聚合命令对比
      • 聚合表达式中的变量
      • SQL 到聚合映射图表
  • MongoDB数据模型
    • 数据建模介绍
    • 模式验证
    • 数据模型设计
      • 一对一嵌套关系模型
  • MongoDB事务
  • MongoDB事务
    • 驱动程序 API
    • 生产注意事项
    • 生产注意事项 (分片集群)
    • 事务操作
  • MongoDB索引
    • 单字段索引
    • 复合索引
    • 多键索引
      • 多键索引范围
    • 文本索引
      • 为文本索引指定语言
      • 指定文本索引的名称
      • 用权重控制搜索结果
      • 限制扫描条目的数量
    • 通配符索引
      • 通配符索引限制
    • 2dsphere 索引
      • 查询一个2dsphere索引
    • 2d 索引
      • 创建一个2d索引
      • 查询一个2d索引
      • 2d索引内部
      • 使用球面几何计算距离
    • geoHaystack 索引
      • 创建Haystack索引
      • 查询Haystack索引
    • 哈希索引
    • 索引特性
      • TTL 索引
        • 通过设置TTL使集合中的数据过期
      • 唯一索引
      • 部分索引
      • 不分大小写索引
      • Sparse 索引
    • 在填充的集合上建立索引
      • 在副本集上建立滚动索引
      • 在分片群集上建立滚动索引
    • 索引交集
    • 管理索引
    • 衡量索引使用
    • 索引策略
      • 创建索引来支持查询
      • 使用索引对查询结果进行排序
      • 确保索引适合RAM
      • 创建以确保选择性的查询
    • 索引参考
  • MongoDB安全
    • 安全检查列表
    • 启用访问控制
    • 身份验证
      • 用户
        • 添加用户
        • 权限认证机制
          • SCRAM
            • 用x.509证书来认证客户端
    • 审计
      • 配置审计过滤器
      • 配置审计
      • 系统事件审计消息
    • 网络和配置强化
    • 安全参考
      • system.roles集合
      • system.users集合
      • 资源文档
      • 权限操作
    • 附录
      • 附录-A-用于测试的 OpenSSl CA 证书
      • 附录-B-用于测试的OpenSSL服务器证书
      • 附录-C-用于测试的OpenSSL客户端证书
  • Change Streams变更流
    • 变更流生产建议
    • 变更事件
  • MongoDB复制
    • 副本集成员
    • 副本集日志
    • 副本集数据同步
    • 副本集部署架构
    • 副本集成员配置教程
    • 副本集维护教程
    • MongoDB复制参考
  • MongoDB分片
    • 分片集群组件
    • 分片键
    • 哈希分片
    • 范围分片
    • 区
      • 管理分片区
      • 按位置细分数据
      • 用于更改SLA或SLO的分层硬件
      • 按应用或客户细分数据
      • 仅插入工作负载的分布式本地写入
      • 管理分片区
    • 使用块进行数据分区
      • 在分片集群中拆分数据块
    • 分片管理
      • 查看集群设置
    • 重启一个分片集群
    • [把一个分片集群迁移到不同的硬件](fen-pian/migrate-a -sharded-cluster-to-different-hardware.md)
    • 分片参考
  • MongoDB管理
    • 产品说明
    • 操作检查列表
    • 开发检查列表
    • 配置和维护
    • 性能
    • 数据中心意识
      • MongoDB部署中的工作负载隔离
      • 区
        • 管理分片区
        • 按位置细分数据
        • 用于更改SLA或SLO的分层硬件
        • 按应用或客户细分数据
        • 仅插入工作负载的分布式本地写入
        • 管理分片区
    • MongoDB备份方法
    • MongoDB监控
  • MongoDB存储
    • 存储引擎
      • WiredTiger 存储引擎
      • 内存存储引擎
    • 日志记录
      • 管理日志记录
        • GridFS
        • FAQ:MongoDB 存储
  • MongoDB参考
    • 运算符
      • 查询与映射运算符
        • 比较查询运算符
          • $eq
          • $gt
          • $gte
          • $in
          • $lt
          • $lte
          • $ne
          • $nin
        • 逻辑查询运算符
          • $and
          • $not
          • $nor
          • $or
        • 元素查询运算符
        • 评估查询运算符
        • 地理空间查询运算符
        • 数组查询运算符
        • 按位查询运算符
        • $comment
        • 映射运算符
      • 更新运算符
        • 字段更新运算符
        • 数组更新运算符
        • 按位更新运算符
      • 聚合管道阶段
      • 聚合管道操作符
        • $abs (aggregation)
        • $acos (aggregation)
        • $acosh (aggregation)
        • $add (aggregation)
        • $addToSet (aggregation)
        • $allElementsTrue (aggregation)
        • $and (aggregation)
        • $anyElementTrue (aggregation)
        • $arrayElemAt (aggregation)
        • $arrayToObject (aggregation)
        • $asin (aggregation)
        • $asinh (aggregation)
        • $atan (aggregation)
        • $atan2 (aggregation)
        • $atanh (aggregation)
        • $avg (aggregation)
        • $ceil (aggregation)
        • $cmp (aggregation)
        • $concat (aggregation)
        • $concatArrays (aggregation)
        • $cond (aggregation)
        • $convert (aggregation)
        • $cos (aggregation)
        • $dateFromParts (aggregation)
        • $dateToParts (aggregation)
        • $dateFromString (aggregation)
        • $literal (aggregation)
      • 查询修饰符
    • 数据库命令
      • 聚合命令
      • 地理空间命令
      • 查询和写操作命令
      • 查询计划缓存命令
      • 认证命令
      • 用户管理命令
      • 角色管理命令
      • 复制命令
      • 分片命令
      • 会话命令
      • 管理命令
      • 诊断命令
      • 免费监控命令
      • 系统事件审计命令
    • mongo Shell 方法
      • 集合方法
        • db.collection.aggregate()
        • db.collection.bulkWrite()
        • db.collection.copyTo()
        • db.collection.count()
        • db.collection.countDocuments()
        • db.collection.estimatedDocumentCount()
        • db.collection.createIndex()
        • db.collection.createIndexes()
        • db.collection.dataSize()
        • db.collection.deleteOne()
        • db.collection.deleteMany()
        • db.collection.distinct()
        • db.collection.drop()
        • db.collection.dropIndex()
        • db.collection.dropIndexes()
        • db.collection.ensureIndex()
        • db.collection.explain()
        • db.collection.find()
        • db.collection.findAndModify()
        • db.collection.findOne()
        • db.collection.findOneAndDelete()
        • db.collection.findOneAndReplace()
        • db.collection.findOneAndUpdate()
        • db.collection.getIndexes()
        • db.collection.getShardDistribution()
        • db.collection.getShardVersion()
        • db.collection.insert()
        • db.collection.insertOne()
        • db.collection.insertMany()
        • db.collection.isCapped()
        • db.collection.latencyStats()
        • db.collection.mapReduce()
        • db.collection.reIndex()
        • db.collection.remove()
        • db.collection.renameCollection()
        • db.collection.replaceOne()
        • db.collection.save()
        • db.collection.stats()
        • db.collection.storageSize()
        • db.collection.totalIndexSize()
        • db.collection.totalSize()
        • db.collection.update()
        • db.collection.updateOne()
        • db.collection.updateMany()
        • db.collection.watch()
        • db.collection.validate()
    • MongoDB中的限制与阈值
    • MongoDB系统集合
    • 词汇表
    • 默认的MongoDB端口
    • 默认的MongoDB读/写关注
    • 服务器会话
  • MongoDB FAQ
    • FAQ: MongoDB基础知识
    • FAQ: MongoDB索引
    • FAQ: MongoDB并发
    • FAQ: MongoDB分片
    • FAQ: MongoDB复制和副本集
    • FAQ: MongoDB存储
    • FAQ: MongoDB诊断
  • MongoDB 版本管理
  • 联系我们
    • Tapdata Cloud
    • MongoDB中文社区
    • 社区合作伙伴—锦木信息
由 GitBook 提供支持
在本页
  • 分片集群
  • 分片键
  • 分片键索引
  • 分片键策略
  • Chunks块
  • Bncer and Even Chunk Distribution 均衡器和均匀分配
  • 分片的优势
  • 读写负载
  • 存储容量
  • 高可用性
  • 分片前的注意事项
  • 分片和未分片集合
  • 连接到分片集群
  • 分片策略
  • 哈希分片
  • 范围分片
  • 分片集群中的区域
  • 分片中的排序规则
  • Change Streams变更流
  • 事务
  • MongoDB中文社区

MongoDB分片

上一页MongoDB复制参考下一页分片集群组件

最后更新于3年前

在本页面

是一种将数据分配到多个机器上的方法。MongoDB通过分片技术来支持具有海量数据集和高吞吐量操作的部署方案。

数据库系统的数据集或应用的吞吐量比较大的情况下,会给单台服务器的处理能力带来极大的挑战。例如,高查询率会耗尽服务器的CPU资源。工作的数据集大于系统的内存压力、磁盘驱动器的I/O容量。

解决系统增长的方法有两种:垂直扩展和水平扩展。

垂直扩展 通过增加单个服务器的能力来实现,例如使用更强大的CPU,增加更多的内存或存储空间量。由于现有技术的局限性,不能无限制地增加单个机器的配置。此外,云计算供应商提供可用的硬件配置具有严格的上限。其结果是,垂直扩展有一个实际的最大值。

_水平扩展_是通过将系统数据集划分至多台机器,并根据需要添加服务器来提升容量。虽然单个机器的总体速度或容量可能不高,但每台机器只需处理整个数据集的某个子集,所以可能会提供比单个高速大容量服务器更高的效率,而且机器的数量只需要根据数据集大小来进行扩展,与单个机器的高端硬件相比,这个方案可以降低总体成本。不过,这种方式会提高基础设施部署维护的复杂性。

分片集群

下图描述了分片集群中各组件的交互:

分片键

  • 在4.2及更早版本中,分片键字段必须在每个文档中存在一个分片集合。

  • 在MongoDB 4.2和更低版本中,无法在分片后更改分片键的选择。

文档的分片键值决定了其在各个分片中的分布。

  • 在MongoDB 4.0和更早版本中,文档的分片键字段值是不可变的。

分片键索引

分片键策略

Chunks块

Bncer and Even Chunk Distribution 均衡器和均匀分配

分片的优势

读写负载

存储容量

高可用性

将配置服务器和分片作为副本集进行部署可提高可用性。

即使一个或多个分片副本集变得完全不可用,分片群集也可以继续提供部分的读取或写入服务。也就是说,虽然停机期间无法访问不可用分片中的数据子集,但是针对可用分片执行读取或写入操作仍然可以成功。

分片前的注意事项

鉴于分片集群基础架构的要求和复杂性,您需要仔细地制定计划、执行和维护。

分片后,MongoDB不会提供任何方法来对分片集群进行分片。

注意

如果您与MongoDB签订了有效的支持合同,请考虑与您的客户代表联系,以获取分片集群计划和部署方面的帮助。

分片和未分片集合

连接到分片集群

分片策略

哈希分片

提示

使用哈希索引解析查询时,MongoDB会自动计算哈希值,不需要应用程序来计算。

范围分片

分片集群中的区域

Zones区域可以改善跨多个数据中心的分片集群的数据局部性。

选择分片键时,应考虑将来可能使用的区域。

提示

从MongoDB 4.0.3开始,在对空集合或不存在的集合进行分片_之前_设置区域和区域范围可以更快地设置区域分片。

分片中的排序规则

  • 集合必须具有索引,且该索引的前缀是分片键

  • 索引必须具有{ locale: "simple" }排序规则

使用排序规则创建新集合时,请在分片集合之前确保满足这些条件。

注意

Change Streams变更流

事务

在提交事务之前,在事务外部看不到在事务中进行的数据变更。

有关详细信息,请参见:

译者:桂陈

MongoDB中文社区

资源列表推荐
资源入口

MongoDB中文社区官网

微信服务号 ——最新资讯和优质文章

Mongoing中文社区(mongoing-mongoing)

微信订阅号 ——发布文档翻译内容

MongoDB中文用户组(mongoing123)

官方微信号 —— 官方最新资讯

MongoDB数据库(MongoDB-China)

MongoDB中文社区组委会成员介绍

MongoDB中文社区翻译小组介绍

MongoDB中文社区微信技术交流群

添加社区助理小芒果微信(ID:mongoingcom),并备注 mongo

MongoDB中文社区会议及文档资源

MongoDB中文社区大咖博客

MongoDB白皮书

MongoDB初学者教程-7天入门

社区活动邮件订阅

MongoDB通过来实现水平扩展。

MongoDB分片包括以下组件:

:每个shard(分片)包含被分片的数据集中的一个子集。每个分片可以被部署为架构。

:mongos充当查询路由器,在客户端应用程序和分片集群之间提供接口。从MongoDB 4.4开始,mongos可以支持 以最大程度地减少延迟。

:config servers存储了分片集群的元数据和配置信息。

Diagram of a sample sharded cluster for production purposes. Contains exactly 3 config servers, 2 or more ``mongos`` query routers, and at least 2 shards. The shards are replica sets.

MongoDB在级别分片数据,将收集数据分布在集群中的各个分片上。

MongoDB使用分片在各个分片之间分发集合中的文档。分片键由文档中的一个或多个字段组成。

从版本4.4开始,分片集合中的文档可能缺少分片键字段。在跨分片分布文档时,缺少分片键字段将被视为具有空值,但在路由查询时则不会。有关更多信息,请参见 。

在时选择键。

从MongoDB 4.4开始,您可以通过向现有键中添加一个或多个后缀字段来优化集合的分片键。有关详细信息,请参见。

从MongoDB 4.2开始,您可以更新文档的分片键值,除非您的分片键字段为不可变_id字段。有关更多信息,请参见 。

要对已填充的集合进行分片,该集合必须具有以分片键开头的。分片一个空集合时,如果该集合还没有针对指定分片键的适当索引,则MongoDB会创建支持索引。请参阅分片。

分片键的选择会影响分片群集的性能,效率和可伸缩性。选择分片键可以使具有最佳硬件和基础结构的群集成为瓶颈。键及其后备索引的选择也会影响群集可以使用的。

有关更多信息,请参见文档。

MongoDB将分片数据拆分成。每个分块都有一个基于分片上下限范围 。

通过在后台迁移各个上的,来实现集群的所有分片中块的均匀分布。

有关更多信息,请参见进行。

MongoDB将读写工作负载分布在分中的各个分上,从而允许每个分片处理集群操作的子集。通过添加更多分片,可以在集群中水平扩展读写工作负载。

对于包含分片键或键的前缀的查询,可以将查询定位到特定的分片或一组分片。这些通常比到集群中的每个分片更有效。

从MongoDB 4.4开始,可以支持以最大程度地减少延迟。

通过将数据分布到分片集群中的各个中,每个分片只需存储数据集中的部分子集。随着数据集的增长, 通过增加分片的数量即可增加整个集群的存储容量。

为了确保集群的性能和效率,在选择分片键时需要仔细考虑。请参阅 。

分片有一定的。有关更多信息,请参见 。

如果查询条件中没有包含拆分键或拆分键的前缀,节点将执行,即查询分片集群中的所有分片。这些分散/聚集查询可能会变成长耗时的操作。

数据库可以混合使用分片和未分片集合。分片集合被并分布在集群中的各个中。而未分片集合仅存储在中。每个数据库都有自己的主分片。

Diagram of a primary shard. A primary shard contains non-sharded collections as well as chunks of documents from sharded collections. Shard A is the primary shard.

您必须连接到路由器才能与分片任何集合进行交互。这包括分片_和_未分片的集合。客户端永远不要直接连到单个分片来执行读或写操作。

Diagram of applications/drivers issuing queries to mongos for unsharded collection as well as sharded collection. Config servers not shown.

您可以像连接一样来连接,例如通过 shell或MongoDB。

MongoDB支持如下两种分片策略来实现中的分布数据。

哈希分片涉及计算分片键字段值的哈希值。然后,根据散列的分片键值为每个分配一个范围。

Diagram of the hashed based segmentation.

尽管一系列分片键可能是“接近”的,但它们的哈希值不太可能在同。基于哈希值的数据分发有助于更均匀的数据分发,尤其是在分片键更改的数据集中。

但是,哈希分布意味着对分片键的基于范围的查询不太可能针对单个分片,从而导致更多集群范围的。

有关更多信息,请参见。

范围分片根据分片键的值将数据划分为多个范围,然后基于分片键的值分配每个的范围。

Diagram of the shard key value space segmented into smaller ranges or chunks.

值“接近”的一系列分片键更有可能分布在同。好处是便于执行,可以仅将操作路由到包含所需数据的分片上。

范围分片的效率取决于选择的分片键。分片键考虑不周全会导致数据分布不均,这可能会削弱分片的某些优势或导致性能瓶颈。有关请参见 。

有关更多信息,请参见。

在分片集群中,您可以根据分片键创建分片数据的。您可以将每个区域与集群中的一个或多个分片相关联。分片节点可以与任何数量的区域相关联。在分片集群中(已开启均衡器),MongoDB仅迁移到与区域相关的分片节点覆盖的块。

每个区域都覆盖了一个或多个分片的范围。区域覆盖的每个范围始终包括其下边界和上边界。

Diagram of data distribution based on zones in a sharded cluster

在为区域定义区域的新范围时,必须使用分片包含的字段。如果使用键,则范围必须包含分片键的前缀。有关更多信息,请参见。

有关更多信息,请参见。

使用带有collation : { locale : "simple" }选项的命令可以对具备的集合进行分片。分片成功需具备下述条件:

分片集合上的查询继续使用为集合配置的默认排序规则。要使用分片索引的简单排序规则,请在查询的中指定{locale:“ simple”}。

请参阅以获取有关分片和集群的更多信息。

从MongoDB 3.6开始,可用于副本集和分片集群。更改流允许应用程序访问实时的数据更改,避免使用tail oplog带来的复杂性和风险。应用程序可以使用变更流来订阅一个或多个集合上的所有数据变更信息。

从MongoDB 4.2开始,随着功能的引入,集群上可以支持多文档事务。

但是,当事务写入多个分片时,并非所有外部读取操作都需要等待已提交事务的结果在所有分片上可见。例如,如果提交了一个事务,并且在分片A上可以看到写1,但是在分片B上仍然看不到写2,在外部读取时设置读关注为["local"](

← →

原文链接:

MongoDB中文社区—MongoDB爱好者技术交流平台

分片集群
分片键
Chunks块
均衡器和均匀分配
分片的优点
分片前的注意事项
分片和非分片集合
连接到分片群集
分片策略
分片集群中的区域
分片中的排序规则
变更流
事务
分片
分片
集群
分片
副本集
mongos
对冲读取(hedged reads)
config服务器
集合
键
分片键缺失
分片集合
分片
refineCollectionShardKey
更改文档的分片键值
索引
键索引
分片
分片策略
选择分片键
块
键的
均衡器
分片
块
使用块
数据分区
片
集群
片
复合分片
mongos
目标操作
广播
mongos
对冲读取(hedged reads)
分片技术
分片
选择分片键
操作要求和限制
分片集群中的操作限制
复合
mongos
广播操作
分区
分片
主分片
mongos
集群中的
mongod
mongos
mongo
驱动程序
分片集群
块
一块上
单调
广播操作
哈希分片
块
一块上
mongos
针对性的操作
基于范围的分片,
分片键选择
范围分片
区域
键值
键中
复合分片
区域中的分片键
区域
shardCollection
默认排序规则
排序文档
shardCollection
变更流
分布式事务
分片
https://docs.mongodb.com/v4.2/reference/read-concern-local/#readconcern."local"),则可以读取写1的结果而看不到写2的结果。
事务
生产注意事项
生产注意事项(分片群集)
副本集成员状态
分片集群组件
https://docs.mongodb.com/manual/sharding/
https://mongoing.com/
https://mongoing.com/core-team-members
https://mongoing.com/translators
https://mongoing.com/resources
基础知识
性能优化
原理解读
运维监控
最佳实践
https://mongoing.com/mongodb-download-white-paper
https://mongoing.com/mongodb-beginner-tutorial
https://sourl.cn/spszjN