MongoDB-CN-Manual
  • MongoDB中文手册|官方文档中文版
  • MongoDB用户手册说明
  • MongoDB简介
    • 入门
    • 数据库和集合
      • 视图
      • 按需物化视图
      • 封顶集合
      • 时间序列集合
    • 文档
    • BSON类型
      • Comparison and Sort Order
      • MongoDB Extended JSON (v2)
      • MongoDB Extended JSON (v1)
  • 安装 MongoDB
    • 安装MongoDB社区版
      • 在Linux上安装MongoDB社区版
      • 在macOS上安装MongoDB社区版
      • 在Windows上安装MongoDB社区版
    • 安装MongoDB企业版
      • 在Linux上安装MongoDB企业版
      • 在Mac OS安装MongoDB企业版
      • 在Windows安装MongoDB企业版
      • 使用Docker安装MongoDB企业版
    • 将社区版MongoDB升级到企业版MongoDB
    • 验证MongoDB软件包的完整性
  • The mongo Shell
    • 配置mongo Shell
    • 使用 mongo Shell帮助
    • 为mongo Shell编写脚本
    • mongo Shell中的数据类型
    • mongo Shell 快速参考
  • MongoDB CRUD操作
    • 插入文档
      • 插入方法
    • 查询文档
      • 在mongo Shell中迭代游标
      • 从查询返回的项目字段
      • 查询嵌入式文档数组
      • 查询数组
      • 查询空字段或缺少字段
      • 查询嵌入/嵌套文档
    • 更新文档
      • 更新方法
      • 聚合管道更新
    • 删除文档
      • 删除方法
    • 地理空间查询
      • 用地理空间查询查找餐馆
      • GeoJSON对象
    • 批量写入操作
    • 可重试写入
    • 可重试读取
    • SQL到MongoDB的映射图表
    • 文本搜索
      • 文本索引
      • 文本索引操作
      • 集合管道中的文本索引
      • 文本索引语言
    • Read Concern读关注
      • 读关注 "local"
      • 读关注 "available"
      • 读关注 "majority"
      • 读关注 "linearizable"
      • 读关注 "snapshot"
    • Write Concern写关注
    • MongoDB CRUD概念
      • 原子性和事务
      • 读隔离性,一致性和近因性
        • 因果一致性和读写关注
      • 分布式查询
      • 通过findAndModify进行线性化读取
      • 查询计划
      • 查询优化
        • 评估当前操作性能
        • 优化查询性能
        • 写操作性能
        • 说明结果
      • 分析查询表现
      • Tailable 游标
  • MongoDB聚合
    • 聚合管道
      • 聚合管道优化
      • 聚合管道限制
      • 聚合管道和分片集合
      • 使用 Zip Code 数据集进行聚合
      • 使用用户首选项数据进行聚合
    • Map-Reduce
      • Map-Reduce 和分片集合
      • Map-Reduce 并发
      • Map-Reduce 示例
      • 执行增量 Map-Reduce
      • 对 Map Function 进行故障排除
      • 排除 Reduce Function 问题
      • Map-Reduce转换到聚合管道
    • 聚合参考
      • 聚合管道快速参考
      • 聚合命令
      • 聚合命令对比
      • 聚合表达式中的变量
      • SQL 到聚合映射图表
  • MongoDB数据模型
    • 数据建模介绍
    • 模式验证
    • 数据模型设计
      • 一对一嵌套关系模型
  • MongoDB事务
  • MongoDB事务
    • 驱动程序 API
    • 生产注意事项
    • 生产注意事项 (分片集群)
    • 事务操作
  • MongoDB索引
    • 单字段索引
    • 复合索引
    • 多键索引
      • 多键索引范围
    • 文本索引
      • 为文本索引指定语言
      • 指定文本索引的名称
      • 用权重控制搜索结果
      • 限制扫描条目的数量
    • 通配符索引
      • 通配符索引限制
    • 2dsphere 索引
      • 查询一个2dsphere索引
    • 2d 索引
      • 创建一个2d索引
      • 查询一个2d索引
      • 2d索引内部
      • 使用球面几何计算距离
    • geoHaystack 索引
      • 创建Haystack索引
      • 查询Haystack索引
    • 哈希索引
    • 索引特性
      • TTL 索引
        • 通过设置TTL使集合中的数据过期
      • 唯一索引
      • 部分索引
      • 不分大小写索引
      • Sparse 索引
    • 在填充的集合上建立索引
      • 在副本集上建立滚动索引
      • 在分片群集上建立滚动索引
    • 索引交集
    • 管理索引
    • 衡量索引使用
    • 索引策略
      • 创建索引来支持查询
      • 使用索引对查询结果进行排序
      • 确保索引适合RAM
      • 创建以确保选择性的查询
    • 索引参考
  • MongoDB安全
    • 安全检查列表
    • 启用访问控制
    • 身份验证
      • 用户
        • 添加用户
        • 权限认证机制
          • SCRAM
            • 用x.509证书来认证客户端
    • 审计
      • 配置审计过滤器
      • 配置审计
      • 系统事件审计消息
    • 网络和配置强化
    • 安全参考
      • system.roles集合
      • system.users集合
      • 资源文档
      • 权限操作
    • 附录
      • 附录-A-用于测试的 OpenSSl CA 证书
      • 附录-B-用于测试的OpenSSL服务器证书
      • 附录-C-用于测试的OpenSSL客户端证书
  • Change Streams变更流
    • 变更流生产建议
    • 变更事件
  • MongoDB复制
    • 副本集成员
    • 副本集日志
    • 副本集数据同步
    • 副本集部署架构
    • 副本集成员配置教程
    • 副本集维护教程
    • MongoDB复制参考
  • MongoDB分片
    • 分片集群组件
    • 分片键
    • 哈希分片
    • 范围分片
    • 区
      • 管理分片区
      • 按位置细分数据
      • 用于更改SLA或SLO的分层硬件
      • 按应用或客户细分数据
      • 仅插入工作负载的分布式本地写入
      • 管理分片区
    • 使用块进行数据分区
      • 在分片集群中拆分数据块
    • 分片管理
      • 查看集群设置
    • 重启一个分片集群
    • [把一个分片集群迁移到不同的硬件](fen-pian/migrate-a -sharded-cluster-to-different-hardware.md)
    • 分片参考
  • MongoDB管理
    • 产品说明
    • 操作检查列表
    • 开发检查列表
    • 配置和维护
    • 性能
    • 数据中心意识
      • MongoDB部署中的工作负载隔离
      • 区
        • 管理分片区
        • 按位置细分数据
        • 用于更改SLA或SLO的分层硬件
        • 按应用或客户细分数据
        • 仅插入工作负载的分布式本地写入
        • 管理分片区
    • MongoDB备份方法
    • MongoDB监控
  • MongoDB存储
    • 存储引擎
      • WiredTiger 存储引擎
      • 内存存储引擎
    • 日志记录
      • 管理日志记录
        • GridFS
        • FAQ:MongoDB 存储
  • MongoDB参考
    • 运算符
      • 查询与映射运算符
        • 比较查询运算符
          • $eq
          • $gt
          • $gte
          • $in
          • $lt
          • $lte
          • $ne
          • $nin
        • 逻辑查询运算符
          • $and
          • $not
          • $nor
          • $or
        • 元素查询运算符
        • 评估查询运算符
        • 地理空间查询运算符
        • 数组查询运算符
        • 按位查询运算符
        • $comment
        • 映射运算符
      • 更新运算符
        • 字段更新运算符
        • 数组更新运算符
        • 按位更新运算符
      • 聚合管道阶段
      • 聚合管道操作符
        • $abs (aggregation)
        • $acos (aggregation)
        • $acosh (aggregation)
        • $add (aggregation)
        • $addToSet (aggregation)
        • $allElementsTrue (aggregation)
        • $and (aggregation)
        • $anyElementTrue (aggregation)
        • $arrayElemAt (aggregation)
        • $arrayToObject (aggregation)
        • $asin (aggregation)
        • $asinh (aggregation)
        • $atan (aggregation)
        • $atan2 (aggregation)
        • $atanh (aggregation)
        • $avg (aggregation)
        • $ceil (aggregation)
        • $cmp (aggregation)
        • $concat (aggregation)
        • $concatArrays (aggregation)
        • $cond (aggregation)
        • $convert (aggregation)
        • $cos (aggregation)
        • $dateFromParts (aggregation)
        • $dateToParts (aggregation)
        • $dateFromString (aggregation)
        • $literal (aggregation)
      • 查询修饰符
    • 数据库命令
      • 聚合命令
      • 地理空间命令
      • 查询和写操作命令
      • 查询计划缓存命令
      • 认证命令
      • 用户管理命令
      • 角色管理命令
      • 复制命令
      • 分片命令
      • 会话命令
      • 管理命令
      • 诊断命令
      • 免费监控命令
      • 系统事件审计命令
    • mongo Shell 方法
      • 集合方法
        • db.collection.aggregate()
        • db.collection.bulkWrite()
        • db.collection.copyTo()
        • db.collection.count()
        • db.collection.countDocuments()
        • db.collection.estimatedDocumentCount()
        • db.collection.createIndex()
        • db.collection.createIndexes()
        • db.collection.dataSize()
        • db.collection.deleteOne()
        • db.collection.deleteMany()
        • db.collection.distinct()
        • db.collection.drop()
        • db.collection.dropIndex()
        • db.collection.dropIndexes()
        • db.collection.ensureIndex()
        • db.collection.explain()
        • db.collection.find()
        • db.collection.findAndModify()
        • db.collection.findOne()
        • db.collection.findOneAndDelete()
        • db.collection.findOneAndReplace()
        • db.collection.findOneAndUpdate()
        • db.collection.getIndexes()
        • db.collection.getShardDistribution()
        • db.collection.getShardVersion()
        • db.collection.insert()
        • db.collection.insertOne()
        • db.collection.insertMany()
        • db.collection.isCapped()
        • db.collection.latencyStats()
        • db.collection.mapReduce()
        • db.collection.reIndex()
        • db.collection.remove()
        • db.collection.renameCollection()
        • db.collection.replaceOne()
        • db.collection.save()
        • db.collection.stats()
        • db.collection.storageSize()
        • db.collection.totalIndexSize()
        • db.collection.totalSize()
        • db.collection.update()
        • db.collection.updateOne()
        • db.collection.updateMany()
        • db.collection.watch()
        • db.collection.validate()
    • MongoDB中的限制与阈值
    • MongoDB系统集合
    • 词汇表
    • 默认的MongoDB端口
    • 默认的MongoDB读/写关注
    • 服务器会话
  • MongoDB FAQ
    • FAQ: MongoDB基础知识
    • FAQ: MongoDB索引
    • FAQ: MongoDB并发
    • FAQ: MongoDB分片
    • FAQ: MongoDB复制和副本集
    • FAQ: MongoDB存储
    • FAQ: MongoDB诊断
  • MongoDB 版本管理
  • 联系我们
    • Tapdata Cloud
    • MongoDB中文社区
    • 社区合作伙伴—锦木信息
由 GitBook 提供支持
在本页
  • 分片键格式
  • 改变一个文档的分片键值
  • 分片键索引
  • 唯一索引
  • 选择一个分片键
  • 限制
  • 集合大小
  • 分片键基数
  • 分片键频率
  • 单调变化的分片键
  1. MongoDB分片

分片键

上一页分片集群组件下一页哈希分片

最后更新于3年前

本页面中

分片键决定了集合内的文档如何在集群的多个分片间的分布状况。分片键要么是一个索引字段,要么是一个存在于集合内所有文档中的复合索引字段。

MongoDB使用分片键值范围对集合中的数据进行分区。每个范围都定义了一个分片键值的非重叠范围,并且与一个chunk(数据块,下同)相关联。

MongoDB尝试在集群中的各个分片之间平均分配数据块。 分片键与数据块分配的有效性直接相关。 请参阅。

shard key

重要

  • 一旦你对一个集合分片,那么其分片键就不可再改变;也就是说,你不可以对这个集合再重新选择另一个不一样的分片键。

  • 从MongoDB4.2版本开始,除非分片键是不可变的_id字段,否则你可以更新文档的分片键值。有关更新分片键的详细信息,请参考【修改文档的分片键值】。

在MongoDB4.2之前的版本,文档的分片键字段值是不可变的。

分片键格式

为了将一个集合分片,你必须在sh.shardCollection()方法中指定目标集合和分片键:

sh.shardCollection( namespace, key )
  • namespace参数由字符串<database>.<collection>组成,该字符串指定目标集合的完整命名空间。

  • key参数由包含一个字段和该字段的索引遍历方向的文档组成。

有关使用散列或范围分片策略对集合进行分片的说明,请参阅【对集合进行分片】。

改变一个文档的分片键值

更新分片键时

  • 必须在事务中或以可重试写入方式在mongos上运行。 不要直接在分片上执行操作。

  • 您必须在查询过滤器的完整分片键上包含相等条件。 例如,如果一个分片集合内使用{country:1,userid:1}作为分片键,要想更新文档的分片键,则必须在查询过滤器中包含country:<value>,userid:<value>。 也可以根据需要在查询中包括其他字段。

从MongoDB 4.2版本开始,除非分片键字段是不可变的_id字段,否则您可以更新文档的分片键值。 若要更新,请使用以下操作来更新文档的分片键值:

命令
方法

分片键索引

所有分片集合都必须具有支持分片键的索引。 即索引可以是分片键的索引;也可以是复合索引,其中分片键是索引的前缀。

  • 如果集合为空,则sh.shardCollection()在分片键上创建索引(如果该索引尚不存在)。

  • 如果集合不为空,则必须先创建索引,然后再使用sh.shardCollection()。

如果你删除了分片键的最后一个有效索引,请通过仅在分片键上重新创建索引来恢复。

唯一索引

您不能在哈希索引上指定唯一约束。

对于一个范围分片的集合,只有以下索引可以是唯一的

  • 分片键索引

  • 一个已分片键为前缀的复合索引

  • 默认的_id索引; 但是,如果_id字段不是分片键或分片键的前缀,则_id索引仅对每个分片强制执行唯一性约束。

关于_id索引和唯一性

如果_id字段不是分片键或分片键的前缀,则_id索引仅对每个分片(而非跨分片)强制实施唯一性约束。

例如,考虑一个跨越两个分片A和B的分片集合(具有分片键{x:1})。由于_id键不是分片键的一部分,因此该集合可能在分片A中具有_id值为1的文档。 以及分片B中_id值为1的另一个文档。

如果_id字段不是分片键也不是分片键的前缀,则MongoDB期望应用程序来保证整个分片上_id值的唯一性。

唯一的索引约束意味着:

  • 对于一个即将要分片的集合,如果该集合具有其他唯一索引,则无法分片该集合。

  • 对于已分片的集合,不能在其他字段上创建唯一索引。

通过使用分片键上的唯一索引,MongoDB可以对分片键值实施唯一性约束。 MongoDB在整个键组合上(而不是分片键的单个组件)实施唯一性约束。 要对分片键值实施唯一性约束,请将unique参数设置为true传递给sh.shardCollection()方法:

  • 如果集合为空,则sh.shardCollection()在分片键上创建唯一索引(如果该索引尚不存在)。

  • 如果集合不为空,则必须先创建索引,然后再使用sh.shardCollection()。

尽管可以有一个唯一的复合索引,其中分片键是一个前缀,但是如果使用unique参数,则集合必须在分片键上具有唯一索引。

选择一个分片键

分片键的选择会影响可用分片中数据块的创建和分布。 这会影响分片群集内操作的整体效率和性能。

分片键会影响分片群集使用的分片策略的性能和效率。

理想的分片键允许MongoDB在整个集群中均匀地分布所有文档。

至少要综合考虑潜在分片键的基数,频率和变化率等指标。

限制

集合大小

重要 一个分片集合在成功分片之后就可以增长到任意大小,没有上限。

分片键基数

分片键的基数确定平衡器可以创建的最大数据块的数目。这会降低或消除集群中水平缩放的有效性。

在任何给定时间,唯一的分片键值最多只能存在一个块上。 如果分片密钥的基数为4,则分片集群中最多只能有4个块,每个块存储一个唯一的分片密钥值。 这也将群集中的有效分片数量也限制为4个-添加额外的分片不会提供任何好处。

下图说明了使用字段X作为分片键的分片群集。 如果X具有低基数,则插入的分布可能类似于以下内容:

在此示例中,集群不会水平扩展,因为传入的写入将仅路由到分片的子集。

具有高基数的分片键虽然可以更好地促进水平扩展,但不能保证在分片集群中均匀分布数据。 分片键的频率和变化率也有助于数据分配。 选择分片键时,请考虑每个因素。

如果您的数据模型需要在具有低基数的键上分片,请考虑使用具有较高相对基数的字段的复合索引。

分片键频率

考虑一个代表分片键值范围的集合-分片键的频率代表给定值在数据中出现的频率。 如果大多数文档仅包含这些值的子集,那么存储这些文档的数据块将成为群集中的瓶颈。 此外,随着这些数据块的增长,它们可能会变成不可分割的数据块,因为它们无法进一步拆分。 这将降低或消除群集内水平扩展的有效性。

下图说明了使用字段X作为分片键的分片群集。 如果X值的子集高频出现,则插入的分布可能类似于以下内容:

低频的分片键不能保证整个分片群集中的数据均匀分布。 分片密钥的基数和变化率也有助于数据分配。 选择分片键时,请考虑每个因素。

如果您的数据模型需要在具有高频值的键上分片,请考虑使用具有唯一或低频值的复合索引。

单调变化的分片键

值单调增加或减少的分片键更有可能将插入内容分布到集群中的单个分片上。

发生这种情况是因为每个集群都有一个大数据块,该大数据块捕获具有maxKey上限的范围。 maxKey始终比所有其他值更高。 类似地,有一个块用minKey的下限捕获范围。 minKey总是比所有其他值都低。

如果分片键值始终在增加,则所有新插入都将路由到以maxKey为上限的块。 如果分片键值始终在减小,则所有新插入都将路由到以minKey为下限的块。 包含该块的分片将成为写操作的瓶颈。

下图说明了使用字段X作为分片键的分片群集。 如果X的值单调增加,则插入的分布可能类似于以下内容:

如果分片键值单调递减,则所有插入都将路由到数据块A。

不能单调更改的分片键不能保证整个分片群集中的数据均匀分布。 分片键的基数和频率也有助于数据分配。 选择分片键时,请考虑每一个因素。

如果您的数据模型需要对单调更改的键进行分片,请考虑使用哈希分片。

译者:刘翔

with multi: false

with multi: false

如果分片键修改导致将文档移动到另一个分片,则在批量操作中不能指定多个分片键修改;即批量大小为1。 如果分片键修改不会导致将文档移动到另一个分片,则可以在批量操作中指定多个分片键修改。

choosing a shard key

有关分片键的限制,请参阅。

在对一个不为空的集合进行分片时,分片键只能为初始分片操作限制最大支持的集合大小。 请参阅。

sharded-cluster-ranged-distribution-low-cardinal
sharded-cluster-ranged-distribution-frequency
sharded-cluster-monotonic-distribution

原文链接:

分片键限制
分片现有集合数据大小
https://docs.mongodb.com/manual/core/sharding-shard-key/
update
db.collection.replaceOne()
db.collection.updateOne()
db.collection.update()
findAndModify
db.collection.findOneAndReplace()
db.collection.findOneAndUpdate()
db.collection.findAndModify()
db.collection.bulkWrite()
Bulk.find.updateOne()
分片键格式
改变一个文档的分片键值
分片键索引
选择一个分片键
选择分片键