MongoDB-CN-Manual
  • MongoDB中文手册|官方文档中文版
  • MongoDB用户手册说明
  • MongoDB简介
    • 入门
    • 数据库和集合
      • 视图
      • 按需物化视图
      • 封顶集合
      • 时间序列集合
    • 文档
    • BSON类型
      • Comparison and Sort Order
      • MongoDB Extended JSON (v2)
      • MongoDB Extended JSON (v1)
  • 安装 MongoDB
    • 安装MongoDB社区版
      • 在Linux上安装MongoDB社区版
      • 在macOS上安装MongoDB社区版
      • 在Windows上安装MongoDB社区版
    • 安装MongoDB企业版
      • 在Linux上安装MongoDB企业版
      • 在Mac OS安装MongoDB企业版
      • 在Windows安装MongoDB企业版
      • 使用Docker安装MongoDB企业版
    • 将社区版MongoDB升级到企业版MongoDB
    • 验证MongoDB软件包的完整性
  • The mongo Shell
    • 配置mongo Shell
    • 使用 mongo Shell帮助
    • 为mongo Shell编写脚本
    • mongo Shell中的数据类型
    • mongo Shell 快速参考
  • MongoDB CRUD操作
    • 插入文档
      • 插入方法
    • 查询文档
      • 在mongo Shell中迭代游标
      • 从查询返回的项目字段
      • 查询嵌入式文档数组
      • 查询数组
      • 查询空字段或缺少字段
      • 查询嵌入/嵌套文档
    • 更新文档
      • 更新方法
      • 聚合管道更新
    • 删除文档
      • 删除方法
    • 地理空间查询
      • 用地理空间查询查找餐馆
      • GeoJSON对象
    • 批量写入操作
    • 可重试写入
    • 可重试读取
    • SQL到MongoDB的映射图表
    • 文本搜索
      • 文本索引
      • 文本索引操作
      • 集合管道中的文本索引
      • 文本索引语言
    • Read Concern读关注
      • 读关注 "local"
      • 读关注 "available"
      • 读关注 "majority"
      • 读关注 "linearizable"
      • 读关注 "snapshot"
    • Write Concern写关注
    • MongoDB CRUD概念
      • 原子性和事务
      • 读隔离性,一致性和近因性
        • 因果一致性和读写关注
      • 分布式查询
      • 通过findAndModify进行线性化读取
      • 查询计划
      • 查询优化
        • 评估当前操作性能
        • 优化查询性能
        • 写操作性能
        • 说明结果
      • 分析查询表现
      • Tailable 游标
  • MongoDB聚合
    • 聚合管道
      • 聚合管道优化
      • 聚合管道限制
      • 聚合管道和分片集合
      • 使用 Zip Code 数据集进行聚合
      • 使用用户首选项数据进行聚合
    • Map-Reduce
      • Map-Reduce 和分片集合
      • Map-Reduce 并发
      • Map-Reduce 示例
      • 执行增量 Map-Reduce
      • 对 Map Function 进行故障排除
      • 排除 Reduce Function 问题
      • Map-Reduce转换到聚合管道
    • 聚合参考
      • 聚合管道快速参考
      • 聚合命令
      • 聚合命令对比
      • 聚合表达式中的变量
      • SQL 到聚合映射图表
  • MongoDB数据模型
    • 数据建模介绍
    • 模式验证
    • 数据模型设计
      • 一对一嵌套关系模型
  • MongoDB事务
  • MongoDB事务
    • 驱动程序 API
    • 生产注意事项
    • 生产注意事项 (分片集群)
    • 事务操作
  • MongoDB索引
    • 单字段索引
    • 复合索引
    • 多键索引
      • 多键索引范围
    • 文本索引
      • 为文本索引指定语言
      • 指定文本索引的名称
      • 用权重控制搜索结果
      • 限制扫描条目的数量
    • 通配符索引
      • 通配符索引限制
    • 2dsphere 索引
      • 查询一个2dsphere索引
    • 2d 索引
      • 创建一个2d索引
      • 查询一个2d索引
      • 2d索引内部
      • 使用球面几何计算距离
    • geoHaystack 索引
      • 创建Haystack索引
      • 查询Haystack索引
    • 哈希索引
    • 索引特性
      • TTL 索引
        • 通过设置TTL使集合中的数据过期
      • 唯一索引
      • 部分索引
      • 不分大小写索引
      • Sparse 索引
    • 在填充的集合上建立索引
      • 在副本集上建立滚动索引
      • 在分片群集上建立滚动索引
    • 索引交集
    • 管理索引
    • 衡量索引使用
    • 索引策略
      • 创建索引来支持查询
      • 使用索引对查询结果进行排序
      • 确保索引适合RAM
      • 创建以确保选择性的查询
    • 索引参考
  • MongoDB安全
    • 安全检查列表
    • 启用访问控制
    • 身份验证
      • 用户
        • 添加用户
        • 权限认证机制
          • SCRAM
            • 用x.509证书来认证客户端
    • 审计
      • 配置审计过滤器
      • 配置审计
      • 系统事件审计消息
    • 网络和配置强化
    • 安全参考
      • system.roles集合
      • system.users集合
      • 资源文档
      • 权限操作
    • 附录
      • 附录-A-用于测试的 OpenSSl CA 证书
      • 附录-B-用于测试的OpenSSL服务器证书
      • 附录-C-用于测试的OpenSSL客户端证书
  • Change Streams变更流
    • 变更流生产建议
    • 变更事件
  • MongoDB复制
    • 副本集成员
    • 副本集日志
    • 副本集数据同步
    • 副本集部署架构
    • 副本集成员配置教程
    • 副本集维护教程
    • MongoDB复制参考
  • MongoDB分片
    • 分片集群组件
    • 分片键
    • 哈希分片
    • 范围分片
    • 区
      • 管理分片区
      • 按位置细分数据
      • 用于更改SLA或SLO的分层硬件
      • 按应用或客户细分数据
      • 仅插入工作负载的分布式本地写入
      • 管理分片区
    • 使用块进行数据分区
      • 在分片集群中拆分数据块
    • 分片管理
      • 查看集群设置
    • 重启一个分片集群
    • [把一个分片集群迁移到不同的硬件](fen-pian/migrate-a -sharded-cluster-to-different-hardware.md)
    • 分片参考
  • MongoDB管理
    • 产品说明
    • 操作检查列表
    • 开发检查列表
    • 配置和维护
    • 性能
    • 数据中心意识
      • MongoDB部署中的工作负载隔离
      • 区
        • 管理分片区
        • 按位置细分数据
        • 用于更改SLA或SLO的分层硬件
        • 按应用或客户细分数据
        • 仅插入工作负载的分布式本地写入
        • 管理分片区
    • MongoDB备份方法
    • MongoDB监控
  • MongoDB存储
    • 存储引擎
      • WiredTiger 存储引擎
      • 内存存储引擎
    • 日志记录
      • 管理日志记录
        • GridFS
        • FAQ:MongoDB 存储
  • MongoDB参考
    • 运算符
      • 查询与映射运算符
        • 比较查询运算符
          • $eq
          • $gt
          • $gte
          • $in
          • $lt
          • $lte
          • $ne
          • $nin
        • 逻辑查询运算符
          • $and
          • $not
          • $nor
          • $or
        • 元素查询运算符
        • 评估查询运算符
        • 地理空间查询运算符
        • 数组查询运算符
        • 按位查询运算符
        • $comment
        • 映射运算符
      • 更新运算符
        • 字段更新运算符
        • 数组更新运算符
        • 按位更新运算符
      • 聚合管道阶段
      • 聚合管道操作符
        • $abs (aggregation)
        • $acos (aggregation)
        • $acosh (aggregation)
        • $add (aggregation)
        • $addToSet (aggregation)
        • $allElementsTrue (aggregation)
        • $and (aggregation)
        • $anyElementTrue (aggregation)
        • $arrayElemAt (aggregation)
        • $arrayToObject (aggregation)
        • $asin (aggregation)
        • $asinh (aggregation)
        • $atan (aggregation)
        • $atan2 (aggregation)
        • $atanh (aggregation)
        • $avg (aggregation)
        • $ceil (aggregation)
        • $cmp (aggregation)
        • $concat (aggregation)
        • $concatArrays (aggregation)
        • $cond (aggregation)
        • $convert (aggregation)
        • $cos (aggregation)
        • $dateFromParts (aggregation)
        • $dateToParts (aggregation)
        • $dateFromString (aggregation)
        • $literal (aggregation)
      • 查询修饰符
    • 数据库命令
      • 聚合命令
      • 地理空间命令
      • 查询和写操作命令
      • 查询计划缓存命令
      • 认证命令
      • 用户管理命令
      • 角色管理命令
      • 复制命令
      • 分片命令
      • 会话命令
      • 管理命令
      • 诊断命令
      • 免费监控命令
      • 系统事件审计命令
    • mongo Shell 方法
      • 集合方法
        • db.collection.aggregate()
        • db.collection.bulkWrite()
        • db.collection.copyTo()
        • db.collection.count()
        • db.collection.countDocuments()
        • db.collection.estimatedDocumentCount()
        • db.collection.createIndex()
        • db.collection.createIndexes()
        • db.collection.dataSize()
        • db.collection.deleteOne()
        • db.collection.deleteMany()
        • db.collection.distinct()
        • db.collection.drop()
        • db.collection.dropIndex()
        • db.collection.dropIndexes()
        • db.collection.ensureIndex()
        • db.collection.explain()
        • db.collection.find()
        • db.collection.findAndModify()
        • db.collection.findOne()
        • db.collection.findOneAndDelete()
        • db.collection.findOneAndReplace()
        • db.collection.findOneAndUpdate()
        • db.collection.getIndexes()
        • db.collection.getShardDistribution()
        • db.collection.getShardVersion()
        • db.collection.insert()
        • db.collection.insertOne()
        • db.collection.insertMany()
        • db.collection.isCapped()
        • db.collection.latencyStats()
        • db.collection.mapReduce()
        • db.collection.reIndex()
        • db.collection.remove()
        • db.collection.renameCollection()
        • db.collection.replaceOne()
        • db.collection.save()
        • db.collection.stats()
        • db.collection.storageSize()
        • db.collection.totalIndexSize()
        • db.collection.totalSize()
        • db.collection.update()
        • db.collection.updateOne()
        • db.collection.updateMany()
        • db.collection.watch()
        • db.collection.validate()
    • MongoDB中的限制与阈值
    • MongoDB系统集合
    • 词汇表
    • 默认的MongoDB端口
    • 默认的MongoDB读/写关注
    • 服务器会话
  • MongoDB FAQ
    • FAQ: MongoDB基础知识
    • FAQ: MongoDB索引
    • FAQ: MongoDB并发
    • FAQ: MongoDB分片
    • FAQ: MongoDB复制和副本集
    • FAQ: MongoDB存储
    • FAQ: MongoDB诊断
  • MongoDB 版本管理
  • 联系我们
    • Tapdata Cloud
    • MongoDB中文社区
    • 社区合作伙伴—锦木信息
由 GitBook 提供支持
在本页
  • 注意事项
  • 唯一索引
  • Oplog大小
  • 前提条件
  • 程序
  • A. 停止平衡器
  • B. 确定集合的分布
  • C. 在包含集合块的碎片上构建索引
  • D. 对其他受影响的分片重复此操作
  • E.重新启动平衡器
  • 附加信息
  1. MongoDB索引
  2. 在填充的集合上建立索引

在分片群集上建立滚动索引

上一页在副本集上建立滚动索引下一页索引交集

最后更新于3年前

在本页面

索引构建会影响分片集群的性能。默认情况下,MongoDB 4.4及以后版本在所有承载数据的复制集成员上同时构建索引。基于分片集群的索引仅发生在那些包含被索引的集合数据的分片上。对于不能容忍由于索引构建而导致性能下降的工作负载,可以考虑使用以下过程以滚动方式构建索引。

滚动索引构建一次最多取出一个碎片复制集成员(从辅助成员开始),并在该成员上作为一个独立的成员构建索引。构建滚动索引需要每个碎片至少进行一次复制集选择。

注意事项

唯一索引

要使用以下过程创建,必须在此过程中停止对集合的所有写操作。

如果在此过程中无法停止对集合的所有写操作,请不要使用此页面上的过程。相反,可以通过在分片群集上发出来在集合上构建唯一索引。

Oplog大小

确保您的足够大,以允许索引或重新索引操作完成,而不会落后太多而无法跟上。参见文档了解更多信息。

前提条件

  • 用于构建唯一索引

    1.要使用以下过程创建唯一索引,必须在索引生成期间停止对集合的所有写操作。否则,复制集成员之间的数据可能会不一致。如果 不能停止对集合的所有写操作,请不要使用以下过程创建唯一索引。

    警告

    如果不能停止对集合的所有写操作,请不要使用以下过程创建唯一索引。

程序

重要

以下以滚动方式构建索引的过程适用于分片集群部署,而不适用于复制集部署。关于复制集的过程,请参见复制集上的滚动索引构建。

A. 停止平衡器

sh.stopBalancer()

注意

如果迁移正在进行中,系统将在停止平衡器之前完成迁移。

sh.getBalancerState()

B. 确定集合的分布

例如,如果您想在test 数据库的records集合上使用升序索引:

db.adminCommand( { flushRouterConfig: "test.records" } );
db.records.getShardDistribution();
Shard shardA at shardA/s1-mongo1.example.net:27018,s1-mongo2.example.net:27018,s1-mongo3.example.net:27018
 data : 1KiB docs : 50 chunks : 1
 estimated data per chunk : 1KiB
 estimated docs per chunk : 50

Shard shardC at shardC/s3-mongo1.example.net:27018,s3-mongo2.example.net:27018,s3-mongo3.example.net:27018
 data : 1KiB docs : 50 chunks : 1
 estimated data per chunk : 1KiB
 estimated docs per chunk : 50

Totals
 data : 3KiB docs : 100 chunks : 2
 Shard shardA contains 50% data, 50% docs in cluster, avg obj size on shard : 40B
 Shard shardC contains 50% data, 50% docs in cluster, avg obj size on shard : 40B

从输出中,您只为test构建索引。记录在shardA和shardC。

C. 在包含集合块的碎片上构建索引

对于包含集合块的每个分片,遵循以下过程在分片上构建索引。

C1. 停止一个辅助设备并独立重启

  • 配置文件

如果您正在使用配置文件,请进行以下配置更新:

  • 在设置参数部分将参数disableLogicalSessionCacheRefresh设置为true。

例如,对于一个分片复制集成员,更新后的配置文件将包括如下示例所示的内容:

net:
   bindIp: localhost,<hostname(s)|ip address(es)>
   port: 27218
#   port: 27018
#replication:
#   replSetName: shardA
#sharding:
#   clusterRole: shardsvr
setParameter:
   skipShardingConfigurationChecks: true
   disableLogicalSessionCacheRefresh: true

并重新启动:

mongod --config <path/To/ConfigFile>
  • 命令行选项

如果使用命令行选项,请进行以下配置更新:

mongod --port 27218 --setParameter skipShardingConfigurationChecks=true --setParameter disableLogicalSessionCacheRefresh=true

C2. 建立索引

db.records.createIndex( { username: 1 } )

C3. 重新启动程序 mongod 作为复制集成员

重要

例如,重新启动你的复制集分片成员:

  • 配置文件

如果您正在使用配置文件,请进行以下配置更新:

  • 恢复为原始端口号。

net:
   bindIp: localhost,<hostname(s)|ip address(es)>
   port: 27018
replication:
   replSetName: shardA
sharding:
   clusterRole: shardsvr

并重新启动:

mongod --config <path/To/ConfigFile>
  • 命令行选项

如果使用命令行选项,请进行以下配置更新:

  • 恢复为原始端口号。

  • 删除参数disableLogicalSessionCacheRefresh。

例如:

mongod --port 27018 --replSet shardA --shardsvr

C4. 对分片的其他次要数据重复此过程

一旦该成员赶上了集合中的其他成员,就对分片中剩余的次要成员一次重复这个过程:

C5. 在主服务器上构建索引

当分片的所有辅助数据库都具有新索引时,请降低分片的主数据库,使用上述步骤以独立方式重新启动它,然后在前一个主数据库上建立索引:

D. 对其他受影响的分片重复此操作

E.重新启动平衡器

为受影响的分片完成滚动索引构建后,重新启动平衡器。

sh.startBalancer()

附加信息

如果在包含集合块的每个分片上没有完全相同的索引(包括索引选项),则分片集合具有不一致的索引。虽然在正常操作中不应该出现索引不一致的情况,但也会出现索引不一致的情况,例如:

  • 当用户正在创建一个索引,一个“唯一”的关键约束和一个分片包含块与重复的文档。在这种情况下,创建索引操作可能在没有重复的分片上成功,但在有重复的切分上失败。

  • 当用户以滚动方式在多个切片之间创建索引,但要么未能为关联的切片建立索引,要么不正确地建立了不同规格的索引。

2.在创建索引之前,验证集合中没有文档违反索引约束。如果一个集合分布在多个切片上,而一个切片中包含有重复文档的块,那么 创建索引操作可能在没有重复的切片上成功,但在有重复的切片上失败。为了避免在多个碎片之间留下不一致的索引,可以从 mongos中发出来从集合中删除索引。

将shell连接到分片 群集中的实例,然后运行以禁用平衡器:

要验证均衡器被禁用,运行,如果均衡器被禁用,将返回false:

在shell连接程序 ,刷新缓存的路由表, 以免返回该集合的陈旧分发信息。刷新后,运行 要构建索引的集合。

该方法输出切分分布。例如,考虑一个分片集群,有3个分片**' shardA '、' shardB '和' shardC '**, 返回以下结果:

对于受影响的分片,停止与其辅助节点之一相关联的过程。在进行以下配置更新后重新启动:

将更改为其他端口。记下原始端口设置作为注释。

注释掉该选项。

注释掉该选项。

在部分 中将参数设置(也适用于MongoDB 3.6.3 +,3.4.11 +,3.2.19 +) true

其他设置(例如等)保持不变。

修改为其他端口。

删除。

如果分片成员和配置服务器成员则删除。

在选项中将参数 (也可用于MongoDB 3.6.3+、3.4.11+、3.2.19+)设置为true。

在 选项中设置参数disableLogicalSessionCacheRefresh为true。

例如,重新启动不带和 选项的分片副本集成员。指定新的端口号,并将和 disableLogicalSessionCacheRefresh参数都设置 为true:

其他设置(例如等)保持不变。

直接连接到实例作为一个独立的运行在新的端口上,并为这个实例创建新的索引。

例如,将shell连接到实例,并使用方法username在records 集合的字段上创建升序索引:

当索引构建完成时,关闭实例。撤销作为独立启动时所做的配置更改,以返回原始配置并重新启动。

一定要删除参数和' **disableLogicalSessionCacheRefresh '**参数。

取消注释。

取消注释。

在该部分中删除参数。

disableLogicalSessionCacheRefresh 在该部分中删除参数。

其他设置(例如等)保持不变。

包括。

包括分片成员或配置服务器成员。

删除参数 。

其他设置(例如等)保持不变。

使用外壳程序中的方法降低主数据库的性能。成功降级后,当前的主节点将成为辅助节点,复制集成员将选择新的主节点。

在为切分构建完索引之后,重复。

一旦完成了为分片,请重复步骤 为其他受影响的分片。

将shell连接到分片 群集中的实例,然后运行:

从MongoDB 4.4(和4.2.6)开始,主定期检查分片集合中各分片之间的索引不一致。要配置这些定期检查,请参阅 和 。

当在配置服务器主服务器上运行时,该命令返回该字段 以报告索引不一致情况。

要检查分片集合是否具有不一致的索引,请参阅 。

db.collection.dropIndex()
mongo
mongos
sh.stopBalancer()
sh.getBalancerState()
mongo
mongos
mongos
db.collection.getShardDistribution()
' db.collection.getShardDistribution() '
mongod
net.port
replication.replSetName
sharding.clusterRole
skipShardingConfigurationChecks
setParameter
' storage.dbPath '
--port
--replSet
--shardsvr
--configsvr
--setParameter
skipShardingConfigurationChecks
--setParameter
--replSet
--shardsvr
skipShardingConfigurationChecks
--dbpath
' mongod '
mongo
db.collection.createIndex()
' mongod '
' skipShardingConfigurationChecks '
replication.replSetName
sharding.clusterRole
skipShardingConfigurationChecks
setParameter
setParameter
' storage.dbPath '
--replSet
--shardsvr
--configsvr
skipShardingConfigurationChecks
--dbpath
C1.停止一台备用服务器并独立启动
C2.建立索引
C3.重新启动程序mongod作为副本集成员
rs.stepDown()
mongo
C1.停止一台备用服务器并独立启动
C2.建立索引
C3.重新启动程序mongod作为副本集成员
C]。在包含集合块的切分上为其他受影响的切分构建索引
建立索引
C .在包含集合块的碎片上构建索引
建立索引
mongo
mongos
sh.startBalancer()
配置服务器
服务器会
enableShardedIndexConsistencyCheck
shardedIndexConsistencyCheckIntervalMS
serverStatus
shardedIndexConsistency
查找分片中的不一致索引
唯一索引
db.collection.createIndex()
mongos
oplog
oplog sizing
注意事项
前提条件
程序
附加信息