MongoDB-CN-Manual
  • MongoDB中文手册|官方文档中文版
  • MongoDB用户手册说明
  • MongoDB简介
    • 入门
    • 数据库和集合
      • 视图
      • 按需物化视图
      • 封顶集合
      • 时间序列集合
    • 文档
    • BSON类型
      • Comparison and Sort Order
      • MongoDB Extended JSON (v2)
      • MongoDB Extended JSON (v1)
  • 安装 MongoDB
    • 安装MongoDB社区版
      • 在Linux上安装MongoDB社区版
      • 在macOS上安装MongoDB社区版
      • 在Windows上安装MongoDB社区版
    • 安装MongoDB企业版
      • 在Linux上安装MongoDB企业版
      • 在Mac OS安装MongoDB企业版
      • 在Windows安装MongoDB企业版
      • 使用Docker安装MongoDB企业版
    • 将社区版MongoDB升级到企业版MongoDB
    • 验证MongoDB软件包的完整性
  • The mongo Shell
    • 配置mongo Shell
    • 使用 mongo Shell帮助
    • 为mongo Shell编写脚本
    • mongo Shell中的数据类型
    • mongo Shell 快速参考
  • MongoDB CRUD操作
    • 插入文档
      • 插入方法
    • 查询文档
      • 在mongo Shell中迭代游标
      • 从查询返回的项目字段
      • 查询嵌入式文档数组
      • 查询数组
      • 查询空字段或缺少字段
      • 查询嵌入/嵌套文档
    • 更新文档
      • 更新方法
      • 聚合管道更新
    • 删除文档
      • 删除方法
    • 地理空间查询
      • 用地理空间查询查找餐馆
      • GeoJSON对象
    • 批量写入操作
    • 可重试写入
    • 可重试读取
    • SQL到MongoDB的映射图表
    • 文本搜索
      • 文本索引
      • 文本索引操作
      • 集合管道中的文本索引
      • 文本索引语言
    • Read Concern读关注
      • 读关注 "local"
      • 读关注 "available"
      • 读关注 "majority"
      • 读关注 "linearizable"
      • 读关注 "snapshot"
    • Write Concern写关注
    • MongoDB CRUD概念
      • 原子性和事务
      • 读隔离性,一致性和近因性
        • 因果一致性和读写关注
      • 分布式查询
      • 通过findAndModify进行线性化读取
      • 查询计划
      • 查询优化
        • 评估当前操作性能
        • 优化查询性能
        • 写操作性能
        • 说明结果
      • 分析查询表现
      • Tailable 游标
  • MongoDB聚合
    • 聚合管道
      • 聚合管道优化
      • 聚合管道限制
      • 聚合管道和分片集合
      • 使用 Zip Code 数据集进行聚合
      • 使用用户首选项数据进行聚合
    • Map-Reduce
      • Map-Reduce 和分片集合
      • Map-Reduce 并发
      • Map-Reduce 示例
      • 执行增量 Map-Reduce
      • 对 Map Function 进行故障排除
      • 排除 Reduce Function 问题
      • Map-Reduce转换到聚合管道
    • 聚合参考
      • 聚合管道快速参考
      • 聚合命令
      • 聚合命令对比
      • 聚合表达式中的变量
      • SQL 到聚合映射图表
  • MongoDB数据模型
    • 数据建模介绍
    • 模式验证
    • 数据模型设计
      • 一对一嵌套关系模型
  • MongoDB事务
  • MongoDB事务
    • 驱动程序 API
    • 生产注意事项
    • 生产注意事项 (分片集群)
    • 事务操作
  • MongoDB索引
    • 单字段索引
    • 复合索引
    • 多键索引
      • 多键索引范围
    • 文本索引
      • 为文本索引指定语言
      • 指定文本索引的名称
      • 用权重控制搜索结果
      • 限制扫描条目的数量
    • 通配符索引
      • 通配符索引限制
    • 2dsphere 索引
      • 查询一个2dsphere索引
    • 2d 索引
      • 创建一个2d索引
      • 查询一个2d索引
      • 2d索引内部
      • 使用球面几何计算距离
    • geoHaystack 索引
      • 创建Haystack索引
      • 查询Haystack索引
    • 哈希索引
    • 索引特性
      • TTL 索引
        • 通过设置TTL使集合中的数据过期
      • 唯一索引
      • 部分索引
      • 不分大小写索引
      • Sparse 索引
    • 在填充的集合上建立索引
      • 在副本集上建立滚动索引
      • 在分片群集上建立滚动索引
    • 索引交集
    • 管理索引
    • 衡量索引使用
    • 索引策略
      • 创建索引来支持查询
      • 使用索引对查询结果进行排序
      • 确保索引适合RAM
      • 创建以确保选择性的查询
    • 索引参考
  • MongoDB安全
    • 安全检查列表
    • 启用访问控制
    • 身份验证
      • 用户
        • 添加用户
        • 权限认证机制
          • SCRAM
            • 用x.509证书来认证客户端
    • 审计
      • 配置审计过滤器
      • 配置审计
      • 系统事件审计消息
    • 网络和配置强化
    • 安全参考
      • system.roles集合
      • system.users集合
      • 资源文档
      • 权限操作
    • 附录
      • 附录-A-用于测试的 OpenSSl CA 证书
      • 附录-B-用于测试的OpenSSL服务器证书
      • 附录-C-用于测试的OpenSSL客户端证书
  • Change Streams变更流
    • 变更流生产建议
    • 变更事件
  • MongoDB复制
    • 副本集成员
    • 副本集日志
    • 副本集数据同步
    • 副本集部署架构
    • 副本集成员配置教程
    • 副本集维护教程
    • MongoDB复制参考
  • MongoDB分片
    • 分片集群组件
    • 分片键
    • 哈希分片
    • 范围分片
    • 区
      • 管理分片区
      • 按位置细分数据
      • 用于更改SLA或SLO的分层硬件
      • 按应用或客户细分数据
      • 仅插入工作负载的分布式本地写入
      • 管理分片区
    • 使用块进行数据分区
      • 在分片集群中拆分数据块
    • 分片管理
      • 查看集群设置
    • 重启一个分片集群
    • [把一个分片集群迁移到不同的硬件](fen-pian/migrate-a -sharded-cluster-to-different-hardware.md)
    • 分片参考
  • MongoDB管理
    • 产品说明
    • 操作检查列表
    • 开发检查列表
    • 配置和维护
    • 性能
    • 数据中心意识
      • MongoDB部署中的工作负载隔离
      • 区
        • 管理分片区
        • 按位置细分数据
        • 用于更改SLA或SLO的分层硬件
        • 按应用或客户细分数据
        • 仅插入工作负载的分布式本地写入
        • 管理分片区
    • MongoDB备份方法
    • MongoDB监控
  • MongoDB存储
    • 存储引擎
      • WiredTiger 存储引擎
      • 内存存储引擎
    • 日志记录
      • 管理日志记录
        • GridFS
        • FAQ:MongoDB 存储
  • MongoDB参考
    • 运算符
      • 查询与映射运算符
        • 比较查询运算符
          • $eq
          • $gt
          • $gte
          • $in
          • $lt
          • $lte
          • $ne
          • $nin
        • 逻辑查询运算符
          • $and
          • $not
          • $nor
          • $or
        • 元素查询运算符
        • 评估查询运算符
        • 地理空间查询运算符
        • 数组查询运算符
        • 按位查询运算符
        • $comment
        • 映射运算符
      • 更新运算符
        • 字段更新运算符
        • 数组更新运算符
        • 按位更新运算符
      • 聚合管道阶段
      • 聚合管道操作符
        • $abs (aggregation)
        • $acos (aggregation)
        • $acosh (aggregation)
        • $add (aggregation)
        • $addToSet (aggregation)
        • $allElementsTrue (aggregation)
        • $and (aggregation)
        • $anyElementTrue (aggregation)
        • $arrayElemAt (aggregation)
        • $arrayToObject (aggregation)
        • $asin (aggregation)
        • $asinh (aggregation)
        • $atan (aggregation)
        • $atan2 (aggregation)
        • $atanh (aggregation)
        • $avg (aggregation)
        • $ceil (aggregation)
        • $cmp (aggregation)
        • $concat (aggregation)
        • $concatArrays (aggregation)
        • $cond (aggregation)
        • $convert (aggregation)
        • $cos (aggregation)
        • $dateFromParts (aggregation)
        • $dateToParts (aggregation)
        • $dateFromString (aggregation)
        • $literal (aggregation)
      • 查询修饰符
    • 数据库命令
      • 聚合命令
      • 地理空间命令
      • 查询和写操作命令
      • 查询计划缓存命令
      • 认证命令
      • 用户管理命令
      • 角色管理命令
      • 复制命令
      • 分片命令
      • 会话命令
      • 管理命令
      • 诊断命令
      • 免费监控命令
      • 系统事件审计命令
    • mongo Shell 方法
      • 集合方法
        • db.collection.aggregate()
        • db.collection.bulkWrite()
        • db.collection.copyTo()
        • db.collection.count()
        • db.collection.countDocuments()
        • db.collection.estimatedDocumentCount()
        • db.collection.createIndex()
        • db.collection.createIndexes()
        • db.collection.dataSize()
        • db.collection.deleteOne()
        • db.collection.deleteMany()
        • db.collection.distinct()
        • db.collection.drop()
        • db.collection.dropIndex()
        • db.collection.dropIndexes()
        • db.collection.ensureIndex()
        • db.collection.explain()
        • db.collection.find()
        • db.collection.findAndModify()
        • db.collection.findOne()
        • db.collection.findOneAndDelete()
        • db.collection.findOneAndReplace()
        • db.collection.findOneAndUpdate()
        • db.collection.getIndexes()
        • db.collection.getShardDistribution()
        • db.collection.getShardVersion()
        • db.collection.insert()
        • db.collection.insertOne()
        • db.collection.insertMany()
        • db.collection.isCapped()
        • db.collection.latencyStats()
        • db.collection.mapReduce()
        • db.collection.reIndex()
        • db.collection.remove()
        • db.collection.renameCollection()
        • db.collection.replaceOne()
        • db.collection.save()
        • db.collection.stats()
        • db.collection.storageSize()
        • db.collection.totalIndexSize()
        • db.collection.totalSize()
        • db.collection.update()
        • db.collection.updateOne()
        • db.collection.updateMany()
        • db.collection.watch()
        • db.collection.validate()
    • MongoDB中的限制与阈值
    • MongoDB系统集合
    • 词汇表
    • 默认的MongoDB端口
    • 默认的MongoDB读/写关注
    • 服务器会话
  • MongoDB FAQ
    • FAQ: MongoDB基础知识
    • FAQ: MongoDB索引
    • FAQ: MongoDB并发
    • FAQ: MongoDB分片
    • FAQ: MongoDB复制和副本集
    • FAQ: MongoDB存储
    • FAQ: MongoDB诊断
  • MongoDB 版本管理
  • 联系我们
    • Tapdata Cloud
    • MongoDB中文社区
    • 社区合作伙伴—锦木信息
由 GitBook 提供支持
在本页
  • 投影优化
  • 管道序列优化
  • ($project or $unset or $addFields or $set) + $match 序列优化
  • $sort + $match 序列优化
  • $redact + $match 序列优化
  • $project/ $unset + $skip序列优化
  • 管道聚合优化
  • $sort + $limit合并
  • $limit+ $limit合并
  • $skip+ $skip合并
  • $match+ $match合并
  • $lookup + $unwind 合并
  • 例子
  • $limit $skip $limit $skip 序列
  1. MongoDB聚合
  2. 聚合管道

聚合管道优化

上一页聚合管道下一页聚合管道限制

最后更新于3年前

在本页面

聚合管道操作具有优化阶段,该阶段试图重塑管道以改善性能。

要查看优化程序如何转换特定聚合管道,请在方法中包含选项。

优化可能会在不同版本之间发生变化。

投影优化

聚合管道可以确定它是否仅需要文档中的字段的子集来获得结果。如果是这样,管道将只使用那些必需的字段,减少通过管道的数据量。

管道序列优化

($project or $unset or $addFields or $set) + $match 序列优化

对于包含投影阶段(或或或)后跟阶段的聚合管道,MongoDB 将阶段中不需要在投影阶段计算的值的任何过滤器移动到投影前的新阶段。

如果聚合管道包含多个投影 and/or 阶段,MongoDB 会为每个阶段执行此优化,将每个过滤器移动到过滤器不依赖的所有投影阶段之前。

考虑以下阶段的管道:

{ $addFields: {
    maxTime: { $max: "$times" },
    minTime: { $min: "$times" }
} },
{ $project: {
    _id: 1, name: 1, times: 1, maxTime: 1, minTime: 1,
    avgTime: { $avg: ["$maxTime", "$minTime"] }
} },
{ $match: {
    name: "Joe Schmoe",
    maxTime: { $lt: 20 },
    minTime: { $gt: 5 },
    avgTime: { $gt: 7 }
} }
{ $match: { name: "Joe Schmoe" } },
{ $addFields: {
                maxTime: { $max: "$times" },
        minTime: { $min: "$times" }
} },
{ $match: { maxTime: { $lt: 20 }, minTime: { $gt: 5 } } },
{ $project: {
        _id: 1, name: 1, times: 1, maxTime: 1, minTime: 1,
        avgTime: { $avg: ["$maxTime", "$minTime"] }
} },
{ $match: { avgTime: { $gt: 7 } } }

[success] 注意

$sort + $match 序列优化

{ $sort: { age : -1 } }, 
{ $match: { status: 'A' } }

在优化阶段,优化程序将序列转换为以下内容:

{ $match: { status: 'A' } }, 
{ $sort: { age : -1 } }

$redact + $match 序列优化

{ $redact: { $cond: { if: { $eq: [ "$level", 5 ] }, then: "$$PRUNE", else: "$$DESCEND" } } },
{ $match: { year: 2014, category: { $ne: "Z" } } }
{ $match: { year: 2014 } },
{ $redact: { $cond: { if: { $eq: [ "$level", 5 ] }, then: "$$PRUNE", else: "$$DESCEND" } } },
{ $match: { year: 2014, category: { $ne: "Z" } } }

$project/ $unset + $skip序列优化

3.2版本中的新功能。

{ $sort: { age : -1 } },
{ $project: { status: 1, name: 1 } },
{ $skip: 5 }

在优化阶段,优化器将序列转换为以下内容:

{ $sort: { age : -1 } },
{ $skip: 5 },
{ $project: { status: 1, name: 1 } }

管道聚合优化

如果可能,优化阶段将一个管道阶段合并到其前身。通常,合并发生在任何序列重新排序优化之后。

$sort + $limit合并

Mongodb 4.0版本的改变。

例如,如果管道包括以下阶段:

{ $sort : { age : -1 } },
{ $project : { age : 1, status : 1, name : 1 } },
{ $limit: 5 }

在优化阶段,优化器将序列合并为以下内容:

{
    "$sort" : {
       "sortKey" : {
          "age" : -1
       },
       "limit" : NumberLong(5)
    }
},
{ "$project" : {
         "age" : 1,
         "status" : 1,
         "name" : 1
  }
}

用$skip进行序列优化

$limit+ $limit合并

{ $limit: 100 },
{ $limit: 10 }
{ $limit: 10 }

$skip+ $skip合并

{ $skip: 5 },
{ $skip: 2 }
{ $skip: 7 }

$match+ $match合并

{ $match: { year: 2014 } },
{ $match: { status: "A" } }
{ $match: { $and: [ { "year" : 2014 }, { "status" : "A" } ] } }

$lookup + $unwind 合并

3.2版中的新功能。

例如,管道包含以下序列:

{
  $lookup: {
    from: "otherCollection",
    as: "resultingArray",
    localField: "x",
    foreignField: "y"
  }
},
{ $unwind: "$resultingArray"}
{
  $lookup: {
    from: "otherCollection",
    as: "resultingArray",
    localField: "x",
    foreignField: "y",
    unwinding: { preserveNullAndEmptyArrays: false }
  }
}

例子

$limit $skip $limit $skip 序列

止于Mongodb4.0

{ $limit: 100 },
{ $skip: 5 },
{ $limit: 10 },
{ $skip: 2 }
{ $limit: 100 },
{ $limit: 15},
{ $skip: 5 },
{ $skip: 2 }
{ $limit: 15 },
{ $skip: 7 }

[success] 可以看看

译者:李冠飞

校对:李冠飞

优化器将阶段分成四个单独的过滤器,一个用于查询文档中的每个键。然后优化器将每个筛选器移动到尽可能多的投影阶段之前,根据需要创建新的阶段。鉴于此示例,优化程序生成以下优化管道:

过滤器{ avgTime: { $gt: 7 } }取决于阶段来计算avgTime字段。 阶段是此管道中的最后一个投影阶段,因此avgTime上的过滤器无法移动。

maxTime和minTime字段在阶段计算,但不依赖于阶段。优化器为这些字段上的过滤器创建了一个新的阶段,并将其放在阶段之前。

过滤器{ name: "Joe Schmoe" }不使用在或阶段计算的任何值,因此它在两个投影阶段之前被移动到新的阶段。

优化后,过滤器{ name: "Joe Schmoe" }位于管道开头的阶段。这具有额外的好处,即允许聚合在最初查询集合时在name字段上使用索引。有关更多信息,请参见。

如果序列中带有后跟,则会移动到之前,以最大程度的减少要排序的对象的数量。例如,如果管道包含以下阶段:

如果可能,当管道的阶段紧在阶段之后时,聚合有时可以在阶段之前添加阶段的一部分。如果添加的阶段位于管道的开头,则聚合可以使用索引以及查询集合来限制进入管道的文档数。有关更多信息,请参见。 例如,如果管道包含以下阶段:

优化器可以在阶段之前添加相同的阶段:

当有一个或之后跟有序列时, 会移至之前。例如,如果管道包括以下阶段:

当一个先于,优化器可以聚结到,如果没有中间阶段的修改文件(例如,使用数,)。如果有管道阶段会更改和阶段之间的文档数,则MongoDB将不会合并到 。

这样,排序操作就可以仅在执行过程中保持最高n结果,这n是指定的限制,MongoDB仅需要将n项目存储在内存中 。有关更多信息,请参见。

如果在 和阶段之间有一个阶段,MongoDB将合并 到该阶段并增加该 值。有关示例,请参见 。

当优化仍将适用 allowDiskUse是true与n项目超过 。

当紧接着另一个时 ,两个阶段可以合并为一个阶段 ,其中限制量为两个初始限制量中的较小者。例如,管道包含以下序列:

然后,第二级可以聚结到第一 阶段,并导致在单个 阶段,即限制量10是两个初始极限的最小100和10。

当紧跟另一个,这两个阶段可合并成一个单一的,其中跳过量为总和的两个初始跳过量。例如,管道包含以下序列:

然后,第二阶段可以合并到第一 阶段,并导致单个 阶段,其中跳过量7是两个初始限制5和的总和2。

当一个紧随另一个紧随其后时 ,这两个阶段可以合并为一个单独 的条件 。例如,管道包含以下序列:

然后,第二阶段可以合并到第一 阶段,从而形成一个 阶段

当a 立即紧随其后 ,并且在 领域运行时,优化程序可以将其合并 到阶段中。这样可以避免创建较大的中间文档。as

优化器可以将阶段合并为 阶段。如果使用explain 选项运行聚合,则explain输出将显示合并阶段:

管道包含一系列交替的和阶段:

反转{ $skip: 5 }和{ $limit: 10 }阶段的位置并增加限制量:

然后,优化器将两个阶段合并为一个阶段,将两个阶段合并为一个阶段。结果序列如下:

有关详细信息,请参阅和。

中的选项

投影优化
管道序列优化
管道聚结优化
例子
db.collection.aggregate()
explain
$project
$unset
$addFields
$set
$match
$match
$match
$match
$match
$match
$match
$match
$match
$match
$project
$project
$match
$addFields
$project
$match
$project
$match
$project
$addFields
$match
$match
管道操作符和索引
$sort
$match
$match
$sort
$redact
$match
$redact
$match
$match
管道操作符和索引
$redact
$match
$project
$unset
$skip
$skip
$project
$sort
$limit
$limit
$sort
$unwind
$group
$limit
$sort
$sort
$limit
[1]
$ sort运算符和内存
$skip
$sort
$limit
$limit
$sort
$limit
$skip
$ sort + $ skip + $ limit序列
[1]
聚集内存限制
$limit
$limit
$limit
$limit
$limit
$limit
$skip
$skip
$skip
$skip
$skip
$skip
$match
$match
$match
$and
$match
$match
$match
$unwind
$lookup
$unwind
$lookup
$unwind
$lookup
$unwind
$lookup
$limit
$skip
$skip $limit 序列优化
$limit
$limit
$skip
$skip
$limit $limit 合并
$skip $skip 合并
db.collection.aggregate()
说明