此版本仍在开发中,尚不被认为是稳定的。对于最新的稳定版本,请使用 Spring Data MongoDB 4.5.2! |
聚合框架支持
Spring Data MongoDB为2.2版中引入MongoDB的聚合框架提供了支持。
有关更多信息,请参阅聚合框架的完整参考文档和 MongoDB 的其他数据聚合工具。
基本概念
Spring Data MongoDB中的聚合框架支持基于以下关键抽象:Aggregation
和AggregationResults
.
-
Aggregation
一
Aggregation
表示 MongoDBaggregate
作,并保存聚合管道指令的说明。聚合是通过调用适当的newAggregation(…)
静态工厂的Aggregation
类,它采用AggregateOperation
以及一个可选的输入类。实际的聚合作由
aggregate
方法MongoTemplate
,它采用所需的输出类作为参数。 -
TypedAggregation
一个
TypedAggregation
,就像Aggregation
,保存聚合管道的指令和对输入类型的引用,用于将域属性映射到实际文档字段。在运行时,根据给定的输入类型检查字段引用,考虑潜在的
@Field
附注。
在 3.2 中更改:引用不存在的属性不再引发错误。要恢复以前的行为,请使用strictMapping
选项AggregationOptions
.
-
AggregationDefinition
一
AggregationDefinition
表示 MongoDB 聚合管道作,并描述在此聚合步骤中应执行的处理。尽管您可以手动创建AggregationDefinition
,我们建议使用Aggregate
类来构造一个AggregateOperation
. -
AggregationResults
AggregationResults
是聚合作结果的容器。它以Document
到映射对象和有关聚合的其他信息。以下列表显示了使用 Spring Data MongoDB 对 MongoDB 聚合框架的支持的规范示例:
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*; Aggregation agg = newAggregation( pipelineOP1(), pipelineOP2(), pipelineOPn() ); AggregationResults<OutputType> results = mongoTemplate.aggregate(agg, "INPUT_COLLECTION_NAME", OutputType.class); List<OutputType> mappedResult = results.getMappedResults();
请注意,如果您提供输入类作为第一个参数newAggregation
方法,则MongoTemplate
从此类派生输入集合的名称。否则,如果未指定输入类,则必须显式提供输入集合的名称。如果同时提供了输入类和输入集合,则后者优先。
支持的聚合作和阶段
MongoDB 聚合框架提供以下类型的聚合阶段和作:
-
addFields -
AddFieldsOperation
-
铲斗 / 铲斗自动 -
BucketOperation
/BucketAutoOperation
-
计数-
CountOperation
-
致密化 -
DensifyOperation
-
方面-
FacetOperation
-
地理近距离 -
GeoNearOperation
-
图形查找 -
GraphLookupOperation
-
群-
GroupOperation
-
限制-
LimitOperation
-
查找-
LookupOperation
-
火柴-
MatchOperation
-
合并-
MergeOperation
-
项目-
ProjectionOperation
-
编辑-
RedactOperation
-
替换根 -
ReplaceRootOperation
-
样本-
SampleOperation
-
设置-
SetOperation
-
setWindowFields -
SetWindowFieldsOperation
-
跳-
SkipOperation
-
sort / sortByCount -
SortOperation
/SortByCountOperation
-
unionWith -
UnionWithOperation
-
未凝固的-
UnsetOperation
-
放松-
UnwindOperation
不支持的聚合阶段(如 MongoDB Atlas 的 $search)可以通过实现
|
在撰写本文时,我们在 Spring Data MongoDB 中为以下聚合运算符提供支持:
设置聚合运算符 |
|
组/累加器聚合运算符 |
|
算术聚合运算符 |
|
字符串聚合运算符 |
|
比较聚合运算符 |
|
数组聚合运算符 |
|
文字运算符 |
|
日期聚合运算符 |
|
变量运算符 |
|
条件聚合运算符 |
|
类型聚合运算符 |
|
转换聚合运算符 |
|
对象聚合运算符 |
|
脚本聚合运算符 |
|
* 该作由 Spring Data MongoDB 映射或添加。
请注意,Spring Data MongoDB 目前不支持此处未列出的聚合作。比较聚合运算符表示为Criteria
表达 式。
投影表达式
投影表达式用于定义作为特定聚合步骤结果的字段。投影表达式可以通过project
方法Aggregation
类,通过传递String
对象或聚合框架Fields
对象。可以通过 Fluent API 使用and(String)
方法并使用as(String)
方法。
请注意,您还可以使用Fields.field
静态工厂方法,然后可以使用该方法构造一个新的Fields
实例。在以后的聚合阶段中对投影字段的引用仅对包含字段的字段名称或其别名(包括新定义的字段及其别名)有效。投影中未包含的字段无法在以后的聚合阶段引用。以下列表显示了投影表达式的示例:
// generates {$project: {name: 1, netPrice: 1}}
project("name", "netPrice")
// generates {$project: {thing1: $thing2}}
project().and("thing1").as("thing2")
// generates {$project: {a: 1, b: 1, thing2: $thing1}}
project("a","b").and("thing1").as("thing2")
// generates {$project: {name: 1, netPrice: 1}}, {$sort: {name: 1}}
project("name", "netPrice"), sort(ASC, "name")
// generates {$project: {name: $firstname}}, {$sort: {name: 1}}
project().and("firstname").as("name"), sort(ASC, "name")
// does not work
project().and("firstname").as("name"), sort(ASC, "firstname")
有关项目运营的更多示例,请参阅AggregationTests
类。请注意,有关投影表达式的更多详细信息,请参阅MongoDB聚合框架参考文档的相应部分。
分面分类
从版本 3.4 开始,MongoDB 支持使用聚合框架进行分面分类。分面分类使用语义类别(常规或特定主题)来组合以创建完整的分类条目。流经聚合管道的文档被分类到存储桶中。多方面分类支持对同一组输入文档进行各种聚合,而无需多次检索输入文档。
桶
存储桶作根据指定的表达式和存储桶边界将传入文档分类为组,称为存储桶。存储桶作需要分组字段或分组表达式。您可以使用bucket()
和bucketAuto()
方法Aggregate
类。BucketOperation
和BucketAutoOperation
可以公开基于输入文档的聚合表达式的累积。您可以通过 Fluent API 使用with…()
方法和andOutput(String)
方法。您可以使用as(String)
方法。每个存储桶在输出中都表示为一个文档。
BucketOperation
采用一组定义的边界来将传入文档分组到这些类别中。边界需要排序。以下列表显示了存储桶作的一些示例:
// generates {$bucket: {groupBy: $price, boundaries: [0, 100, 400]}}
bucket("price").withBoundaries(0, 100, 400);
// generates {$bucket: {groupBy: $price, default: "Other" boundaries: [0, 100]}}
bucket("price").withBoundaries(0, 100).withDefault("Other");
// generates {$bucket: {groupBy: $price, boundaries: [0, 100], output: { count: { $sum: 1}}}}
bucket("price").withBoundaries(0, 100).andOutputCount().as("count");
// generates {$bucket: {groupBy: $price, boundaries: [0, 100], 5, output: { titles: { $push: "$title"}}}
bucket("price").withBoundaries(0, 100).andOutput("title").push().as("titles");
BucketAutoOperation
确定边界,以尝试将文档均匀分布到指定数量的存储桶中。BucketAutoOperation
(可选)采用粒度值,该值指定要用于确保计算的边界边以首选整数或 10 的幂结束。以下列表显示了存储桶作的示例:
// generates {$bucketAuto: {groupBy: $price, buckets: 5}}
bucketAuto("price", 5)
// generates {$bucketAuto: {groupBy: $price, buckets: 5, granularity: "E24"}}
bucketAuto("price", 5).withGranularity(Granularities.E24).withDefault("Other");
// generates {$bucketAuto: {groupBy: $price, buckets: 5, output: { titles: { $push: "$title"}}}
bucketAuto("price", 5).andOutput("title").push().as("titles");
要在存储桶中创建输出字段,存储桶作可以使用AggregationExpression
通过andOutput()
和 SpEL 表达式通过andOutputExpression()
.
请注意,有关存储桶表达式的更多详细信息,请参阅$bucket
部分和$bucketAuto
部分MongoDB 聚合框架参考文档。
多方面的聚合
多个聚合管道可用于创建多方面的聚合,这些聚合在单个聚合阶段中跨多个维度(或分面)表征数据。多方面的聚合提供了多种过滤器和分类来指导数据浏览和分析。分面的一个常见实现是,有多少在线零售商通过对产品价格、制造商、尺寸和其他因素应用过滤器来缩小搜索结果范围。
您可以定义一个FacetOperation
通过使用facet()
方法Aggregation
类。您可以使用多个聚合管道对其进行自定义,方法是使用and()
方法。每个子管道在输出文档中都有自己的字段,其结果存储为文档数组。
子管道可以在分组之前投影和筛选输入文档。常见用例包括在分类之前提取日期部分或计算。以下列表显示了分面作示例:
// generates {$facet: {categorizedByPrice: [ { $match: { price: {$exists : true}}}, { $bucketAuto: {groupBy: $price, buckets: 5}}]}}
facet(match(Criteria.where("price").exists(true)), bucketAuto("price", 5)).as("categorizedByPrice"))
// generates {$facet: {categorizedByCountry: [ { $match: { country: {$exists : true}}}, { $sortByCount: "$country"}]}}
facet(match(Criteria.where("country").exists(true)), sortByCount("country")).as("categorizedByCountry"))
// generates {$facet: {categorizedByYear: [
// { $project: { title: 1, publicationYear: { $year: "publicationDate"}}},
// { $bucketAuto: {groupBy: $price, buckets: 5, output: { titles: {$push:"$title"}}}
// ]}}
facet(project("title").and("publicationDate").extractYear().as("publicationYear"),
bucketAuto("publicationYear", 5).andOutput("title").push().as("titles"))
.as("categorizedByYear"))
请注意,有关分面作的更多详细信息可以在$facet
部分MongoDB 聚合框架参考文档。
按计数排序
按计数排序作根据指定表达式的值对传入文档进行分组,计算每个不同组中的文档计数,并按计数对结果进行排序。它提供了一个方便的快捷方式,可以在使用分面分类时应用排序。按计数排序作需要分组字段或分组表达式。以下列表显示了按计数排序的示例:
// generates { $sortByCount: "$country" }
sortByCount("country");
按计数排序作相当于以下 BSON(二进制 JSON):
{ $group: { _id: <expression>, count: { $sum: 1 } } }, { $sort: { count: -1 } }
投影表达式中的 Spring 表达式支持
我们支持在投影表达式中使用 SpEL 表达式,方法是通过andExpression
方法ProjectionOperation
和BucketOperation
类。此功能允许您将所需的表达式定义为 SpEL 表达式。在运行查询时,SpEL表达式将转换为相应的MongoDB投影表达式部分。这种安排使得表达复杂的计算变得更加容易。
使用 SpEL 表达式进行复杂计算
考虑以下 SpEL 表达式:
1 + (q + 1) / (q - 1)
将上述表达式转换为以下投影表达式部分:
{ "$add" : [ 1, {
"$divide" : [ {
"$add":["$q", 1]}, {
"$subtract":[ "$q", 1]}
]
}]}
您可以在聚合框架示例 5 和聚合框架示例 6 中查看更多上下文中的示例。
您可以在以下位置找到更多受支持的 SpEL 表达式结构的使用示例SpelExpressionTransformerUnitTests
.
支持的 SpEL 变换
SpEL表达 | Mongo 表达式部分 |
---|---|
a == b |
{ $eq : [$a, $b] } |
一个 != 乙 |
{ $ne : [$a , $b] } |
a > b |
{ $gt : [$a, $b] } |
a >= b |
{ $gte : [$a, $b] } |
a < b |
{ $lt : [$a, $b] } |
a ⇐ b |
{ $lte : [$a, $b] } |
a + b |
{ $add : [$a, $b] } |
甲 - 乙 |
{ $subtract : [$a, $b] } |
a * b |
{ $multiply : [$a, $b] } |
甲/乙 |
{ $divide : [$a, $b] } |
a^b |
{ $pow : [$a, $b] } |
a % b |
{ $mod : [$a, $b] } |
a & b |
{ $and : [$a, $b] } |
一个 ||b |
{ $or : [$a, $b] } |
!一个 |
{ $not : [$a] } |
除了上表中所示的转换外,还可以使用标准 SpEL作,例如new
(例如)通过其名称(后跟要在括号中使用的参数)创建数组和引用表达式。以下示例显示了如何以这种方式创建数组:
// { $setEquals : [$a, [5, 8, 13] ] }
.andExpression("setEquals(a, new int[]{5, 8, 13})");
聚合框架示例
本节中的示例演示了 MongoDB 聚合框架与 Spring Data MongoDB 的使用模式。
聚合框架示例 1
在这个介绍性示例中,我们想要聚合一个标签列表,以从 MongoDB 集合(称为tags
)按出现次数降序排序。此示例演示了分组、排序、投影(选择)和展开(结果拆分)的用法。
class TagCount {
String tag;
int n;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
Aggregation agg = newAggregation(
project("tags"),
unwind("tags"),
group("tags").count().as("n"),
project("n").and("tag").previousOperation(),
sort(DESC, "n")
);
AggregationResults<TagCount> results = mongoTemplate.aggregate(agg, "tags", TagCount.class);
List<TagCount> tagCount = results.getMappedResults();
前面的列表使用以下算法:
-
使用
newAggregation
静态工厂方法,我们将聚合作列表传递给该方法。这些聚合作定义了我们的聚合管道Aggregation
. -
使用
project
作以选择tags
字段(这是一个字符串数组)。 -
使用
unwind
作为每个标签生成一个新文档tags
数组。 -
使用
group
作为每个tags
值,我们聚合出现次数(通过使用count
聚合运算符并将结果收集到名为n
). -
选择
n
字段,并为从上一个组作生成的 ID 字段创建一个别名(因此调用previousOperation()
),名称为tag
. -
使用
sort
作,按出现次数降序对生成的标记列表进行排序。 -
调用
aggregate
方法MongoTemplate
让 MongoDB 执行实际的聚合作,并创建Aggregation
作为论据。
请注意,输入集合被显式指定为tags
参数设置为aggregate
方法。如果未显式指定输入集合的名称,则它派生自作为第一个参数传递给newAggreation
方法。
聚合框架示例 2
此示例基于 MongoDB 聚合框架文档中的 Largest 和 Smallest Cities by State 示例。我们添加了额外的排序,以便在不同的 MongoDB 版本下产生稳定的结果。在这里,我们希望使用聚合框架返回每个州的人口最小和最大城市。此示例演示了分组、排序和投影(选择)。
class ZipInfo {
String id;
String city;
String state;
@Field("pop") int population;
@Field("loc") double[] location;
}
class City {
String name;
int population;
}
class ZipInfoStats {
String id;
String state;
City biggestCity;
City smallestCity;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<ZipInfo> aggregation = newAggregation(ZipInfo.class,
group("state", "city")
.sum("population").as("pop"),
sort(ASC, "pop", "state", "city"),
group("state")
.last("city").as("biggestCity")
.last("pop").as("biggestPop")
.first("city").as("smallestCity")
.first("pop").as("smallestPop"),
project()
.and("state").previousOperation()
.and("biggestCity")
.nested(bind("name", "biggestCity").and("population", "biggestPop"))
.and("smallestCity")
.nested(bind("name", "smallestCity").and("population", "smallestPop")),
sort(ASC, "state")
);
AggregationResults<ZipInfoStats> result = mongoTemplate.aggregate(aggregation, ZipInfoStats.class);
ZipInfoStats firstZipInfoStats = result.getMappedResults().get(0);
请注意,ZipInfo
类映射给定输入集合的结构。这ZipInfoStats
class 以所需的输出格式定义结构。
上述列表使用以下算法:
-
使用
group
作来定义输入集合中的组。分组条件是state
和city
fields,它构成了组的 ID 结构。我们将population
属性,使用sum
运算符并将结果保存在pop
田。 -
使用
sort
作通过pop
,state
和city
字段,按升序排列,使得最小的城市位于结果的顶部,最大的城市位于底部。请注意,排序state
和city
对组 ID 字段(Spring Data MongoDB 处理)隐式执行。 -
使用
group
再次作,将中间结果分组为state
.请注意state
再次隐式引用组 ID 字段。我们选择最大和最小城市的名称和人口计数,并调用last(…)
和first(…)
运算符,分别在project
操作。 -
选择
state
字段group
操作。请注意state
再次隐式引用组 ID 字段。由于我们不希望出现隐式生成的 ID,因此我们使用and(previousOperation()).exclude()
.因为我们想要填充嵌套的City
结构,我们必须使用嵌套方法发出适当的子文档。 -
对生成的列表进行排序
StateStats
按其州名称升序排列sort
操作。
请注意,我们从ZipInfo
类作为第一个参数传递给newAggregation
方法。
聚合框架示例 3
此示例基于 MongoDB 聚合框架文档中的人口超过 1000 万的州示例。我们添加了额外的排序,以便在不同的 MongoDB 版本下产生稳定的结果。在这里,我们希望使用聚合框架返回人口大于 1000 万的所有州。此示例演示了分组、排序和匹配(筛选)。
class StateStats {
@Id String id;
String state;
@Field("totalPop") int totalPopulation;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<ZipInfo> agg = newAggregation(ZipInfo.class,
group("state").sum("population").as("totalPop"),
sort(ASC, previousOperation(), "totalPop"),
match(where("totalPop").gte(10 * 1000 * 1000))
);
AggregationResults<StateStats> result = mongoTemplate.aggregate(agg, StateStats.class);
List<StateStats> stateStatsList = result.getMappedResults();
上述列表使用以下算法:
-
按
state
字段并计算population
字段并将结果存储在新字段中"totalPop"
. -
除了
"totalPop"
字段升序排列。 -
使用
match
接受Criteria
查询作为参数。
请注意,我们从ZipInfo
类作为第一个参数传递给newAggregation
方法。
聚合框架示例 4
此示例演示了在投影运算中使用简单的算术运算。
class Product {
String id;
String name;
double netPrice;
int spaceUnits;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<Product> agg = newAggregation(Product.class,
project("name", "netPrice")
.and("netPrice").plus(1).as("netPricePlus1")
.and("netPrice").minus(1).as("netPriceMinus1")
.and("netPrice").multiply(1.19).as("grossPrice")
.and("netPrice").divide(2).as("netPriceDiv2")
.and("spaceUnits").mod(2).as("spaceUnitsMod2")
);
AggregationResults<Document> result = mongoTemplate.aggregate(agg, Document.class);
List<Document> resultList = result.getMappedResults();
请注意,我们从Product
类作为第一个参数传递给newAggregation
方法。
聚合框架示例 5
此示例演示了在投影作中使用派生自 SpEL 表达式的简单算术运算。
class Product {
String id;
String name;
double netPrice;
int spaceUnits;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<Product> agg = newAggregation(Product.class,
project("name", "netPrice")
.andExpression("netPrice + 1").as("netPricePlus1")
.andExpression("netPrice - 1").as("netPriceMinus1")
.andExpression("netPrice / 2").as("netPriceDiv2")
.andExpression("netPrice * 1.19").as("grossPrice")
.andExpression("spaceUnits % 2").as("spaceUnitsMod2")
.andExpression("(netPrice * 0.8 + 1.2) * 1.19").as("grossPriceIncludingDiscountAndCharge")
);
AggregationResults<Document> result = mongoTemplate.aggregate(agg, Document.class);
List<Document> resultList = result.getMappedResults();
聚合框架示例 6
此示例演示了在投影作中使用派生自 SpEL 表达式的复杂算术运算。
注意:传递给addExpression
方法可以根据其位置使用索引器表达式进行引用。在本例中,我们引用参数数组的第一个参数[0]
.当 SpEL 表达式转换为 MongoDB 聚合框架表达式时,外部参数表达式将替换为它们各自的值。
class Product {
String id;
String name;
double netPrice;
int spaceUnits;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
double shippingCosts = 1.2;
TypedAggregation<Product> agg = newAggregation(Product.class,
project("name", "netPrice")
.andExpression("(netPrice * (1-discountRate) + [0]) * (1+taxRate)", shippingCosts).as("salesPrice")
);
AggregationResults<Document> result = mongoTemplate.aggregate(agg, Document.class);
List<Document> resultList = result.getMappedResults();
请注意,我们还可以在 SpEL 表达式中引用文档的其他字段。
聚合框架示例 7
此示例使用条件投影。它派生自$cond参考文档。
public class InventoryItem {
@Id int id;
String item;
String description;
int qty;
}
public class InventoryItemProjection {
@Id int id;
String item;
String description;
int qty;
int discount
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<InventoryItem> agg = newAggregation(InventoryItem.class,
project("item").and("discount")
.applyCondition(ConditionalOperator.newBuilder().when(Criteria.where("qty").gte(250))
.then(30)
.otherwise(20))
.and(ifNull("description", "Unspecified")).as("description")
);
AggregationResults<InventoryItemProjection> result = mongoTemplate.aggregate(agg, "inventory", InventoryItemProjection.class);
List<InventoryItemProjection> stateStatsList = result.getMappedResults();
此一步聚合使用投影作和inventory
收集。我们投影discount
字段,对具有qty
大于或等于250
.对description
田。我们应用Unspecified
描述到所有没有description
字段或具有null
描述。
从 MongoDB 3.6 开始,可以使用条件表达式从投影中排除字段。
TypedAggregation<Book> agg = Aggregation.newAggregation(Book.class,
project("title")
.and(ConditionalOperators.when(ComparisonOperators.valueOf("author.middle") (1)
.equalToValue("")) (2)
.then("$$REMOVE") (3)
.otherwiseValueOf("author.middle") (4)
)
.as("author.middle"));
1 | 如果字段的值author.middle |
2 | 不包含值, |
3 | 然后使用$$REMOVE 以排除该字段。 |
4 | 否则,将author.middle . |