|
此版本仍在开发中,尚不被认为是稳定的。对于最新的稳定版本,请使用 Spring Data MongoDB 4.5.2! |
聚合框架支持
Spring Data MongoDB为2.2版中引入MongoDB的聚合框架提供了支持。
有关更多信息,请参阅聚合框架的完整参考文档和 MongoDB 的其他数据聚合工具。
基本概念
Spring Data MongoDB中的聚合框架支持基于以下关键抽象:Aggregation和AggregationResults.
-
Aggregation一
Aggregation表示 MongoDBaggregate作,并保存聚合管道指令的说明。聚合是通过调用适当的newAggregation(…)静态工厂的Aggregation类,它采用AggregateOperation以及一个可选的输入类。实际的聚合作由
aggregate方法MongoTemplate,它采用所需的输出类作为参数。 -
TypedAggregation一个
TypedAggregation,就像Aggregation,保存聚合管道的指令和对输入类型的引用,用于将域属性映射到实际文档字段。在运行时,根据给定的输入类型检查字段引用,考虑潜在的
@Field附注。
在 3.2 中更改:引用不存在的属性不再引发错误。要恢复以前的行为,请使用strictMapping选项AggregationOptions.
-
AggregationDefinition一
AggregationDefinition表示 MongoDB 聚合管道作,并描述在此聚合步骤中应执行的处理。尽管您可以手动创建AggregationDefinition,我们建议使用Aggregate类来构造一个AggregateOperation. -
AggregationResultsAggregationResults是聚合作结果的容器。它以Document到映射对象和有关聚合的其他信息。以下列表显示了使用 Spring Data MongoDB 对 MongoDB 聚合框架的支持的规范示例:
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*; Aggregation agg = newAggregation( pipelineOP1(), pipelineOP2(), pipelineOPn() ); AggregationResults<OutputType> results = mongoTemplate.aggregate(agg, "INPUT_COLLECTION_NAME", OutputType.class); List<OutputType> mappedResult = results.getMappedResults();
请注意,如果您提供输入类作为第一个参数newAggregation方法,则MongoTemplate从此类派生输入集合的名称。否则,如果未指定输入类,则必须显式提供输入集合的名称。如果同时提供了输入类和输入集合,则后者优先。
支持的聚合作和阶段
MongoDB 聚合框架提供以下类型的聚合阶段和作:
-
addFields -
AddFieldsOperation -
铲斗 / 铲斗自动 -
BucketOperation/BucketAutoOperation -
计数-
CountOperation -
致密化 -
DensifyOperation -
方面-
FacetOperation -
地理近距离 -
GeoNearOperation -
图形查找 -
GraphLookupOperation -
群-
GroupOperation -
限制-
LimitOperation -
查找-
LookupOperation -
火柴-
MatchOperation -
合并-
MergeOperation -
项目-
ProjectionOperation -
编辑-
RedactOperation -
替换根 -
ReplaceRootOperation -
样本-
SampleOperation -
设置-
SetOperation -
setWindowFields -
SetWindowFieldsOperation -
跳-
SkipOperation -
sort / sortByCount -
SortOperation/SortByCountOperation -
unionWith -
UnionWithOperation -
未凝固的-
UnsetOperation -
放松-
UnwindOperation
|
不支持的聚合阶段(如 MongoDB Atlas 的 $search)可以通过实现
|
在撰写本文时,我们在 Spring Data MongoDB 中为以下聚合运算符提供支持:
设置聚合运算符 |
|
组/累加器聚合运算符 |
|
算术聚合运算符 |
|
字符串聚合运算符 |
|
比较聚合运算符 |
|
数组聚合运算符 |
|
文字运算符 |
|
日期聚合运算符 |
|
变量运算符 |
|
条件聚合运算符 |
|
类型聚合运算符 |
|
转换聚合运算符 |
|
对象聚合运算符 |
|
脚本聚合运算符 |
|
* 该作由 Spring Data MongoDB 映射或添加。
请注意,Spring Data MongoDB 目前不支持此处未列出的聚合作。比较聚合运算符表示为Criteria表达 式。
投影表达式
投影表达式用于定义作为特定聚合步骤结果的字段。投影表达式可以通过project方法Aggregation类,通过传递String对象或聚合框架Fields对象。可以通过 Fluent API 使用and(String)方法并使用as(String)方法。
请注意,您还可以使用Fields.field静态工厂方法,然后可以使用该方法构造一个新的Fields实例。在以后的聚合阶段中对投影字段的引用仅对包含字段的字段名称或其别名(包括新定义的字段及其别名)有效。投影中未包含的字段无法在以后的聚合阶段引用。以下列表显示了投影表达式的示例:
// generates {$project: {name: 1, netPrice: 1}}
project("name", "netPrice")
// generates {$project: {thing1: $thing2}}
project().and("thing1").as("thing2")
// generates {$project: {a: 1, b: 1, thing2: $thing1}}
project("a","b").and("thing1").as("thing2")
// generates {$project: {name: 1, netPrice: 1}}, {$sort: {name: 1}}
project("name", "netPrice"), sort(ASC, "name")
// generates {$project: {name: $firstname}}, {$sort: {name: 1}}
project().and("firstname").as("name"), sort(ASC, "name")
// does not work
project().and("firstname").as("name"), sort(ASC, "firstname")
有关项目运营的更多示例,请参阅AggregationTests类。请注意,有关投影表达式的更多详细信息,请参阅MongoDB聚合框架参考文档的相应部分。
分面分类
从版本 3.4 开始,MongoDB 支持使用聚合框架进行分面分类。分面分类使用语义类别(常规或特定主题)来组合以创建完整的分类条目。流经聚合管道的文档被分类到存储桶中。多方面分类支持对同一组输入文档进行各种聚合,而无需多次检索输入文档。
桶
存储桶作根据指定的表达式和存储桶边界将传入文档分类为组,称为存储桶。存储桶作需要分组字段或分组表达式。您可以使用bucket()和bucketAuto()方法Aggregate类。BucketOperation和BucketAutoOperation可以公开基于输入文档的聚合表达式的累积。您可以通过 Fluent API 使用with…()方法和andOutput(String)方法。您可以使用as(String)方法。每个存储桶在输出中都表示为一个文档。
BucketOperation采用一组定义的边界来将传入文档分组到这些类别中。边界需要排序。以下列表显示了存储桶作的一些示例:
// generates {$bucket: {groupBy: $price, boundaries: [0, 100, 400]}}
bucket("price").withBoundaries(0, 100, 400);
// generates {$bucket: {groupBy: $price, default: "Other" boundaries: [0, 100]}}
bucket("price").withBoundaries(0, 100).withDefault("Other");
// generates {$bucket: {groupBy: $price, boundaries: [0, 100], output: { count: { $sum: 1}}}}
bucket("price").withBoundaries(0, 100).andOutputCount().as("count");
// generates {$bucket: {groupBy: $price, boundaries: [0, 100], 5, output: { titles: { $push: "$title"}}}
bucket("price").withBoundaries(0, 100).andOutput("title").push().as("titles");
BucketAutoOperation确定边界,以尝试将文档均匀分布到指定数量的存储桶中。BucketAutoOperation(可选)采用粒度值,该值指定要用于确保计算的边界边以首选整数或 10 的幂结束。以下列表显示了存储桶作的示例:
// generates {$bucketAuto: {groupBy: $price, buckets: 5}}
bucketAuto("price", 5)
// generates {$bucketAuto: {groupBy: $price, buckets: 5, granularity: "E24"}}
bucketAuto("price", 5).withGranularity(Granularities.E24).withDefault("Other");
// generates {$bucketAuto: {groupBy: $price, buckets: 5, output: { titles: { $push: "$title"}}}
bucketAuto("price", 5).andOutput("title").push().as("titles");
要在存储桶中创建输出字段,存储桶作可以使用AggregationExpression通过andOutput()和 SpEL 表达式通过andOutputExpression().
请注意,有关存储桶表达式的更多详细信息,请参阅$bucket部分和$bucketAuto部分MongoDB 聚合框架参考文档。
多方面的聚合
多个聚合管道可用于创建多方面的聚合,这些聚合在单个聚合阶段中跨多个维度(或分面)表征数据。多方面的聚合提供了多种过滤器和分类来指导数据浏览和分析。分面的一个常见实现是,有多少在线零售商通过对产品价格、制造商、尺寸和其他因素应用过滤器来缩小搜索结果范围。
您可以定义一个FacetOperation通过使用facet()方法Aggregation类。您可以使用多个聚合管道对其进行自定义,方法是使用and()方法。每个子管道在输出文档中都有自己的字段,其结果存储为文档数组。
子管道可以在分组之前投影和筛选输入文档。常见用例包括在分类之前提取日期部分或计算。以下列表显示了分面作示例:
// generates {$facet: {categorizedByPrice: [ { $match: { price: {$exists : true}}}, { $bucketAuto: {groupBy: $price, buckets: 5}}]}}
facet(match(Criteria.where("price").exists(true)), bucketAuto("price", 5)).as("categorizedByPrice"))
// generates {$facet: {categorizedByCountry: [ { $match: { country: {$exists : true}}}, { $sortByCount: "$country"}]}}
facet(match(Criteria.where("country").exists(true)), sortByCount("country")).as("categorizedByCountry"))
// generates {$facet: {categorizedByYear: [
// { $project: { title: 1, publicationYear: { $year: "publicationDate"}}},
// { $bucketAuto: {groupBy: $price, buckets: 5, output: { titles: {$push:"$title"}}}
// ]}}
facet(project("title").and("publicationDate").extractYear().as("publicationYear"),
bucketAuto("publicationYear", 5).andOutput("title").push().as("titles"))
.as("categorizedByYear"))
请注意,有关分面作的更多详细信息可以在$facet部分MongoDB 聚合框架参考文档。
按计数排序
按计数排序作根据指定表达式的值对传入文档进行分组,计算每个不同组中的文档计数,并按计数对结果进行排序。它提供了一个方便的快捷方式,可以在使用分面分类时应用排序。按计数排序作需要分组字段或分组表达式。以下列表显示了按计数排序的示例:
// generates { $sortByCount: "$country" }
sortByCount("country");
按计数排序作相当于以下 BSON(二进制 JSON):
{ $group: { _id: <expression>, count: { $sum: 1 } } },
{ $sort: { count: -1 } }
投影表达式中的 Spring 表达式支持
我们支持在投影表达式中使用 SpEL 表达式,方法是通过andExpression方法ProjectionOperation和BucketOperation类。此功能允许您将所需的表达式定义为 SpEL 表达式。在运行查询时,SpEL表达式将转换为相应的MongoDB投影表达式部分。这种安排使得表达复杂的计算变得更加容易。
使用 SpEL 表达式进行复杂计算
考虑以下 SpEL 表达式:
1 + (q + 1) / (q - 1)
将上述表达式转换为以下投影表达式部分:
{ "$add" : [ 1, {
"$divide" : [ {
"$add":["$q", 1]}, {
"$subtract":[ "$q", 1]}
]
}]}
您可以在聚合框架示例 5 和聚合框架示例 6 中查看更多上下文中的示例。
您可以在以下位置找到更多受支持的 SpEL 表达式结构的使用示例SpelExpressionTransformerUnitTests.
支持的 SpEL 变换
| SpEL表达 | Mongo 表达式部分 |
|---|---|
a == b |
{ $eq : [$a, $b] } |
一个 != 乙 |
{ $ne : [$a , $b] } |
a > b |
{ $gt : [$a, $b] } |
a >= b |
{ $gte : [$a, $b] } |
a < b |
{ $lt : [$a, $b] } |
a ⇐ b |
{ $lte : [$a, $b] } |
a + b |
{ $add : [$a, $b] } |
甲 - 乙 |
{ $subtract : [$a, $b] } |
a * b |
{ $multiply : [$a, $b] } |
甲/乙 |
{ $divide : [$a, $b] } |
a^b |
{ $pow : [$a, $b] } |
a % b |
{ $mod : [$a, $b] } |
a & b |
{ $and : [$a, $b] } |
一个 ||b |
{ $or : [$a, $b] } |
!一个 |
{ $not : [$a] } |
除了上表中所示的转换外,还可以使用标准 SpEL作,例如new(例如)通过其名称(后跟要在括号中使用的参数)创建数组和引用表达式。以下示例显示了如何以这种方式创建数组:
// { $setEquals : [$a, [5, 8, 13] ] }
.andExpression("setEquals(a, new int[]{5, 8, 13})");
聚合框架示例
本节中的示例演示了 MongoDB 聚合框架与 Spring Data MongoDB 的使用模式。
聚合框架示例 1
在这个介绍性示例中,我们想要聚合一个标签列表,以从 MongoDB 集合(称为tags)按出现次数降序排序。此示例演示了分组、排序、投影(选择)和展开(结果拆分)的用法。
class TagCount {
String tag;
int n;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
Aggregation agg = newAggregation(
project("tags"),
unwind("tags"),
group("tags").count().as("n"),
project("n").and("tag").previousOperation(),
sort(DESC, "n")
);
AggregationResults<TagCount> results = mongoTemplate.aggregate(agg, "tags", TagCount.class);
List<TagCount> tagCount = results.getMappedResults();
前面的列表使用以下算法:
-
使用
newAggregation静态工厂方法,我们将聚合作列表传递给该方法。这些聚合作定义了我们的聚合管道Aggregation. -
使用
project作以选择tags字段(这是一个字符串数组)。 -
使用
unwind作为每个标签生成一个新文档tags数组。 -
使用
group作为每个tags值,我们聚合出现次数(通过使用count聚合运算符并将结果收集到名为n). -
选择
n字段,并为从上一个组作生成的 ID 字段创建一个别名(因此调用previousOperation()),名称为tag. -
使用
sort作,按出现次数降序对生成的标记列表进行排序。 -
调用
aggregate方法MongoTemplate让 MongoDB 执行实际的聚合作,并创建Aggregation作为论据。
请注意,输入集合被显式指定为tags参数设置为aggregate方法。如果未显式指定输入集合的名称,则它派生自作为第一个参数传递给newAggreation方法。
聚合框架示例 2
此示例基于 MongoDB 聚合框架文档中的 Largest 和 Smallest Cities by State 示例。我们添加了额外的排序,以便在不同的 MongoDB 版本下产生稳定的结果。在这里,我们希望使用聚合框架返回每个州的人口最小和最大城市。此示例演示了分组、排序和投影(选择)。
class ZipInfo {
String id;
String city;
String state;
@Field("pop") int population;
@Field("loc") double[] location;
}
class City {
String name;
int population;
}
class ZipInfoStats {
String id;
String state;
City biggestCity;
City smallestCity;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<ZipInfo> aggregation = newAggregation(ZipInfo.class,
group("state", "city")
.sum("population").as("pop"),
sort(ASC, "pop", "state", "city"),
group("state")
.last("city").as("biggestCity")
.last("pop").as("biggestPop")
.first("city").as("smallestCity")
.first("pop").as("smallestPop"),
project()
.and("state").previousOperation()
.and("biggestCity")
.nested(bind("name", "biggestCity").and("population", "biggestPop"))
.and("smallestCity")
.nested(bind("name", "smallestCity").and("population", "smallestPop")),
sort(ASC, "state")
);
AggregationResults<ZipInfoStats> result = mongoTemplate.aggregate(aggregation, ZipInfoStats.class);
ZipInfoStats firstZipInfoStats = result.getMappedResults().get(0);
请注意,ZipInfo类映射给定输入集合的结构。这ZipInfoStatsclass 以所需的输出格式定义结构。
上述列表使用以下算法:
-
使用
group作来定义输入集合中的组。分组条件是state和cityfields,它构成了组的 ID 结构。我们将population属性,使用sum运算符并将结果保存在pop田。 -
使用
sort作通过pop,state和city字段,按升序排列,使得最小的城市位于结果的顶部,最大的城市位于底部。请注意,排序state和city对组 ID 字段(Spring Data MongoDB 处理)隐式执行。 -
使用
group再次作,将中间结果分组为state.请注意state再次隐式引用组 ID 字段。我们选择最大和最小城市的名称和人口计数,并调用last(…)和first(…)运算符,分别在project操作。 -
选择
state字段group操作。请注意state再次隐式引用组 ID 字段。由于我们不希望出现隐式生成的 ID,因此我们使用and(previousOperation()).exclude().因为我们想要填充嵌套的City结构,我们必须使用嵌套方法发出适当的子文档。 -
对生成的列表进行排序
StateStats按其州名称升序排列sort操作。
请注意,我们从ZipInfo类作为第一个参数传递给newAggregation方法。
聚合框架示例 3
此示例基于 MongoDB 聚合框架文档中的人口超过 1000 万的州示例。我们添加了额外的排序,以便在不同的 MongoDB 版本下产生稳定的结果。在这里,我们希望使用聚合框架返回人口大于 1000 万的所有州。此示例演示了分组、排序和匹配(筛选)。
class StateStats {
@Id String id;
String state;
@Field("totalPop") int totalPopulation;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<ZipInfo> agg = newAggregation(ZipInfo.class,
group("state").sum("population").as("totalPop"),
sort(ASC, previousOperation(), "totalPop"),
match(where("totalPop").gte(10 * 1000 * 1000))
);
AggregationResults<StateStats> result = mongoTemplate.aggregate(agg, StateStats.class);
List<StateStats> stateStatsList = result.getMappedResults();
上述列表使用以下算法:
-
按
state字段并计算population字段并将结果存储在新字段中"totalPop". -
除了
"totalPop"字段升序排列。 -
使用
match接受Criteria查询作为参数。
请注意,我们从ZipInfo类作为第一个参数传递给newAggregation方法。
聚合框架示例 4
此示例演示了在投影运算中使用简单的算术运算。
class Product {
String id;
String name;
double netPrice;
int spaceUnits;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<Product> agg = newAggregation(Product.class,
project("name", "netPrice")
.and("netPrice").plus(1).as("netPricePlus1")
.and("netPrice").minus(1).as("netPriceMinus1")
.and("netPrice").multiply(1.19).as("grossPrice")
.and("netPrice").divide(2).as("netPriceDiv2")
.and("spaceUnits").mod(2).as("spaceUnitsMod2")
);
AggregationResults<Document> result = mongoTemplate.aggregate(agg, Document.class);
List<Document> resultList = result.getMappedResults();
请注意,我们从Product类作为第一个参数传递给newAggregation方法。
聚合框架示例 5
此示例演示了在投影作中使用派生自 SpEL 表达式的简单算术运算。
class Product {
String id;
String name;
double netPrice;
int spaceUnits;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<Product> agg = newAggregation(Product.class,
project("name", "netPrice")
.andExpression("netPrice + 1").as("netPricePlus1")
.andExpression("netPrice - 1").as("netPriceMinus1")
.andExpression("netPrice / 2").as("netPriceDiv2")
.andExpression("netPrice * 1.19").as("grossPrice")
.andExpression("spaceUnits % 2").as("spaceUnitsMod2")
.andExpression("(netPrice * 0.8 + 1.2) * 1.19").as("grossPriceIncludingDiscountAndCharge")
);
AggregationResults<Document> result = mongoTemplate.aggregate(agg, Document.class);
List<Document> resultList = result.getMappedResults();
聚合框架示例 6
此示例演示了在投影作中使用派生自 SpEL 表达式的复杂算术运算。
注意:传递给addExpression方法可以根据其位置使用索引器表达式进行引用。在本例中,我们引用参数数组的第一个参数[0].当 SpEL 表达式转换为 MongoDB 聚合框架表达式时,外部参数表达式将替换为它们各自的值。
class Product {
String id;
String name;
double netPrice;
int spaceUnits;
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
double shippingCosts = 1.2;
TypedAggregation<Product> agg = newAggregation(Product.class,
project("name", "netPrice")
.andExpression("(netPrice * (1-discountRate) + [0]) * (1+taxRate)", shippingCosts).as("salesPrice")
);
AggregationResults<Document> result = mongoTemplate.aggregate(agg, Document.class);
List<Document> resultList = result.getMappedResults();
请注意,我们还可以在 SpEL 表达式中引用文档的其他字段。
聚合框架示例 7
此示例使用条件投影。它派生自$cond参考文档。
public class InventoryItem {
@Id int id;
String item;
String description;
int qty;
}
public class InventoryItemProjection {
@Id int id;
String item;
String description;
int qty;
int discount
}
import static org.springframework.data.mongodb.core.aggregation.Aggregation.*;
TypedAggregation<InventoryItem> agg = newAggregation(InventoryItem.class,
project("item").and("discount")
.applyCondition(ConditionalOperator.newBuilder().when(Criteria.where("qty").gte(250))
.then(30)
.otherwise(20))
.and(ifNull("description", "Unspecified")).as("description")
);
AggregationResults<InventoryItemProjection> result = mongoTemplate.aggregate(agg, "inventory", InventoryItemProjection.class);
List<InventoryItemProjection> stateStatsList = result.getMappedResults();
此一步聚合使用投影作和inventory收集。我们投影discount字段,对具有qty大于或等于250.对description田。我们应用Unspecified描述到所有没有description字段或具有null描述。
从 MongoDB 3.6 开始,可以使用条件表达式从投影中排除字段。
TypedAggregation<Book> agg = Aggregation.newAggregation(Book.class,
project("title")
.and(ConditionalOperators.when(ComparisonOperators.valueOf("author.middle") (1)
.equalToValue("")) (2)
.then("$$REMOVE") (3)
.otherwiseValueOf("author.middle") (4)
)
.as("author.middle"));
| 1 | 如果字段的值author.middle |
| 2 | 不包含值, |
| 3 | 然后使用$$REMOVE以排除该字段。 |
| 4 | 否则,将author.middle. |