跳到主要内容

如何把一条汹涌无界的流，变成可以聚合分析的有界片段？窗口（Window） 就是 Flink 提供的手术刀，用来把无界流切割成一段一段的计算切片。

一、 窗口分类 (基于驱动机制)​

窗口按照“用什么刀切”通常分为两大驱动力：

  1. Time-based Window（时间驱动）：按经过了多少时间来划定切片。
  2. Count-based Window（数据驱动）：按经过了多少条记录来划定切片。

二、 核心切片策略：Window Assigners​

它是决定“一条数据进哪个框”的路由器。最常见的实现有以下几种：

1. 滚动窗口 (Tumbling Window)​

  • 特点：窗口长度固定，且不重叠，无间隙。
  • 适用场景：比如按自然分钟做报表（每隔 5 分钟算一次营业额）。
  • 一条数据，绝对只进入一个特定的滚动窗口。

2. 滑动窗口 (Sliding Window)​

  • 特点：窗口长度固定，且可以设定滑动的步长（Slide），窗口彼此重叠。
  • 参数：比如“长度 (size) 为 10 分钟，步长 (slide) 为 5 分钟”。
  • 适用场景：监控告警聚合，计算近 N 小时的趋势。“在过去 10 分钟内每 5 分钟汇报一次系统 TPS”。
  • 在步长小于长度的设计下，一条数据会被复制送入多个滑动窗口中参与计算。

3. 会话窗口 (Session Window)​

  • 特点：无固定长度。它是根据事件之间的**活跃间隙（Gap）**动态闭合的。
  • 适用场景：典型的用户行为追踪（埋点）。
  • 如果用户 3 分钟内一直没有进行操作（设 gap = 3min），系统判定会话（Session）结束，截断形成一个闭合计算单元。

三、 窗口四大核心组件架构​

在现代 Flink 的底层源码里，窗口运作需要四驾马车通力协作：

  1. Window Assigner（分配器）：接在流处理入口，负责为每一条输入的元素打上由 [start_time, end_time) 构成的窗口元信息标签。
  2. Trigger（触发器）：最为核心的时机控制组件。它是一个条件断言监听器（如基于 EventTime 的通过比对当前 Watermark 与窗口结束时间），若条件成熟则返回 FIRE / PUDGE。决定了这个窗口的数据什么时候被送去计算、状态何时被清空。
  3. Window Function（窗口函数）：真正跑核心业务的地方。
    • 增量聚合函数 (ReduceFunction / AggregateFunction)：数据来一条就和之前累加的值合并，状态一直很小，性能奇高（如算 SUM）。
    • 全量窗口函数 (ProcessWindowFunction)：把窗口里的所有元素都装在一个列表里存起来，等触发器唤醒那一瞬间，遍历所有的元素。可获得复杂的上下文能力。生产中常将增量函数与它结合使用。
  4. Evictor（驱除器 - 较少用）：能在触发器 FIRE 触发函数计算之前/之后，删减掉部分无用数据包，控制超大数据的脏区。

💡 面试实战​

Q: 大促期间，如何在大数据倾斜（Data Skew）下做好窗口优化？​

答： 针对使用 keyBy() 进入窗口造成的数据严重倾斜（例如热点大 V 的商品数据挤爆某个 TaskManager）： 可以采用**“两阶段聚合 (Two-Phase Aggregation)”** 或者类似 MapReduce 体系下的加盐 (Salting)。

  1. 第一阶段：对 Key 添加局部随机前缀盐打散（key + "_" + random(x)），并先开一个短平快的时间窗口，做局部增量聚合。
  2. 第二阶段：剥离盐后缀还原真实的 Key（split("_")[0]），再进行第二层的全局窗口聚合。 这也属于在流式窗口环境下实现分治（Divide-and-Conquer）的核心思想。