大数据 / 流水线
流任务和批任务采用不同的处理节奏,分别观察。
跟随一条事件流从日志采集、消息缓冲、窗口聚合到指标查询,观察延迟与吞吐在各阶段如何变化。
用一个离线词频任务观察输入切片、Map、中间键 Shuffle 与 Reduce 汇总。
用 Spark 批处理展示从数据湖读取、转换、聚合到分析结果落盘的 DAG 执行过程。