📜
MDGA简易流计算系统项目文档

飞书用户9655

飞书用户735

飞书用户541

飞书用户2180

飞书用户5972

3月6日修改

3月4日创建

一、项目介绍

项目使用Java语言实现了一个简易流计算系统，将计算表达为DAG形式，实现了Source, Sink, Map, Reduce等算子，支持从Kafka读取/输出到Kafka，支持基于处理时间的滚动窗口、数据Shuffle，并实现了一个流式WordCount应用。​

二、项目分工

团队成员

主要贡献

郑浩

组织分工；DataGenerator、算子Sink和Map设计；代码整合、测试；项目文档（功能测试）、讲解视频录制；总体协助与评估​

王帅军

KeyBy和Reduce算子设计、支持节点间的数据Shuffle、测试（Shuffle、数据负载均衡/均匀分区、顺序验证）​

黄峻

DataStream结构设计、Source, Sink, Window算子设计；实现带窗口的WordCount；协助分工；​

李佳霖

支持解析yaml配置文件并以DAG形式编排并调度算子；项目文档（架构设计）​

叶宇翎

实现算子指定并发度的功能；项目文档（代码介绍）

三、项目实现

3.1 技术选型与相关开发文档

本项目是一个基于Java的流计算系统，主要技术选型和背景如下：​

1.
开发语言：Java，利用其面向对象特性和丰富的并发工具库​

2.
核心组件：​
◦
Kafka：消息队列中间件，用于数据流的传输和分区管理​
◦
Maven：项目构建和依赖管理工具​

3.
系统架构：​
◦
采用算子（Operator）模式设计流计算引擎​
◦
支持多并行度的数据处理​
◦
实现了Map、KeyBy、Reduce、Shuffle等基础算子​
◦
使用ConcurrentHashMap等并发集合保证线程安全​

4.
主要特性：​
◦
支持数据流的并行处理​
◦
实现了基于key的数据分区​
◦
提供了灵活的算子扩展机制​
◦
支持实时数据统计和监控​

3.2 架构设计

算子实现设计（例：MapOperator）：

•
线程隔离：每个算子独立线程运行​

•
非阻塞式获取数据：通过poll()实现​

•
泛型支持：处理任意数据类型​

时间窗口机制（WindowOperator）：

•
固定窗口：基于系统时间对齐​

•
延迟触发：poll()超时作为触发条件​

•
内存聚合：HashMap暂存中间结果​

并行度支持（SetParallelism）：

•
一致性哈希：通过虚拟节点环构建，数据路由算法基本实现哈希思想实现最小化数据迁移​

•
热更新：运行时动态调整Worker数量​

•
键保留：相同key始终路由到相同分区​