Dinky

教师的生命是从教师职业开始的，教师在自己的职业中和工作要求中寻求生活的满足。——第斯多惠

https://github.com/DataLinkDC/dinky

https://www.dinky.org.cn/

Dinky：实时流数据开发与应用的开源平台

在实时流处理领域，如何高效地开发、调试、管理和运行流数据任务一直是开发者面临的重要挑战。为了解决这些问题，Dinky 提供了一个一站式的实时流数据开发与应用平台，致力于简化流处理任务的全生命周期管理。

Dinky 是一个基于 Apache Flink 打造的开源平台，它通过可视化的界面、丰富的功能和高效的工具链，帮助开发者快速构建、调试和部署流数据任务，为实时数据处理提供了强大的支持。

---

什么是 Dinky？

Dinky 是一个开源的实时流数据开发、管理和应用平台，旨在降低流处理任务的开发门槛，同时提升开发效率和任务稳定性。它基于 Apache Flink 构建，提供了一站式的解决方案，包括流任务开发、调试、运维和监控。

Dinky 的主要特点包括：

• 实时开发：支持交互式的 SQL 开发和调试环境，快速验证流处理逻辑。
• 任务管理：提供任务的全生命周期管理，包括创建、启动、暂停、停止等操作。
• 可视化界面：通过直观的界面管理数据源、作业和集群资源。
• 集群支持：支持 Flink 集群的连接与管理，便于任务的分布式运行。
• 生态集成：支持与多种数据源和目标的集成，适用于多场景流处理任务。

---

核心特性

1. 交互式 SQL 开发

Dinky 提供了一个交互式的 SQL 编辑器，开发者可以通过 SQL 查询实时数据流，并快速验证逻辑。这种方式降低了流处理任务开发的复杂性，缩短了开发周期。

2. 任务全生命周期管理

• 支持任务的创建、部署、启动、暂停、停止等操作。
• 提供任务版本管理和自动化部署功能，提升任务的可维护性。

3. 多种数据源与目标支持

Dinky 支持丰富的数据源和目标，包括传统数据库（MySQL、PostgreSQL）、消息队列（Kafka）、大数据存储（HDFS、Hive）等，方便开发者在不同场景中应用。

4. 可视化运维与监控

• 提供任务运行状态的实时监控，包括吞吐量、延迟等关键指标。
• 支持任务异常的快速定位和重试机制，提升任务稳定性。

5. 集群与资源管理

支持与 Flink 集群的无缝集成，开发者可以通过 Dinky 管理 Flink 作业和资源分配，优化任务的运行效率。

---

应用场景

1. 实时数据分析

通过 Dinky 开发实时数据处理任务，将流数据写入数据仓库或数据湖，满足实时分析需求。

2. 实时 ETL

将多种数据源的实时数据通过 Dinky 转换、清洗后写入目标存储，构建实时数据管道。

3. 事件驱动的应用

构建基于事件流的应用场景，例如用户行为分析、金融风控、IoT 数据处理等。

4. 数据集成与同步

实现多系统之间的数据实时同步和集成，适用于分布式系统的数据协同需求。

---

快速上手指南

以下是使用 Dinky 的基本步骤：

1. 安装与部署

下载与安装

从 GitHub Releases 页面下载最新版本的 Dinky，并按照官方文档部署：

wget https://github.com/DataLinkDC/dinky/releases/download/vx.x.x/dinky-dist.tar.gz
tar -zxvf dinky-dist.tar.gz
cd dinky
sh bin/startup.sh

配置环境

确保 Dinky 能够连接到 Flink 集群，修改 application.yml 配置文件，设置 Flink 集群地址。

---

2. 登录与初始配置

启动 Dinky 后，通过浏览器访问默认地址 http://localhost:8888，使用默认账户登录（用户名：admin，密码：admin）。

完成以下初始配置：

• 添加数据源：配置需要使用的数据源（如 Kafka、MySQL 等）。
• 连接 Flink 集群：在集群管理页面添加 Flink 集群信息。

---

3. 开发流处理任务

创建任务

1. 在任务管理页面点击“新建任务”。
2. 选择任务类型（如实时任务、批处理任务）。
3. 填写任务基本信息（任务名称、描述等）。

交互式 SQL 开发

1. 在 SQL 编辑器中编写任务的 SQL 逻辑，例如：

CREATE TABLE kafka_source (
    `user_id` STRING,
    `event_time` TIMESTAMP(3),
    `event_type` STRING
) WITH (
    'connector' = 'kafka',
    'topic' = 'user_events',
    'properties.bootstrap.servers' = 'localhost:9092',
    'format' = 'json'
);

CREATE TABLE mysql_sink (
    `user_id` STRING,
    `event_count` BIGINT
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://localhost:3306/testdb',
    'table-name' = 'user_event_summary',
    'username' = 'root',
    'password' = 'password'
);

INSERT INTO mysql_sink
SELECT user_id, COUNT(*) AS event_count
FROM kafka_source
GROUP BY user_id;

2. 点击运行按钮，实时查看查询结果。

---

4. 部署与监控

部署任务

编写完成后，将任务保存并部署到 Flink 集群。Dinky 支持多种部署模式，包括独立模式和 Yarn 模式。

监控任务

在任务监控页面查看任务的实时运行状态，包括：

• 吞吐量
• 延迟
• 异常日志

---

高级功能

1. 自定义连接器

通过扩展 Dinky 的连接器机制，开发者可以集成更多的数据源或目标。

2. 任务版本管理

支持任务的版本回滚功能，便于在问题发生时快速恢复到稳定版本。

3. 多租户支持

Dinky 提供多租户功能，不同团队或项目可以独立管理任务和资源。

---

与其他工具的对比

特性	Dinky	Apache Flink SQL CLI	StreamSets	NiFi
交互式开发	支持	不支持	部分支持	部分支持
实时监控	支持	不支持	支持	支持
多数据源支持	丰富	部分支持	丰富	丰富
任务管理	全生命周期管理	手动管理	支持	支持
扩展性	高	中	中	高

Dinky 在交互式开发和任务管理方面具有显著优势，特别适合数据开发和运维团队使用。

---

实际案例

1. 实时用户行为分析

某电商企业使用 Dinky 开发实时流处理任务，将用户行为数据从 Kafka 实时写入数据仓库，支持实时推荐系统。

2. 金融实时风控

某金融公司通过 Dinky 构建实时风控系统，监控交易数据并识别异常行为。

3. IoT 数据集成

某制造企业利用 Dinky 实时处理 IoT 设备数据，将清洗后的数据存储到 HDFS，用于设备状态监控。

---

总结

Dinky 是一个强大的实时流数据开发与应用平台，凭借其交互式开发、任务管理和可视化监控功能，帮助开发者快速构建和管理流处理任务。无论是实时数据分析、ETL 任务还是事件驱动应用，Dinky 都是一个理想的选择。

项目地址：https://github.com/DataLinkDC/dinky

如果你正在寻找一个高效、易用的流数据开发平台，不妨试试 Dinky！欢迎为项目点亮 ⭐️！