Unverified Commit 8cc95731 authored by aiwenmo's avatar aiwenmo Committed by GitHub

[Document-835][doc] Update the home page and basic information of the document (#836)

Co-authored-by: 's avatarwenmo <32723967+wenmo@users.noreply.github.com>
parent eb0dec6f
...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口,负责 Flink 的各种 ...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口,负责 Flink 的各种
**Executor** **Executor**
Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、片段管理、配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。 Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、全局变量管理、配置管理、语句集管理、语法校验、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。
**Interceptor** **Interceptor**
Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行片段解析、UDF注册、SET 和 AGGTABLE 等增强语法解析。 Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行变量解析、UDF注册、整库同步、SET 和 AGGTABLE 等增强语法解析。
**Gateway** **Gateway**
Gateway 并非是开源项目 flink-sql-gateway,而是 Dinky 自己定制的 Gateway,负责进行基于 Yarn 环境的任务提交与管理,主要有Yarn-Per-Job 和 Yarn-Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。 Gateway 是 Dinky 自己定制的 Gateway,负责进行基于 Yarn 与 K8S 环境的任务提交与管理,主要有 Yarn Per-Job 和 Yarn/K8S Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。
**Flink SDK** **Flink SDK**
...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。 ...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。
**Flink API** **Flink API**
Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。 Dinky 也支持通过调用 Flink JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。
**Local** **Local**
......
This diff is collapsed.
...@@ -5,9 +5,9 @@ title: Dinky 简介 ...@@ -5,9 +5,9 @@ title: Dinky 简介
## 介绍 ## 介绍
实时即未来,Dlink 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。 实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。
Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探索流式数仓。即站在巨人肩膀上创新与实践,Dinky 在未来批流一体的发展趋势下潜力无限。 Dinky 基于 Apache Flink 进行扩展 ,增强 Flink 的应用与体验,探索流式数仓。即站在巨人肩膀上创新与实践,Dinky 在未来批流一体的发展趋势下潜力无限。
最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。 最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
...@@ -26,17 +26,22 @@ Dinky(原 Dlink): ...@@ -26,17 +26,22 @@ Dinky(原 Dlink):
其主要目标如下: 其主要目标如下:
- 可视化交互式 FlinkSQL 和 SQL 的数据开发平台:自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等 - 沉浸式 FlinkSQL 和 SQL 的数据开发平台:
- 支持全面的多版本的 FlinkSQL 作业提交方式:Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application 自动提示补全、语法高亮、语句美化、语法校验、调试执行、执行计划、MetaStore、血缘分析、版本对比等
- 支持 Apache Flink 所有的 Connector、UDF、CDC等 - 支持多版本的 FlinkSQL 作业各种提交方式:
- 支持 FlinkSQL 语法增强:兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等 Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
- 支持易扩展的 SQL 作业提交方式:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等 - 支持 Apache Flink 所有原生及扩展的 Connector、UDF、CDC 等
- 支持实时调试预览 Table 和 ChangeLog 数据及图形展示 - 支持 FlinkSQL 语法增强:
- 支持语法逻辑检查、作业执行计划、字段级血缘分析等 兼容 Apache Flink SQL、表值聚合函数、全局变量、执行环境、语句合并、整库同步、共享会话等
- 支持易扩展的 SQL 作业:
ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
- 支持 FlinkCDC(Source 合并)整库实时入仓入湖
- 支持实时调试预览 Table 和 ChangeLog 数据及 Charts 图形展示
- 支持 Flink 元数据、数据源元数据查询及管理 - 支持 Flink 元数据、数据源元数据查询及管理
- 支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录、一键上下线功能(发布后的作业)等 - 支持实时任务运维:
- 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi 上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
- 支持易扩展的实时作业报警及报警组:钉钉、微信企业号等 - 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
- 支持完全托管的 SavePoint 启动机制:最近一次、最早一次、指定一次等 - 支持易扩展的实时作业报警及报警组:钉钉、微信企业号、飞书、邮箱等
- 支持完全托管的 SavePoint/CheckPoint 启动及触发机制:最近一次、最早一次、指定一次等
- 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等 - 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
- 更多隐藏功能待小伙伴们探索 - 更多隐藏功能待小伙伴们探索
...@@ -27,8 +27,8 @@ const FeatureList = [ ...@@ -27,8 +27,8 @@ const FeatureList = [
Svg: require('@site/static/img/immersive.svg').default, Svg: require('@site/static/img/immersive.svg').default,
description: ( description: (
<> <>
自动提示与补全、语法高亮、语句美化、语法校验、调试预览结果、元数据查询、全局变量、 自动提示与补全、高亮美化、语法校验、调试预览结果、元数据管理、全局变量、
字段级血缘分析等功能 字段级血缘分析等
</> </>
), ),
}, },
...@@ -46,7 +46,7 @@ const FeatureList = [ ...@@ -46,7 +46,7 @@ const FeatureList = [
Svg: require('@site/static/img/easy_of_deploy.svg').default, Svg: require('@site/static/img/easy_of_deploy.svg').default,
description: ( description: (
<> <>
增强 FlinkSQL 语法及机制,如表值聚合函数、全局变量、CDC多源合并和整库同步、执行环境、语句合并、共享会话等 增强 FlinkSQL 语法及机制,如表值聚合函数、全局变量、CDC整库同步、执行环境、语句合并、共享会话等
</> </>
), ),
}, },
...@@ -55,7 +55,7 @@ const FeatureList = [ ...@@ -55,7 +55,7 @@ const FeatureList = [
Svg: require('@site/static/img/one_stop.svg').default, Svg: require('@site/static/img/one_stop.svg').default,
description: ( description: (
<> <>
提供从 FlinkSQL 开发调试到作业上线下线的运维监控及 OLAP 的即席查询,使数仓建设及数据治理一体化。 提供从 FlinkSQL 开发调试到作业上线下线的运维监控及 OLAP 能力,使数仓建设及数据治理一体化。
</> </>
), ),
}, },
...@@ -73,7 +73,7 @@ const FeatureList = [ ...@@ -73,7 +73,7 @@ const FeatureList = [
Svg: require('@site/static/img/no_invasion.svg').default, Svg: require('@site/static/img/no_invasion.svg').default,
description: ( description: (
<> <>
Spring Boot 轻应用快速部署,不需要在任何 Flink 集群修改源码或添加插件,无感知连接和监控 Flink 集群 Spring Boot 轻应用快速部署,不依赖 Hadoop 等外部环境,无感知连接和监控 Flink 集群
</> </>
), ),
}, },
......
...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口,负责 Flink 的各种 ...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口,负责 Flink 的各种
**Executor** **Executor**
Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、片段管理、配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。 Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、全局变量管理、配置管理、语句集管理、语法校验、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。
**Interceptor** **Interceptor**
Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行片段解析、UDF注册、SET 和 AGGTABLE 等增强语法解析。 Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行变量解析、UDF注册、整库同步、SET 和 AGGTABLE 等增强语法解析。
**Gateway** **Gateway**
Gateway 并非是开源项目 flink-sql-gateway,而是 Dinky 自己定制的 Gateway,负责进行基于 Yarn 环境的任务提交与管理,主要有Yarn-Per-Job 和 Yarn-Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。 Gateway 是 Dinky 自己定制的 Gateway,负责进行基于 Yarn 与 K8S 环境的任务提交与管理,主要有 Yarn Per-Job 和 Yarn/K8S Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。
**Flink SDK** **Flink SDK**
...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。 ...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。
**Flink API** **Flink API**
Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。 Dinky 也支持通过调用 Flink JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。
**Local** **Local**
......
...@@ -8,22 +8,23 @@ title: 功能 ...@@ -8,22 +8,23 @@ title: 功能
注意:以下功能均为对应版本已实现的功能,实测可用。 注意:以下功能均为对应版本已实现的功能,实测可用。
| 应用 | 方向 | 功能 | 进展 | | 应用 | 方向 | 功能 | 进展 |
| :------: | :------------: |-------------------------------------------|:-----:| | :------: |:----------:|--------------------------------------------------|:-----:|
| 开发中心 | FlinkSQL | 支持 sql-client 所有语法 | 0.4.0 | | 开发中心 | FlinkSQL | 支持 sql-client 语法 | 0.4.0 |
| | | 支持 Flink 所有 Configuration | 0.4.0 | | | | 支持 Flink 所有 Configuration | 0.4.0 |
| | | 支持 Flink 所有 Connector | 0.4.0 | | | | 支持 Flink 所有 Connector | 0.4.0 |
| | | 支持 Flink 批流两种模式 | 0.6.0 | | | | 支持 Flink 批流两种模式 | 0.6.0 |
| | | 支持 SELECT、SHOW、DESC 等查询实时预览 | 0.4.0 | | | | 支持 SELECT、SHOW、DESC 等查询实时预览 | 0.4.0 |
| | | 支持 INSERT 语句集 | 0.4.0 | | | | 支持 INSERT 语句集 | 0.4.0 |
| | | 新增 SQL 片段语法(全局变量) | 0.4.0 | | | | 新增 SQL 全局变量 | 0.4.0 |
| | | 新增 AGGTABLE 表值聚合语法及 UDATF 支持 | 0.4.0 | | | | 新增 AGGTABLE 表值聚合语法及 UDATF 支持 | 0.4.0 |
| | | 新增 CDCSOURCE 整库实时同步语法支持 | 0.6.2 | | | | 新增 CDCSOURCE 整库同步语法 | 0.6.0 |
| | | 新增 FlinkSQLEnv 执行环境复用 | 0.5.0 | | | | 新增 FlinkSQLEnv 执行环境 | 0.5.0 |
| | | 新增 Flink Catalog 交互查询 | 0.4.0 | | | | 新增 Flink Catalog 交互查询及持久化 | 0.4.0 |
| | | 新增 执行环境的共享与私有会话机制 | 0.4.0 | | | | 新增 执行环境的共享与私有会话 | 0.4.0 |
| | | 新增 多种方言的作业目录管理(FlinkSQL、SQL、Java) | 0.5.0 | | | | 新增 多种方言的作业目录管理(FlinkSQL、SQL) | 0.5.0 |
| | | 新增 作业配置与执行配置管理 | 0.4.0 | | | | 新增 作业配置与执行配置管理 | 0.4.0 |
| | | 新增 作业生命周期管理 | 0.6.0 | | | | 新增 作业生命周期管理 | 0.6.0 |
| | | 新增 FlinkSQL 作业版本对比 | 0.6.6 |
| | | 新增 基于 Explain 的语法校验与逻辑解析 | 0.4.0 | | | | 新增 基于 Explain 的语法校验与逻辑解析 | 0.4.0 |
| | | 新增 JobPlan 图预览 | 0.5.0 | | | | 新增 JobPlan 图预览 | 0.5.0 |
| | | 新增 基于 StreamGraph 的字段级血缘分析 | 0.6.0 | | | | 新增 基于 StreamGraph 的字段级血缘分析 | 0.6.0 |
...@@ -33,6 +34,8 @@ title: 功能 ...@@ -33,6 +34,8 @@ title: 功能
| | | 新增 选中片段执行 | 0.4.0 | | | | 新增 选中片段执行 | 0.4.0 |
| | | 新增 布局拖拽 | 0.4.0 | | | | 新增 布局拖拽 | 0.4.0 |
| | | 新增 SQL导出 | 0.5.0 | | | | 新增 SQL导出 | 0.5.0 |
| | | 新增 作业批量导出导入 | 0.6.6 |
| | | 新增 作业复制 | 0.6.5 |
| | | 新增 快捷键保存、校验、美化 | 0.5.0 | | | | 新增 快捷键保存、校验、美化 | 0.5.0 |
| | | 支持 local 模式下 FlinkSQL 提交 | 0.4.0 | | | | 支持 local 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 standalone 模式下 FlinkSQL 提交 | 0.4.0 | | | | 支持 standalone 模式下 FlinkSQL 提交 | 0.4.0 |
...@@ -46,17 +49,20 @@ title: 功能 ...@@ -46,17 +49,20 @@ title: 功能
| | | 支持 k8s application 模式下 Jar 提交 | 0.5.0 | | | | 支持 k8s application 模式下 Jar 提交 | 0.5.0 |
| | | 支持 作业 Cancel | 0.4.0 | | | | 支持 作业 Cancel | 0.4.0 |
| | | 支持 作业 SavePoint 的 Cancel、Stop、Trigger | 0.4.0 | | | | 支持 作业 SavePoint 的 Cancel、Stop、Trigger | 0.4.0 |
| | | 新增 作业自动从 SavePoint 恢复机制(包含最近、最早、指定一次) | 0.4.0 | | | | 新增 作业自动从 SavePoint/CheckPoint 恢复机制(包含最近、最早、指定一次) | 0.4.0 |
| | | 新增 作业手动从指定 SavePoint/CheckPoint 恢复 | 0.6.6 |
| | Flink 集群 | 支持 查看已注册集群的作业列表与运维 | 0.4.0 | | | Flink 集群 | 支持 查看已注册集群的作业列表与运维 | 0.4.0 |
| | | 新增 自动注册 Yarn 创建的集群 | 0.4.0 | | | | 新增 自动注册 Yarn/K8S 创建的集群 | 0.4.0 |
| | | 新增 FlinkWebUI 跳转 | 0.6.2 |
| | Flink 版本 | 支持 1.11.0+ | 0.4.0 | | | Flink 版本 | 支持 1.11.0+ | 0.4.0 |
| | | 支持 1.12.0+ | 0.4.0 | | | | 支持 1.12.0+ | 0.4.0 |
| | | 支持 1.13.0+ | 0.4.0 | | | | 支持 1.13.0+ | 0.4.0 |
| | | 支持 1.14.0+ | 0.4.0 | | | | 支持 1.14.0+ | 0.4.0 |
| | | 支持 1.14.0+ | 0.4.0 |
| | | 支持 1.15.0+ | 0.6.3 | | | | 支持 1.15.0+ | 0.6.3 |
| | SQL | 新增 外部数据源的 SQL 校验 | 0.5.0 | | | SQL | 新增 外部数据源的 SQL 校验 | 0.5.0 |
| | | 新增 外部数据源的 SQL 执行与预览 | 0.5.0 | | | | 新增 外部数据源的 SQL 执行与预览 | 0.5.0 |
| | | 新增 字段血缘分析 | 0.6.4 | | | | 新增 外部数据源的 SQL 字段血缘分析 | 0.6.4 |
| | BI | 新增 折线图的渲染 | 0.5.0 | | | BI | 新增 折线图的渲染 | 0.5.0 |
| | | 新增 条形图图的渲染 | 0.5.0 | | | | 新增 条形图图的渲染 | 0.5.0 |
| | | 新增 饼图的渲染 | 0.5.0 | | | | 新增 饼图的渲染 | 0.5.0 |
...@@ -64,6 +70,7 @@ title: 功能 ...@@ -64,6 +70,7 @@ title: 功能
| | | 新增 FlinkSQL 和 SQL 的自动生成 | 0.6.0 | | | | 新增 FlinkSQL 和 SQL 的自动生成 | 0.6.0 |
| | | 新增 自动将连接信息注入片段机制 | 0.6.0 | | | | 新增 自动将连接信息注入片段机制 | 0.6.0 |
| | 归档 | 新增 执行与提交历史 | 0.4.0 | | | 归档 | 新增 执行与提交历史 | 0.4.0 |
| | | 新增 发布版本管理与回滚 | 0.6.6 |
| 运维中心 | 主页 | 新增 任务实例列表 | 0.6.0 | | 运维中心 | 主页 | 新增 任务实例列表 | 0.6.0 |
| | 作业监控 | 新增 作业总览 | 0.6.0 | | | 作业监控 | 新增 作业总览 | 0.6.0 |
| | | 新增 实时监控 Flink Job | 0.6.0 | | | | 新增 实时监控 Flink Job | 0.6.0 |
...@@ -83,14 +90,13 @@ title: 功能 ...@@ -83,14 +90,13 @@ title: 功能
| | | 新增 FlinkSQL | 0.6.0 | | | | 新增 FlinkSQL | 0.6.0 |
| | | 新增 数据地图 | 0.6.0 | | | | 新增 数据地图 | 0.6.0 |
| | | 新增 即席查询 | dev | | | | 新增 即席查询 | dev |
| | | 新增 历史版本 | dev | | | | 新增 历史版本 | 0.6.6 |
| | | 新增 告警记录 | 0.6.0 | | | | 新增 告警记录 | 0.6.0 |
| | | 新增 一键上下线功能 | 0.6.6 | | | | 新增 一键上下线功能 | 0.6.6 |
| 注册中心 | Flink 集群实例 | 新增 外部 Flink 集群实例注册 | 0.4.0 | | 注册中心 | Flink 集群实例 | 新增 外部 Flink 集群实例注册 | 0.4.0 |
| | | 新增 外部 Flink 集群实例心态检测与版本获取 | 0.4.0 | | | | 新增 外部 Flink 集群实例心态检测与版本获取 | 0.4.0 |
| | | 新增 外部 Flink 集群手动一键回收 | 0.4.0 | | | | 新增 外部 Flink 集群手动一键回收 | 0.4.0 |
| | | 新增 打开 FlinkWebUi | 0.6.5 | | | Flink 集群配置 | 新增 Flink On Yarn/K8S 集群配置注册及测试 | 0.4.0 |
| | Flink 集群配置 | 新增 Flink On Yarn 集群配置注册及测试 | 0.4.0 |
| | User Jar | 新增 外部 User Jar 注册 | 0.4.0 | | | User Jar | 新增 外部 User Jar 注册 | 0.4.0 |
| | 数据源 | 新增 Mysql 数据源注册及测试 | 0.4.0 | | | 数据源 | 新增 Mysql 数据源注册及测试 | 0.4.0 |
| | | 新增 Oracle 数据源注册及测试 | 0.4.0 | | | | 新增 Oracle 数据源注册及测试 | 0.4.0 |
...@@ -120,4 +126,12 @@ title: 功能 ...@@ -120,4 +126,12 @@ title: 功能
| | | 新增 cancel 停止接口 | 0.5.0 | | | | 新增 cancel 停止接口 | 0.5.0 |
| | | 新增 savepoint 触发接口 | 0.5.0 | | | | 新增 savepoint 触发接口 | 0.5.0 |
| | | 新增 savepointTask 触发接口 | 0.6.1 | | | | 新增 savepointTask 触发接口 | 0.6.1 |
| | | 新增 restartTask 重启接口 | 0.6.5 |
| | | 新增 selectSavePointRestartTask 重启接口 | 0.6.5 |
| | | 新增 onLineTask 上线接口 | 0.6.5 |
| | | 新增 offLineTask 下线接口 | 0.6.5 |
| | | 新增 reOnLineTask 重新上线接口 | 0.6.5 |
| | | 新增 selectSavePointReOnLineTask 重新上线接口 | 0.6.5 |
| | | 新增 getJobInstance 获取实例接口 | 0.6.5 |
| | | 新增 getJobInstanceByTaskId 获取实例接口 | 0.6.5 |
| 关于 | 关于 Dlink | 版本更新记录 | 0.4.0 | | 关于 | 关于 Dlink | 版本更新记录 | 0.4.0 |
...@@ -5,9 +5,9 @@ title: Dinky 简介 ...@@ -5,9 +5,9 @@ title: Dinky 简介
## 介绍 ## 介绍
实时即未来,Dlink 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。 实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。
Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探索流式数仓。即站在巨人肩膀上创新与实践,Dinky 在未来批流一体的发展趋势下潜力无限。 Dinky 基于 Apache Flink 进行扩展 ,增强 Flink 的应用与体验,探索流式数仓。即站在巨人肩膀上创新与实践,Dinky 在未来批流一体的发展趋势下潜力无限。
最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。 最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
...@@ -26,17 +26,22 @@ Dinky(原 Dlink): ...@@ -26,17 +26,22 @@ Dinky(原 Dlink):
其主要目标如下: 其主要目标如下:
- 可视化交互式 FlinkSQL 和 SQL 的数据开发平台:自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等 - 沉浸式 FlinkSQL 和 SQL 的数据开发平台:
- 支持全面的多版本的 FlinkSQL 作业提交方式:Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application 自动提示补全、语法高亮、语句美化、语法校验、调试执行、执行计划、MetaStore、血缘分析、版本对比等
- 支持 Apache Flink 所有的 Connector、UDF、CDC等 - 支持多版本的 FlinkSQL 作业各种提交方式:
- 支持 FlinkSQL 语法增强:兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等 Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
- 支持易扩展的 SQL 作业提交方式:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等 - 支持 Apache Flink 所有原生及扩展的 Connector、UDF、CDC 等
- 支持实时调试预览 Table 和 ChangeLog 数据及图形展示 - 支持 FlinkSQL 语法增强:
- 支持语法逻辑检查、作业执行计划、字段级血缘分析等 兼容 Apache Flink SQL、表值聚合函数、全局变量、执行环境、语句合并、整库同步、共享会话等
- 支持易扩展的 SQL 作业:
ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
- 支持 FlinkCDC(Source 合并)整库实时入仓入湖
- 支持实时调试预览 Table 和 ChangeLog 数据及 Charts 图形展示
- 支持 Flink 元数据、数据源元数据查询及管理 - 支持 Flink 元数据、数据源元数据查询及管理
- 支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录、一键上下线功能等 - 支持实时任务运维:
- 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi 上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
- 支持易扩展的实时作业报警及报警组:钉钉、微信企业号等 - 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
- 支持完全托管的 SavePoint 启动机制:最近一次、最早一次、指定一次等 - 支持易扩展的实时作业报警及报警组:钉钉、微信企业号、飞书、邮箱等
- 支持完全托管的 SavePoint/CheckPoint 启动及触发机制:最近一次、最早一次、指定一次等
- 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等 - 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
- 更多隐藏功能待小伙伴们探索 - 更多隐藏功能待小伙伴们探索
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment