Unverified Commit 48a0fdbd authored by aiwenmo's avatar aiwenmo Committed by GitHub

[Document-326][doc] Modify introduction and concept and feature

[Document-326][doc] Modify introduction and concept and feature
parents 05c23841 064b2546
......@@ -17,7 +17,7 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
## 特点
一个 `开箱即用``易扩展` `一站式` 实时计算平台,以 `Apache Flink` 为基础,连接 `OLAP``数据湖` 等众多框架,致力于 `流批一体``湖仓一体` 的建设与实践。
一个 `开箱即用``易扩展` ,以 `Apache Flink` 为基础,连接 `OLAP``数据湖` 等众多框架的 `一站式` 实时计算平台,致力于 `流批一体``湖仓一体` 的建设与实践。
其主要目标如下:
......
......@@ -17,7 +17,7 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
## 特点
一个 `开箱即用``易扩展` `一站式` 实时计算平台,以 `Apache Flink` 为基础,连接 `OLAP``数据湖` 等众多框架,致力于 `流批一体``湖仓一体` 的建设与实践。
一个 `开箱即用``易扩展` ,以 `Apache Flink` 为基础,连接 `OLAP``数据湖` 等众多框架的 `一站式` 实时计算平台,致力于 `流批一体``湖仓一体` 的建设与实践。
其主要目标如下:
......
......@@ -17,7 +17,7 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
## 特点
一个 `开箱即用``易扩展` `一站式` 实时计算平台,以 `Apache Flink` 为基础,连接 `OLAP``数据湖` 等众多框架,致力于 `流批一体``湖仓一体` 的建设与实践。
一个 `开箱即用``易扩展` ,以 `Apache Flink` 为基础,连接 `OLAP``数据湖` 等众多框架的 `一站式` 实时计算平台,致力于 `流批一体``湖仓一体` 的建设与实践。
其主要目标如下:
......
![](https://gitee.com/DataLinkDC/dlink/raw/main/dlink-doc/images/main/dinky_principle.png)
![Dinky](http://www.aiwenmo.com/dinky/main/dinky.png)
......@@ -26,14 +26,33 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。
Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。
<big>**Local**</big>
Dinky 自身的 Flink 环境,通过 plugins 下的 Flink 依赖进行构建,主要用于语法校验和逻辑检查、生成 JobPlan 和 JobGraph、字段血缘分析等功能。
注意:目前请不要用该模式执行或提交流作业,将会无法关闭,需要重启进程才可。
<big>**Standalone**</big>
Dinky 通过已注册的 Flink Standalone 集群实例可以对远程集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
<big>**Yarn-Session**</big>
Dinky 通过已注册的 Flink Session 集群实例可以对 Standalone 和 Yarn-Session 两种集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
Dinky 通过已注册的 Flink Yarn Session 集群实例可以对远程集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
<big>**Yarn-Per-Job**</big>
Dinky 通过已注册的集群配置来获取对应的 YarnClient 实例,然后将本地解析生产的 JobGraph 与 Configuration 提交至 Yarn 来创建 Flink-Per-Job 应用。
Dinky 通过已注册的集群配置来获取对应的 YarnClient 实例,然后将 Local 模式解析生成的 JobGraph 与 Configuration 提交至 Yarn 来创建 Flink Per-Job 应用。
<big>**Yarn-Application**</big>
Dinky 通过已注册的集群配置来获取对应的 YarnClient 实例。对于 User Jar,将 Jar 相关配置与 Configuration 提交至 Yarn 来创建 Flink-Application 应用;对于 Flink SQL,Dinky 则将作业 ID 及数据库连接配置作为 Main 入参和 dlink-app.jar 以及 Configuration 提交至 Yarn 来创建 Flink-Application 应用。
\ No newline at end of file
Dinky 通过已注册的集群配置来获取对应的 YarnClient 实例。对于 User Jar,将 Jar 相关配置与 Configuration 提交至 Yarn 来创建 Flink-Application 应用;对于 Flink SQL,Dinky 则将作业 ID 及数据库连接配置作为 Main 入参和 dlink-app.jar 以及 Configuration 提交至 Yarn 来创建 Flink-Application 应用。
<big>**Kubernetes-Session**</big>
Dinky 通过已注册的 Flink Kubernetes Session 集群实例可以对远程集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
注意需要暴露 NodePort。
<big>**Kubernetes-Application**</big>
Dinky 通过已注册的集群配置来获取对应的 FlinkKubeClient 实例。对于 Flink SQL,Dinky 则将作业 ID 及数据库连接配置作为 Main 入参和定制的 dlink-app.jar 镜像以及 Configuration 提交至 Yarn 来创建 Flink-Application 应用。
注意需要自己打包 dlink-app 镜像,具体见文章。
This diff is collapsed.
## Dinky介绍
## 介绍
实时即未来,Dlink 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。
......@@ -6,11 +6,32 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
## Dinky由来
## 由来
Dinky(原 Dlink):
1.Dinky 英译为 “ 小巧而精致的 ” ,最直观的表明了它的特征:轻量级但又具备复杂的大数据开发能力。
2.为 “ Data Integrate No Knotty ” 的首字母组合,英译 “ 数据整合不难 ”,寓意 “ 易于建设批流一体平台及应用 ”。
3.从 Dlink 改名为 Dinky 过渡平滑,更加形象的阐明了开源项目的目标,始终指引参与者们 “不忘初心,方得始终 ”。
\ No newline at end of file
3.从 Dlink 改名为 Dinky 过渡平滑,更加形象的阐明了开源项目的目标,始终指引参与者们 “不忘初心,方得始终 ”。
## 特点
一个 `开箱即用``易扩展` ,以 `Apache Flink` 为基础,连接 `OLAP``数据湖` 等众多框架的 `一站式` 实时计算平台,致力于 `流批一体``湖仓一体` 的建设与实践。
其主要目标如下:
- 可视化交互式 FlinkSQL 和 SQL 的数据开发平台:自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等
- 支持全面的多版本的 FlinkSQL 作业提交方式:Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application
- 支持 Apache Flink 所有的 Connector、UDF、CDC等
- 支持 FlinkSQL 语法增强:兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等
- 支持易扩展的 SQL 作业提交方式:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
- 支持实时调试预览 Table 和 ChangeLog 数据及图形展示
- 支持语法逻辑检查、作业执行计划、字段级血缘分析等
- 支持 Flink 元数据、数据源元数据查询及管理
- 支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等
- 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi
- 支持易扩展的实时作业报警及报警组:钉钉、微信企业号等
- 支持完全托管的 SavePoint 启动机制:最近一次、最早一次、指定一次等
- 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
- 更多隐藏功能等待小伙伴们探索
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment