Skip to content
Projects
Groups
Snippets
Help
Loading...
Help
Contribute to GitLab
Sign in / Register
Toggle navigation
D
dlink
Project
Project
Details
Activity
Cycle Analytics
Repository
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
Issues
0
Issues
0
List
Board
Labels
Milestones
Merge Requests
0
Merge Requests
0
CI / CD
CI / CD
Pipelines
Jobs
Schedules
Charts
Wiki
Wiki
Snippets
Snippets
Members
Members
Collapse sidebar
Close sidebar
Activity
Graph
Charts
Create a new issue
Jobs
Commits
Issue Boards
Open sidebar
zhaowei
dlink
Commits
064b2546
Commit
064b2546
authored
Apr 03, 2022
by
wenmo
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
[Document-326][doc] Modify introduction and concept and feature
parent
05c23841
Changes
7
Show whitespace changes
Inline
Side-by-side
Showing
7 changed files
with
160 additions
and
117 deletions
+160
-117
README.en-US.md
README.en-US.md
+1
-1
README.md
README.md
+1
-1
README.zh-CN.md
README.zh-CN.md
+1
-1
architecture.md
docs/zh-CN/architecture.md
+1
-1
concept.md
docs/zh-CN/concept.md
+22
-3
feature.md
docs/zh-CN/feature.md
+110
-107
introduce.md
docs/zh-CN/introduce.md
+24
-3
No files found.
README.en-US.md
View file @
064b2546
...
...
@@ -17,7 +17,7 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
## 特点
一个
`开箱即用`
、
`易扩展`
的
`一站式`
实时计算平台,以
`Apache Flink`
为基础,连接
`OLAP`
和
`数据湖`
等众多框架
,致力于
`流批一体`
和
`湖仓一体`
的建设与实践。
一个
`开箱即用`
、
`易扩展`
,以
`Apache Flink`
为基础,连接
`OLAP`
和
`数据湖`
等众多框架的
`一站式`
实时计算平台
,致力于
`流批一体`
和
`湖仓一体`
的建设与实践。
其主要目标如下:
...
...
README.md
View file @
064b2546
...
...
@@ -17,7 +17,7 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
## 特点
一个
`开箱即用`
、
`易扩展`
的
`一站式`
实时计算平台,以
`Apache Flink`
为基础,连接
`OLAP`
和
`数据湖`
等众多框架
,致力于
`流批一体`
和
`湖仓一体`
的建设与实践。
一个
`开箱即用`
、
`易扩展`
,以
`Apache Flink`
为基础,连接
`OLAP`
和
`数据湖`
等众多框架的
`一站式`
实时计算平台
,致力于
`流批一体`
和
`湖仓一体`
的建设与实践。
其主要目标如下:
...
...
README.zh-CN.md
View file @
064b2546
...
...
@@ -17,7 +17,7 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
## 特点
一个
`开箱即用`
、
`易扩展`
的
`一站式`
实时计算平台,以
`Apache Flink`
为基础,连接
`OLAP`
和
`数据湖`
等众多框架
,致力于
`流批一体`
和
`湖仓一体`
的建设与实践。
一个
`开箱即用`
、
`易扩展`
,以
`Apache Flink`
为基础,连接
`OLAP`
和
`数据湖`
等众多框架的
`一站式`
实时计算平台
,致力于
`流批一体`
和
`湖仓一体`
的建设与实践。
其主要目标如下:
...
...
docs/zh-CN/architecture.md
View file @
064b2546


docs/zh-CN/concept.md
View file @
064b2546
...
...
@@ -26,14 +26,33 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。
Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。
<big>
**Local**
</big>
Dinky 自身的 Flink 环境,通过 plugins 下的 Flink 依赖进行构建,主要用于语法校验和逻辑检查、生成 JobPlan 和 JobGraph、字段血缘分析等功能。
注意:目前请不要用该模式执行或提交流作业,将会无法关闭,需要重启进程才可。
<big>
**Standalone**
</big>
Dinky 通过已注册的 Flink Standalone 集群实例可以对远程集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
<big>
**Yarn-Session**
</big>
Dinky 通过已注册的 Flink
Session 集群实例可以对 Standalone 和 Yarn-Session 两种
集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
Dinky 通过已注册的 Flink
Yarn Session 集群实例可以对远程
集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
<big>
**Yarn-Per-Job**
</big>
Dinky 通过已注册的集群配置来获取对应的 YarnClient 实例,然后将
本地解析生产的 JobGraph 与 Configuration 提交至 Yarn 来创建 Flink-
Per-Job 应用。
Dinky 通过已注册的集群配置来获取对应的 YarnClient 实例,然后将
Local 模式解析生成的 JobGraph 与 Configuration 提交至 Yarn 来创建 Flink
Per-Job 应用。
<big>
**Yarn-Application**
</big>
Dinky 通过已注册的集群配置来获取对应的 YarnClient 实例。对于 User Jar,将 Jar 相关配置与 Configuration 提交至 Yarn 来创建 Flink-Application 应用;对于 Flink SQL,Dinky 则将作业 ID 及数据库连接配置作为 Main 入参和 dlink-app.jar 以及 Configuration 提交至 Yarn 来创建 Flink-Application 应用。
<big>
**Kubernetes-Session**
</big>
Dinky 通过已注册的 Flink Kubernetes Session 集群实例可以对远程集群进行 FlinkSQL 的提交、Catalog 的交互式管理以及对 SELECT 和 SHOW 等语句的执行结果预览。
注意需要暴露 NodePort。
<big>
**Kubernetes-Application**
</big>
Dinky 通过已注册的集群配置来获取对应的 FlinkKubeClient 实例。对于 Flink SQL,Dinky 则将作业 ID 及数据库连接配置作为 Main 入参和定制的 dlink-app.jar 镜像以及 Configuration 提交至 Yarn 来创建 Flink-Application 应用。
注意需要自己打包 dlink-app 镜像,具体见文章。
docs/zh-CN/feature.md
View file @
064b2546
...
...
@@ -2,7 +2,7 @@
注意:以下功能均为对应版本已实现的功能,实测可用。
| 应用 | 方向 | 功能 | 进展 |
| :------: | :------------: |
------------------------------------------------------------ | :---:
|
| :------: | :------------: |
-------------------------------------------|:-----:
|
| 开发中心 | FlinkSQL | 支持 sql-client 所有语法 | 0.4.0 |
| | | 支持 Flink 所有 Configuration | 0.4.0 |
| | | 支持 Flink 所有 Connector | 0.4.0 |
...
...
@@ -92,6 +92,8 @@
| | | 新增 Hive 数据源注册及测试 | 0.6.0 |
| | 报警实例管理 | 新增 钉钉报警 | 0.6.0 |
| | | 新增 微信企业号报警 | 0.6.0 |
| | | 新增 邮箱报警 | 0.6.1 |
| | | 新增 飞书报警 | 0.6.1 |
| | 报警组管理 | 新增 报警组管理 | 0.6.0 |
| 系统设置 | 用户管理 | 新增 用户基本管理 | 0.5.0 |
| | | 新增 修改密码 | 0.6.0 |
...
...
@@ -107,4 +109,5 @@
| | Flink | 新增 executeJar 提交接口 | 0.5.0 |
| | | 新增 cancel 停止接口 | 0.5.0 |
| | | 新增 savepoint 触发接口 | 0.5.0 |
| | | 新增 savepointTask 触发接口 | 0.6.1 |
| 关于 | 关于 Dlink | 版本更新记录 | 0.4.0 |
docs/zh-CN/introduce.md
View file @
064b2546
##
Dinky
介绍
## 介绍
实时即未来,Dlink 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。
...
...
@@ -6,7 +6,7 @@ Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探
最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
##
Dinky
由来
## 由来
Dinky(原 Dlink):
1.
Dinky 英译为 “ 小巧而精致的 ” ,最直观的表明了它的特征:轻量级但又具备复杂的大数据开发能力。
...
...
@@ -14,3 +14,24 @@ Dinky(原 Dlink):
2.
为 “ Data Integrate No Knotty ” 的首字母组合,英译 “ 数据整合不难 ”,寓意 “ 易于建设批流一体平台及应用 ”。
3.
从 Dlink 改名为 Dinky 过渡平滑,更加形象的阐明了开源项目的目标,始终指引参与者们 “不忘初心,方得始终 ”。
## 特点
一个
`开箱即用`
、
`易扩展`
,以
`Apache Flink`
为基础,连接
`OLAP`
和
`数据湖`
等众多框架的
`一站式`
实时计算平台,致力于
`流批一体`
和
`湖仓一体`
的建设与实践。
其主要目标如下:
-
可视化交互式 FlinkSQL 和 SQL 的数据开发平台:自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等
-
支持全面的多版本的 FlinkSQL 作业提交方式:Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application
-
支持 Apache Flink 所有的 Connector、UDF、CDC等
-
支持 FlinkSQL 语法增强:兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等
-
支持易扩展的 SQL 作业提交方式:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
-
支持实时调试预览 Table 和 ChangeLog 数据及图形展示
-
支持语法逻辑检查、作业执行计划、字段级血缘分析等
-
支持 Flink 元数据、数据源元数据查询及管理
-
支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等
-
支持作为多版本 FlinkSQL Server 的能力以及 OpenApi
-
支持易扩展的实时作业报警及报警组:钉钉、微信企业号等
-
支持完全托管的 SavePoint 启动机制:最近一次、最早一次、指定一次等
-
支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
-
更多隐藏功能等待小伙伴们探索
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment