Skip to content

D
dlink
Unverified Commit 9d09d2a8 authored by zhu-mingye's avatar zhu-mingye Committed by GitHub
Browse files
Options

[Document-793][doc] optimization some docs (#793) 

* optimization docs

* Optimize job_import_export
parent 9e87c606
Show whitespace changes
Inline Side-by-side
Showing with 205 additions and 131 deletions
docs/docs/administrator_guide/devops_center/deveops_center_intro.md
View file @ 9d09d2a8
......@@ -17,7 +17,7 @@ title: 运维中心概述
| 作业实例 | 查看及修改 FlinkSQL 的作业实例状态 |
| 作业总览 | 查看 FlinkSQL 各监控指标 |
| 集群信息 | 查看 FlinkSQL 的集群实例信息 |
| 作业快照 | |
| 作业快照 | 查看 该任务的 CheckPoint SavePoint <br/>并且可以基于某一个 CheckPoint/SavePoint 重启该任务 |
| 异常信息 | 查看 FlinkSQL 启动及运行时的异常 |
| 作业日志 | 完整的 FlinkSQL 日志 |
| 自动调优 | - |
......
docs/docs/administrator_guide/register_center/datasource_manage.md
View file @ 9d09d2a8
......@@ -3,12 +3,12 @@ position: 2
id: datasource_manage
title: 数据源管理
---
## 数据源管理列表
![database_manager_list](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/database_manager_list.png)
## 创建数据源
当用户使用 Dinky 做为数据开发工具时，用户首先需要进入 **注册中心 > 数据源管理**，点击 **新建** 即可。
![create_database_jdbc](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/create_database_jdbc.png)
......@@ -35,5 +35,41 @@ title: 数据源管理
**是否启用：** 默认禁用，需要开启
Flink 连接配置 && Flink 连接模板 配置Demo: (以上图创建的`本地`数据源为例)
```sql
,第一种方式:
-- Flink 连接配置: (可以放入公共参数,及其敏感信息参数)
'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'
-- Flink 连接模板:
'connector' = 'mysql-cdc'
,'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'
第二种方式:
-- Flink 连接配置: 同第一种方式的连接配置
-- Flink 连接模板: 注意引用变量的前后逗号,使用此方式作业右侧必须开启全局变量
'connector' = 'mysql-cdc'
,${本地}
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'
以上配置完成后可在 数据开发->左侧点击 元数据->选中当前创建的数据源 -> 展开库 -> 右键单击 表名 -> 点击 SQL生成 -> 查看FlinkDDL 即可看到成果
```
当前数据库统一使用如上定义的参数名称配置数据源连接。当前支持的数据源详见 [扩展数据源](../../extend/function_expansion/datasource)。
docs/docs/administrator_guide/register_center/warning.md
View file @ 9d09d2a8
......@@ -3,10 +3,6 @@ position: 5
id: warning
title: 报警管理
---
如何创建报警实例及报警组，在0.6版本以后，用户可以创建报警实例及报警组，监控 FlinkSQL 作业。一个报警组可以使用多个报警实例，用户就可以进一步收到报警通知。收到的报警通知如下：
- unknown
......@@ -17,6 +13,7 @@ title: 报警管理
首先要进入**注册中心** > **报警管理**，然后选择左侧的报警实例管理，创建一个告警实例。然后选择对应的报警插件。然后选择报警组管理，创建一个报警组。
目前Dinky支持的报警插件有：
- **[钉钉](#钉钉)告警 :** WebHook
- **[企业微信](#企业微信)告警 :** 包含 **应用** **群聊**
- **[飞书](#飞书)告警 :** WebHook
......@@ -36,20 +33,17 @@ title: 报警管理
![alert_instance_list](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/alert_instance_list.png)
报警实例信息相关字段含义如下：
| 字段 | 说明 |
| :----------: | :-----------------------------------------: |
| :------------: | :-------------------------------------------: |
| 名称 | 名称唯一 |
| 类型 | WeChat<br/> DingTalk<br/> FeiShu<br/> Email |
| 是否启用 | 已启用<br/> 已禁用 |
| 最近更新时间 | 报警的修改时间 |
| 操作 | 对报警实例修改、删除 |
## 报警组管理
### 创建报警组
......@@ -64,8 +58,9 @@ title: 报警管理
报警组信息相关字段含义如下：
| 字段 | 说明 |
| :----------: | :------------------: |
| :------------: | :--------------------: |
| 名称 | 名称唯一 |
| 是否启用 | 已启用<br/> 已禁用 |
| 最近更新时间 | 报警的修改时间 |
......@@ -86,7 +81,8 @@ title: 报警管理
- **关键字：** 安全设置的自定义关键词，钉钉关键字和 Dinky 中的关键字保持一致即可；
- **密令:** 安全设置的加签;
- **开启代理:** 默认否（一般默认）
- **@所有人:** 默认禁用，需要开启；
- **@所有人:** 默认禁用；
- **@手机号:** 当@所有人禁用时 可以使用手机号 使用钉钉注册的手机号 多个用逗号隔开
- **是否启用:** 默认禁用，需要开启；
- **展示方式类型:** 支持 MarkDown 和文本；
......@@ -108,7 +104,6 @@ title: 报警管理
- **企业id:** 询问企业微信管理员即可；
- **密令:** 安全设置的加签;
- **用户:** 企业微信联系人中可添加；
- **发送消息:** 接口中定义的msg,如{"touser":"{toUser}","agentid":{agentId}","msgtype":"{showType}","{showType}":{"content":"{msg}"}}
- **代理ID:**询问企业微信管理员即可；
- **发送方式:** 应用；
- **展示方式类型:** 支持 MarkDown 和文本；
......@@ -126,7 +121,8 @@ title: 报警管理
- **关键字:** 作为发送信息的title 标记；
- **用户:** 企业微信联系人中可添加；
- **@所有人:** 默认禁用，如果@所有人需要开启；
- **被@用户:**企业微信用户名全拼；
- **被@用户:** 企业微信用户名全拼；
- **展示方式类型:** 支持 MarkDown 和文本；
- **是否启用:** 默认禁用，需要开启；
**说明:** @所有人与被@用户可相互切换
......@@ -136,13 +132,11 @@ title: 报警管理
[应用-开发者文档](https://work.weixin.qq.com/api/doc/90000/90135/90236)
[群聊-开发者文档](https://work.weixin.qq.com/api/doc/90000/90135/90248)
发送消息对应文档中的 content，与此相对应的值的变量为 {msg}
### 飞书
如果用户使用飞书进行报警，请进入**注册中心** > **报警管理** > **报警实例管理**，点击**新建** 选择**飞书**报警实例。
![create_feishu_alert](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/create_feishu_alert.png)
**参数配置：**
......@@ -164,7 +158,6 @@ title: 报警管理
如果用户使用邮箱进行报警，请进入**注册中心** > **报警管理** > **报警实例管理**，点击**新建** 选择**邮箱**报警实例。
![create_email_alert](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/create_email_alert.png)
**参数配置：**
......@@ -194,12 +187,10 @@ title: 报警管理
- PS: 需要注意的是 当选择 附件 || 附件+表格 时:
- **XLS存放目录:** 非必填 默认路径为: /tmp/xls
:::warning 注意事项
报警管理只适用于 FlinkSQL
报警管理只适用于 FlinkSQL
报警管理只支持异步提交和发布
报警管理只支持异步提交和发布
:::
docs/docs/administrator_guide/studio/job_import_export.md
View file @ 9d09d2a8
......@@ -8,24 +8,31 @@ title: 作业导入导出
## 介绍
Dinky 目前支持作业的导入和导出，当前仅支持单个作业的导出和导入。导入和导出的作业为JSON文件。
Dinky 目前支持作业的导入和导出。导入和导出的作业为JSON文件。
导出作业，导出开发时的最新的已保存内容
导出作业时需要确保任务已保存,以保证导出的为最新的内容。
导入作业，会覆盖开发时的内容
### 单任务导出
- **方式1:** 选中某一个作业 点击左上角导出按钮 导出为 json 文件
- **方式2:** 选中某一个作业 右键单击 `导出 json`
### 多任务导出
- 选中多个任务 点击左上角导出按钮 导出为json文件 , 注意:多个任务导出的仍为一个文件,文件内以JSON数组存储
## 说明
Dinky 导出作业，导出的内容信息包括 statement语法、作业名称、作业配置信息等。具体的作业参数如下:
Dinky 导出作业，导出的内容信息包括 statement 语法、作业名称、作业配置信息等。具体的作业参数如下:
| 参数 | 解释说明 |
| :----------------------: | :----------------------------------------------------------: |
| :----------------------: |:-----------------------------------------------------------:|
| name | 作业名称 |
| alias | 作业别名 |
| dialect | 数据库方言，如 FlinkSQL、Doris |
| type | 如果dialect是FlinkSQL，则为执行模式，StandAlone等<br/> 如果是其他数据库，则为null |
| statement | SQL 语法 |
| checkPoint | 默认是0 |
| statement | SQL 内容 |
| checkPoint | checkPoint时间 ; 默认是0 |
| savePointStrategy | FlinkSQL作业savePoint的策略 |
| savePointPath | FlinkSQL作业savePoint的存储路径 |
| parallelism | 作业并行度 |
......@@ -33,10 +40,10 @@ Dinky 导出作业，导出的内容信息包括 statement语法、作业名称
| statementSet | Insert语句集，默认禁用 |
| batchModel | 如果FlinkSQL 批作业，默认是true |
| clusterName | Flink 集群名称 |
| configJson | |
| note | |
| step | |
| enabled | |
| configJson | 配置项 |
| note | 作业备注/描述 |
| step | 作业当前的生命周期 |
| enabled | 是否启用 |
| path | 作业路径 |
| databaseName | 数据库schema名称，FlinkSQL显示null |
| clusterConfigurationName | FlinkSQL作业的Flink集群配置名称 |
......
docs/docs/plans.md
View file @ 9d09d2a8
......@@ -6,6 +6,6 @@ title: 近期计划
* [ ] 多租户及命名空间
* [ ] 统一元数据管理
* [ ] 全局血缘与影响分析
* [ ] Flink 元数据持久化
* [X] Flink 元数据持久化
* [ ] 多版本 Flink-Client Server
* [X] 整库千表同步
docs/download/dinky-0.6.6.md
View file @ 9d09d2a8
......@@ -14,6 +14,12 @@ title: 0.6.6 release
Dinky 0.6.6 是一个优化修复的版本。
:::warning 注意
此版本有表结构变更 <br/>
需要执行 **sql/dlinkmysqlcatalog.sql** 文件
:::
### 新功能
- 新增 DevOps 的作业历史版本列表
......
docs/versioned_docs/version-0.6/administrator_guide/devops_center/deveops_center_intro.md
View file @ 9d09d2a8
......@@ -17,7 +17,7 @@ title: 运维中心概述
| 作业实例 | 查看及修改 FlinkSQL 的作业实例状态 |
| 作业总览 | 查看 FlinkSQL 各监控指标 |
| 集群信息 | 查看 FlinkSQL 的集群实例信息 |
| 作业快照 | |
| 作业快照 | 查看 该任务的 CheckPoint SavePoint <br/>并且可以基于某一个 CheckPoint/SavePoint 重启该任务 |
| 异常信息 | 查看 FlinkSQL 启动及运行时的异常 |
| 作业日志 | 完整的 FlinkSQL 日志 |
| 自动调优 | - |
......
docs/versioned_docs/version-0.6/administrator_guide/register_center/datasource_manage.md
View file @ 9d09d2a8
......@@ -3,12 +3,12 @@ position: 2
id: datasource_manage
title: 数据源管理
---
## 数据源管理列表
![database_manager_list](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/database_manager_list.png)
## 创建数据源
当用户使用 Dinky 做为数据开发工具时，用户首先需要进入 **注册中心 > 数据源管理**，点击 **新建** 即可。
![create_database_jdbc](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/create_database_jdbc.png)
......@@ -35,5 +35,41 @@ title: 数据源管理
**是否启用：** 默认禁用，需要开启
Flink 连接配置 && Flink 连接模板 配置Demo: (以上图创建的`本地`数据源为例)
```sql
,第一种方式:
-- Flink 连接配置: (可以放入公共参数,及其敏感信息参数)
'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'
-- Flink 连接模板:
'connector' = 'mysql-cdc'
,'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'
第二种方式:
-- Flink 连接配置: 同第一种方式的连接配置
-- Flink 连接模板: 注意引用变量的前后逗号,使用此方式作业右侧必须开启全局变量
'connector' = 'mysql-cdc'
,${本地}
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'
以上配置完成后可在 数据开发->左侧点击 元数据->选中当前创建的数据源 -> 展开库 -> 右键单击 表名 -> 点击 SQL生成 -> 查看FlinkDDL 即可看到成果
```
当前数据库统一使用如上定义的参数名称配置数据源连接。当前支持的数据源详见 [扩展数据源](../../extend/function_expansion/datasource)。
docs/versioned_docs/version-0.6/administrator_guide/register_center/warning.md
View file @ 9d09d2a8
......@@ -3,10 +3,6 @@ position: 5
id: warning
title: 报警管理
---
如何创建报警实例及报警组，在0.6版本以后，用户可以创建报警实例及报警组，监控 FlinkSQL 作业。一个报警组可以使用多个报警实例，用户就可以进一步收到报警通知。收到的报警通知如下：
- unknown
......@@ -17,6 +13,7 @@ title: 报警管理
首先要进入**注册中心** > **报警管理**，然后选择左侧的报警实例管理，创建一个告警实例。然后选择对应的报警插件。然后选择报警组管理，创建一个报警组。
目前Dinky支持的报警插件有：
- **[钉钉](#钉钉)告警 :** WebHook
- **[企业微信](#企业微信)告警 :** 包含 **应用** **群聊**
- **[飞书](#飞书)告警 :** WebHook
......@@ -36,20 +33,17 @@ title: 报警管理
![alert_instance_list](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/alert_instance_list.png)
报警实例信息相关字段含义如下：
| 字段 | 说明 |
| :----------: | :-----------------------------------------: |
| :------------: | :-------------------------------------------: |
| 名称 | 名称唯一 |
| 类型 | WeChat<br/> DingTalk<br/> FeiShu<br/> Email |
| 是否启用 | 已启用<br/> 已禁用 |
| 最近更新时间 | 报警的修改时间 |
| 操作 | 对报警实例修改、删除 |
## 报警组管理
### 创建报警组
......@@ -64,8 +58,9 @@ title: 报警管理
报警组信息相关字段含义如下：
| 字段 | 说明 |
| :----------: | :------------------: |
| :------------: | :--------------------: |
| 名称 | 名称唯一 |
| 是否启用 | 已启用<br/> 已禁用 |
| 最近更新时间 | 报警的修改时间 |
......@@ -86,7 +81,8 @@ title: 报警管理
- **关键字：** 安全设置的自定义关键词，钉钉关键字和 Dinky 中的关键字保持一致即可；
- **密令:** 安全设置的加签;
- **开启代理:** 默认否（一般默认）
- **@所有人:** 默认禁用，需要开启；
- **@所有人:** 默认禁用；
- **@手机号:** 当@所有人禁用时 可以使用手机号 使用钉钉注册的手机号 多个用逗号隔开
- **是否启用:** 默认禁用，需要开启；
- **展示方式类型:** 支持 MarkDown 和文本；
......@@ -108,7 +104,6 @@ title: 报警管理
- **企业id:** 询问企业微信管理员即可；
- **密令:** 安全设置的加签;
- **用户:** 企业微信联系人中可添加；
- **发送消息:** 接口中定义的msg,如{"touser":"{toUser}","agentid":{agentId}","msgtype":"{showType}","{showType}":{"content":"{msg}"}}
- **代理ID:**询问企业微信管理员即可；
- **发送方式:** 应用；
- **展示方式类型:** 支持 MarkDown 和文本；
......@@ -126,7 +121,8 @@ title: 报警管理
- **关键字:** 作为发送信息的title 标记；
- **用户:** 企业微信联系人中可添加；
- **@所有人:** 默认禁用，如果@所有人需要开启；
- **被@用户:**企业微信用户名全拼；
- **被@用户:** 企业微信用户名全拼；
- **展示方式类型:** 支持 MarkDown 和文本；
- **是否启用:** 默认禁用，需要开启；
**说明:** @所有人与被@用户可相互切换
......@@ -136,13 +132,11 @@ title: 报警管理
[应用-开发者文档](https://work.weixin.qq.com/api/doc/90000/90135/90236)
[群聊-开发者文档](https://work.weixin.qq.com/api/doc/90000/90135/90248)
发送消息对应文档中的 content，与此相对应的值的变量为 {msg}
### 飞书
如果用户使用飞书进行报警，请进入**注册中心** > **报警管理** > **报警实例管理**，点击**新建** 选择**飞书**报警实例。
![create_feishu_alert](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/create_feishu_alert.png)
**参数配置：**
......@@ -164,7 +158,6 @@ title: 报警管理
如果用户使用邮箱进行报警，请进入**注册中心** > **报警管理** > **报警实例管理**，点击**新建** 选择**邮箱**报警实例。
![create_email_alert](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/create_email_alert.png)
**参数配置：**
......@@ -194,12 +187,10 @@ title: 报警管理
- PS: 需要注意的是 当选择 附件 || 附件+表格 时:
- **XLS存放目录:** 非必填 默认路径为: /tmp/xls
:::warning 注意事项
报警管理只适用于 FlinkSQL
报警管理只适用于 FlinkSQL
报警管理只支持异步提交和发布
报警管理只支持异步提交和发布
:::
docs/versioned_docs/version-0.6/administrator_guide/studio/job_import_export.md
View file @ 9d09d2a8
......@@ -8,24 +8,31 @@ title: 作业导入导出
## 介绍
Dinky 目前支持作业的导入和导出，当前仅支持单个作业的导出和导入。导入和导出的作业为JSON文件。
Dinky 目前支持作业的导入和导出。导入和导出的作业为JSON文件。
导出作业，导出开发时的最新的已保存内容
导出作业时需要确保任务已保存,以保证导出的为最新的内容。
导入作业，会覆盖开发时的内容
### 单任务导出
- **方式1:** 选中某一个作业 点击左上角导出按钮 导出为 json 文件
- **方式2:** 选中某一个作业 右键单击 `导出 json`
### 多任务导出
- 选中多个任务 点击左上角导出按钮 导出为json文件 , 注意:多个任务导出的仍为一个文件,文件内以JSON数组存储
## 说明
Dinky 导出作业，导出的内容信息包括 statement语法、作业名称、作业配置信息等。具体的作业参数如下:
Dinky 导出作业，导出的内容信息包括 statement 语法、作业名称、作业配置信息等。具体的作业参数如下:
| 参数 | 解释说明 |
| :----------------------: | :----------------------------------------------------------: |
| :----------------------: |:-----------------------------------------------------------:|
| name | 作业名称 |
| alias | 作业别名 |
| dialect | 数据库方言，如 FlinkSQL、Doris |
| type | 如果dialect是FlinkSQL，则为执行模式，StandAlone等<br/> 如果是其他数据库，则为null |
| statement | SQL 语法 |
| checkPoint | 默认是0 |
| statement | SQL 内容 |
| checkPoint | checkPoint时间 ; 默认是0 |
| savePointStrategy | FlinkSQL作业savePoint的策略 |
| savePointPath | FlinkSQL作业savePoint的存储路径 |
| parallelism | 作业并行度 |
......@@ -33,10 +40,10 @@ Dinky 导出作业，导出的内容信息包括 statement语法、作业名称
| statementSet | Insert语句集，默认禁用 |
| batchModel | 如果FlinkSQL 批作业，默认是true |
| clusterName | Flink 集群名称 |
| configJson | |
| note | |
| step | |
| enabled | |
| configJson | 配置项 |
| note | 作业备注/描述 |
| step | 作业当前的生命周期 |
| enabled | 是否启用 |
| path | 作业路径 |
| databaseName | 数据库schema名称，FlinkSQL显示null |
| clusterConfigurationName | FlinkSQL作业的Flink集群配置名称 |
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment