实时开发IDE部署指南

发布于:2025-07-09 ⋅ 阅读:(17) ⋅ 点赞:(0)

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。
✨杭州奥零数据科技官网:http://www.aolingdata.com
✨AllData开源项目:https://github.com/alldatacenter/alldata
✨Gitee组织:https://gitee.com/alldatacenter

摘要:实时开发IDE基于开源项目Dinky建设,提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点。内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问实时开发IDE页面
五、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

在这里插入图片描述
🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/
请联系市场总监获取账号密码
在这里插入图片描述

在这里插入图片描述
2.1 实时开发IDE基于开源项目Dinky建设
实时开发IDE(Dinky)是一款基于Apache Flink构建的一站式实时计算平台。
提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点,适用于边缘计算、IoT设备等资源受限场景,以及市场趋势预测、用户行为实时响应、产品性能动态监控等多种实时计算场景。

🔹Dinky开源项目:https://github.com/DataLinkDC/dinky
🔹Dinky文档地址:https://www.dinky.org.cn

2.2 实时开发IDE功能特点

  • 轻量化与开箱即用
  • 智能化开发体验
  • 高校任务管理与运维
  • 生态集成与扩展性
  • 企业级应用场景

💡部署步骤:

3.1 环境准备

🔹操作系统要求:
推荐 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹网络要求:
确保服务器网络通畅,能够访问所需资源。

🔹依赖工具:
JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存储元数据和作业信息)Node.js(如需前端编译)

3.2 稳定版本
–Dinky集成版本opensource.version=1.2.1

3.3 源码编译部署获取安装包
在这里插入图片描述

在这里插入图片描述
4.1 功能概览
在这里插入图片描述

4.2 数据开发
在这里插入图片描述

4.3 数据同步-M2Sql
在这里插入图片描述

4.4 数据开发-实时ETL
在这里插入图片描述

4.5 数据同步-批处理任务SQL开发
在这里插入图片描述

4.6 数据开发-实时ETL
在这里插入图片描述
在这里插入图片描述

4.7 Dinky测试单表离线同步(Mysql2Doris)
在这里插入图片描述
在这里插入图片描述

4.8Dinky测试整库同步+实时增量同步(Mysql2Doris)

🔹源数据库6条数据库
在这里插入图片描述
🔹目标Doris数据库6条数据库
在这里插入图片描述

🔹源数据库6条数据库,新增2条,目标数据库实时同步增加2条,合计8条数据
在这里插入图片描述

🔹Doris目标数据库实时同步增加2条,合计8条数据,验证通过✅
在这里插入图片描述

🔹Flink Runtime Web
在这里插入图片描述
在这里插入图片描述

4.9 实时开发IDE-运维中心
在这里插入图片描述
在这里插入图片描述

4.10 运维中心-任务版本信息
在这里插入图片描述

4.11 运维中心-SQL血缘
在这里插入图片描述

4.12 注册中心-Flink实例
在这里插入图片描述

4.13 注册中心-集群管理
在这里插入图片描述

4.14 创建集群配置
在这里插入图片描述

4.15 注册中心-数据源管理
在这里插入图片描述

4.16 创建数据源
在这里插入图片描述

4.17 注册中心-告警策略管理
在这里插入图片描述

4.18 创建告警实例
在这里插入图片描述

4.19 创建告警组
在这里插入图片描述

4.20 告警模版
在这里插入图片描述

4.21 创建模版
在这里插入图片描述

4.22 告警策略
在这里插入图片描述

4.23 新建告警策略
在这里插入图片描述

4.24 文件
在这里插入图片描述

4.25 创建文档
在这里插入图片描述

4.26 创建全局变量
在这里插入图片描述

4.27 Cit 项目(Beta)
在这里插入图片描述

4.28 创建项目
在这里插入图片描述

4.29 注册中心-UDF模版管理
在这里插入图片描述

4.30 注册UDF
在这里插入图片描述

4.31 认证中心
在这里插入图片描述

4.32 认证中心-菜单管理
在这里插入图片描述

4.33 添加用户
在这里插入图片描述

4.34 修改用户
在这里插入图片描述

4.35 分配角色
在这里插入图片描述

4.36 修改密码
在这里插入图片描述

4.37 角色
在这里插入图片描述

4.38 创建角色
在这里插入图片描述

4.39 菜单
在这里插入图片描述

4.40 行权限-创建行权限
在这里插入图片描述

4.41 租户
在这里插入图片描述

4.42 创建租户
在这里插入图片描述

4.43 令牌-创建Token
在这里插入图片描述

4.44 配置中心
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.45 配置中心-Metrics配置管理
在这里插入图片描述

4.46 配置中心-类加载器管理-服务依赖检测
在这里插入图片描述

4.47 配置中心-系统日志-Root Logs
在这里插入图片描述

4.48 配置中心-系统日志-Log List
在这里插入图片描述

4.49 配置中心-类加载器 Jars
在这里插入图片描述

4.50 看板-创建仪表盘
在这里插入图片描述

在这里插入图片描述
5.1 依赖冲突
确保 JDK 和 Maven 版本与项目要求一致。
使用 mvn dependency:tree 解决依赖冲突。

5.2 数据库连接失败
检查 application.yml 中的数据库配置是否正确。确保 MySQL 服务可访问。

5.3 端口冲突
如果 8888 端口被占用,可在配置文件中修改 server.port 参数。

5.4 版本不匹配
确保 Dinky 版本与 Flink 版本对应,依赖包放置在正确的目录下。


网站公告

今日签到

点亮在社区的每一天
去签到