内容纲要
概要描述
本文主要描述 TDS 3.1.0 及以上版本如何开启 Quark 数据血缘。
详细说明
1 环境检查
版本兼容性:
- TDS 版本 >= 3.1.0
- ArgoDB 版本 >= 5.2.1 或 Inceptor 版本 >= 9.3
若不满足版本要求,可参考TDS 3.0.1 开启 Quark 血缘操作步骤。
环境要求:
- 确保 Catalog 组件已安装,且安装了 Catalog Platform 角色
- Catalog 所依赖的 Hyperbase 、Kafka (Event Store)、Zookeeper 等均能正常使用,Catalog 组件状态健康
2 一键开启血缘插件
- 进入Quark服务;
- 进入插件页面;
- 点击【开启】按钮。
3 血缘验证
创建一个该 Quark 的数据源。
连接该 Quark 执行以下SQL
drop table IF EXISTS default.lineage1;
drop table IF EXISTS default.lineage2;
drop table IF EXISTS default.lineage3;
drop table IF EXISTS default.lineage4;
drop table IF EXISTS default.lineage5;
create table default.lineage1(id int, name string, age int, address string) CLUSTERED BY (age) INTO 2 BUCKETS STORED AS ORC TBLPROPERTIES ("transactional"="true");
insert into table default.lineage1 values(1, "jack", 18, "shanghai");
create table default.lineage2 as select id,name,age,address from default.lineage1;
create table default.lineage3 as select id,name,age,address from default.lineage2;
create table default.lineage4 as select id,name,age,address from default.lineage3;
create table default.lineage5 as select id,name,age,address from default.lineage4;
重新采集该连接的元数据,包含default
库即可。
在【资产】-【血缘】-【血缘分析】即可看到刚才执行的SQL生成的血缘关系。
至此,Quark 数据血缘开启成功。