概要描述
在tds3.2.0以下版本,客户经常会遇到,血缘查询慢、血缘图上临时表太多、或血缘数据太多需要清理 的问题,本文提供解决方案仅供参考。
注意!下面的方案会清空现有血缘!
详细说明
测试环境:tds3.0.1-final
1. 停止catalog服务
在manager页面,停止掉catalog组件
2. 清空catalog库的graph_vertex,graph_edge表
检查catalog组件依赖的元数据库,登录到元数据库,trucate掉这2张表
具体的jdbc连接串,可以到部署catalog的节点执行
grep jdbc /etc/catalog1/conf/*
查看,一般database默认是catalog_catalog1
truncate table catalog_catalog1.graph_vertex;
truncate table catalog_catalog1.graph_edge;
3.修改catalog的catalog.properties文件,修改graph.storage.hbase.table的值(后缀加v1,v2…等)
a) Manager页面,在Catalog组件 配置参数里面找到 参数 catalog.graph.table.v1
,将值 从catalog_graph_v1
修改为catalog_graph_v2
,如果后缀已经是v2,可以修改成v3,以此类推…
b) Catalog组件,点击右上角配置服务1.
4. 修改开启血缘的argodbcomputing的catalog.properties文件,根据用户需要跳过的临时表血缘格式
修改下面2个值
hook.skip.tables.views.prefix:需要跳过的临时表的表名前缀
hook.skip.schema.names:需要跳过的库名全称
这里我们对跳过pt_tmp库的场景进行测试:
临时解决方案:
这里,我们只需要跳过pt_tmp库下的表,所以只配置hook.skip.schema.names即可。
a) 在argodbcomputing server节点,修改/etc/argodbcomputing1/conf/catalog.properties
,在最后一行,hook.skip.schema.names 中添加 pt_tmp 这个库
注意!上面的方案,如果点击 argodbcomputing1 的刷新catalog插件按钮,catalog.properties文件就会被重置,所以建议 参考下面的方式,重做plugin插件包
最终解决方案:
可以参考内部文档《Studio 3.0.X on Manager安装指导》-"Catalog血缘分析插件"章节进行操作,下面的仅供参考:
a) 到manager节点的/var/lib/transwarp-manager/master/content/meta/plugins目录下
b) tar -zxvf catalog-inceptor-1.0.tar.gz # 解压tar包
c) 修改 catalog/argodb_computing/templates/catalog.properties.ftl文件,hook.skip.schema.names
中添加 pt_tmp 这个库
d) mv catalog-inceptor-1.0.tar.gz /root/ # 将原来的插件包挪走备份
e) tar -zcvf catalog-argodb_computing-1.0.tar.gz catalog # 重新打包
f) rm -rf catalog # 删除解压出来的catalog目录
g) argodbcomputing1组件,刷新catalog插件,检查/etc/argodbcomputing1/conf/catalog.properties 文件中是否更新
5. 启动catalog
step4刷新argodbcomputing1的catalog插件,包含重启argodbcomputing1的动作,所以argodbcomputing1无需重启,只启动catalog服务即可。
重新触发血缘,观察pt_tmp库是否成功跳过。