tds320以下版本,如何减少血缘临时表并清理血缘

  其他常见问题
内容纲要

概要描述

在tds3.2.0以下版本,客户经常会遇到,血缘查询慢、血缘图上临时表太多、或血缘数据太多需要清理 的问题,本文提供解决方案仅供参考。

注意!下面的方案会清空现有血缘!

详细说明

测试环境:tds3.0.1-final

1. 停止catalog服务

在manager页面,停止掉catalog组件

2. 清空catalog库的graph_vertex,graph_edge表

检查catalog组件依赖的元数据库,登录到元数据库,trucate掉这2张表

具体的jdbc连接串,可以到部署catalog的节点执行 grep jdbc /etc/catalog1/conf/* 查看,一般database默认是catalog_catalog1

truncate table catalog_catalog1.graph_vertex;
truncate table catalog_catalog1.graph_edge;

3.修改catalog的catalog.properties文件,修改graph.storage.hbase.table的值(后缀加v1,v2…等)

a) Manager页面,在Catalog组件 配置参数里面找到 参数 catalog.graph.table.v1,将值 从catalog_graph_v1修改为catalog_graph_v2,如果后缀已经是v2,可以修改成v3,以此类推…

file

b) Catalog组件,点击右上角配置服务1.

4. 修改开启血缘的argodbcomputing的catalog.properties文件,根据用户需要跳过的临时表血缘格式

修改下面2个值

hook.skip.tables.views.prefix:需要跳过的临时表的表名前缀
hook.skip.schema.names:需要跳过的库名全称

这里我们对跳过pt_tmp库的场景进行测试:

临时解决方案:

这里,我们只需要跳过pt_tmp库下的表,所以只配置hook.skip.schema.names即可。

a) 在argodbcomputing server节点,修改/etc/argodbcomputing1/conf/catalog.properties,在最后一行,hook.skip.schema.names 中添加 pt_tmp 这个库

file

注意!上面的方案,如果点击 argodbcomputing1 的刷新catalog插件按钮,catalog.properties文件就会被重置,所以建议 参考下面的方式,重做plugin插件包

最终解决方案:

可以参考内部文档《Studio 3.0.X on Manager安装指导》-"Catalog血缘分析插件"章节进行操作,下面的仅供参考:

a) 到manager节点的/var/lib/transwarp-manager/master/content/meta/plugins目录下
b) tar -zxvf catalog-inceptor-1.0.tar.gz # 解压tar包
c) 修改 catalog/argodb_computing/templates/catalog.properties.ftl文件,hook.skip.schema.names 中添加 pt_tmp 这个库
d) mv catalog-inceptor-1.0.tar.gz /root/ # 将原来的插件包挪走备份
e) tar -zcvf catalog-argodb_computing-1.0.tar.gz catalog # 重新打包
f) rm -rf catalog # 删除解压出来的catalog目录
g) argodbcomputing1组件,刷新catalog插件,检查/etc/argodbcomputing1/conf/catalog.properties 文件中是否更新

5. 启动catalog

step4刷新argodbcomputing1的catalog插件,包含重启argodbcomputing1的动作,所以argodbcomputing1无需重启,只启动catalog服务即可。

重新触发血缘,观察pt_tmp库是否成功跳过。

这篇文章对您有帮助吗?

平均评分 0 / 5. 次数: 0

尚无评价,您可以第一个评哦!

非常抱歉,这篇文章对您没有帮助.

烦请您告诉我们您的建议与意见,以便我们改进,谢谢您。