大数据开发中表数据波动和码值分布波动监控方法是什么
本篇内容介绍了“大数据开发中表数据波动和码值分布波动监控方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
成都创新互联公司自2013年创立以来,是专业互联网技术服务公司,拥有项目网站设计制作、成都做网站网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元三江侗做网站,已为上家服务,为三江侗各地企业和个人服务,联系电话:13518219792
设计摘要:
任务执行、监控和报警从设计上是可以完全分开的,分开可以让任务执行尽可能只做任务执行的事情,监控可以根据多种监控规则来进行数据统计,数据分布,而报警则专注于如何根据监控的结果进行自定义灵活地报警。其中在设计上可以以监控为主体,任务执行和报警可以依据需求来定制,从而更好满足各方需求。 监控规则的设计,暂时从以下几个方面入手,数据分区的生成、数据分区的数据量、数据分区的数据量波动、表数据字段的码值分布波动。监控的主要职责是跑数,跑出报警需要的数据,而报警,可以根据监控的输出数据以及监控配置进行生成done文件或者undone 和 报警。
done目录和原表目录类似 表/版本/分区或日期/done/a.done or b.done or c.done (根据配置的根目录 + 表路径的后半部分来生成)
1.表数据监控
监控什么?要达到什么目的?
监控主要有两个目的,一个是报警,另外一个是拦截,拦截为了发生问题时不继续往下走,所以一般配置有拦截必有报警,有报警不一定有拦截,比如延时报警。
1.1 输入什么
一个调度平台的调度时间,以天为单位,最后体现在跑批日志的分区字段上,可以支持回溯,其他监控需要的配置信息都在表数据监控的主表里面,一些特别的配置信息,会用到附属表,比如分布子表。
1.2 计算模型
1.2.1分区有没有生成 show partitions | grep xx
1.2.2分区数量大于某个阈值,默认0:select count(*) from db_table where {db_table_date_column} = f($input_date) and version=20201205
1.2.3 分区数量波动:(分区数量的count - 前几天的count平均值) / 前几天的count平均值
1.2.4 数据码值分布波动监控
如何衡量数据分布波动
假设某指标码值和数据分布如下:
2020-12-05 | 2020-12-06 | 2020-12-07 |
---|---|---|
a 10% | a 9% | a 1% |
b 50% | b 51% | b 90% |
c 40% | c 40% | c 9% |
可以看到在12.07日,波动较大,需要做预警,问如何衡量这个波动,以及设置预警
把a,b,c看成一个向量,求比如最近一周(不包括当天)的向量平均值
$$ a1,b1,c1 $$
,然后计算当前向量
$$ a0,b0,b1 - a1,b1,c1 / (a1,b1,c1) = a3,b3,c3 $$
数据分布波动计算模型
key 当天向量
$$ a=(x,y,z...) $$
$$ b=(x1,y1,z1....) $$
那么波动向量
$$ c=(a-b)/a $$
,最终结果
$$ c=(x2,y2,z2...) $$
2.报警设计
报警任务的每次启动可以依赖当天分区数据监控的日志跑批分区,即至少有跑批日志,才开始进行报警任务。报警的输入是监控主表和监控跑批表,输出done,undone && 报警,于报警日志中。
3. 整体设计
使用平台例行任务来调度监控任务,使用MySQL开发环境来读配置,使用gp来存储结果数据,使用平台同步功能将同结构的hive结果表同步到gp来做报表展示,整个过程支持回溯。
表数据监控配置表:
-- 总表 create table table_monitor_conf ( db_table string, table_charge_people string comment '表负责人', done_path string comment 'done 文件输出位置前缀', where_condition string comment 'where 子句内容 eg:version=20201201 and dt=#YYYYMMdd#', if_done string comment '总开关:是否生成done文件' if_check_partition string comment '规则1:是否监控产出分区', if_check_partition_count string comment '规则2:是否监控产出分区数据量', if_check_partition_count_fluctuates string comment '规则3:是否监控产出分区数据量波动', if_check_distribute string comment '规则4:是否监控产出表数据分布波动' ) -- 分布子表if_check_distribute 为1时候使用 create table table_monitor_distribute_conf ( db_table string comment '表名', with_code_value_keys string comment '有码值的keys:k1,k2,k3', no_code_value_keys string comment '无码值的keys:k1,k2,k3' )
其中当table_monitor_conf 的 db_table = 'default.default' 时候表示是所有配置记录的默认值。
表数据量监控跑批记录:
create table table_monitor_records ( run_db_table string comment '跑批表,来源table_monitor_conf 的db_table', check_date_time string comment '任务实际跑批时间-程序生成', run_check_partition string comment '规则1产出:根据where_condition 是否产出分区' run_check_partition_count bigint comment '规则2产出:根据where_condition 跑出来的表数量', run_check_partition_count_fluctuates string comment '规则3产出:表数据量相对一周前平均值的数据波动', run_check_distribute_json comment '规则4产出:数据分布的大json', run_check_distribute_fluctuates comment '规则4产出:数据分布的大json相对一周平均值的波动大json' ) partition by (dt string comment '数据跑批分区,平台传入') comment '监控跑批记录表'
报警配置表
create table table_monitor_notify_conf( db_table string comment '库表', notify_enable string comment '是否开启此报警', normal_produce_datetime string comment '表数据正常产生时间', check_count_threshold bigint comment '监控产出分区数据量的阈值', check_count_fluctuates_threshold double comment '监控产出分区数据量波动的阈值' , check_distribute__json_threshold double comment '表数据分布阈值' )
报警日志表
create table table_monitor_notify_records( db_table string comment '哪个表有问题', view_url string comment '页面展示地址', table_charge_people string comment '表负责人', trouble_description string comment '有什么问题', check_date_time string comment '报警时间-程序生成', ) patition by (dt string comment '数据跑批分区,平台传入')
写出数据,done 文件 ,undone文件 每个表,每个分区只有一个
数据分布,在分布波动的第一次跑数据时候,就会写一份
总共有几个任务:监控任务,报警任务各1个,每天1点->晚上8点,10分钟一次
其他:
hi_email_message_phone string comment '报警方式,保留字段' zhiban_people string comment '值班负责人,保留字段',
TODO:
[ ] 增加值班人,报警方式升级、
[ ] 根据依赖来报警
[ ] 通过群内机器人,来操作报警日志表,达到报警暂停一段时间的作用 大数据开发。
“大数据开发中表数据波动和码值分布波动监控方法是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!
本文标题:大数据开发中表数据波动和码值分布波动监控方法是什么
本文来源:http://pwwzsj.com/article/jiijip.html