Kafka的消息记录留存策略及配置是怎样的
本篇文章为大家展示了Kafka的消息记录留存策略及配置是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
创新互联-专业网站定制、快速模板网站建设、高性价比洪湖网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式洪湖网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖洪湖地区。费用合理售后完善，十载实体公司更值得信赖。
broker中的几个重要配置项
log.retention.check.interval.ms
log.retention.hours
log.segment.bytes
log.roll.hours
消息记录留存执行基本逻辑
kafka的消息存放在segment文件中
kafka处理过期数据的操作对象是segment，处理方式为压缩或删除，或压缩与删除联合
写入数据
1.1 当前partition收到producer第一条要记录的消息, 如果没有segment，则kafka会新建segment
1.2 检查要写入的segment最后一条插入数据的时间戳: 如果大小大于log.segment.bytes配置的大小，则不再写入，并创建新的segment，并将写入游标指向新建的segment
1.3 检查要写入的segment文件的大小: 如果segment的创建时间距当前时间大于log.roll.hours配置的时间，则不再写入，并创建新的segment，并将写入游标指向新建的segment
1.4 写入数据到segment文件
定时检查并处理过期segment文件
2.1 kafka根据log.retention.check.interval.ms配置项发起定时任务: 定时检查所有的segment
2.2 检查segment是否符合执行过期处理的条件，如果segment最近时间戳距现在时间大于log.retention.hours配置时间，则会删除该segment文件
上述内容就是Kafka的消息记录留存策略及配置是怎样的，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注创新互联行业资讯频道。
当前名称：Kafka的消息记录留存策略及配置是怎样的
文章转载：http://pwwzsj.com/article/johsdd.html
