qindongliang1922 阅读(82) 评论(0)
上篇文章,讨论了在spark streaming中管理消费kafka的偏移量的方式,本篇就接着聊聊上次说升级失败的案例。

事情发生一个月前,由于当时我们想提高spark streaming程序的并行处理性能,于是需要增加kafka分区个数,,这里需要说下,在新版本spark streaming和kafka的集成中,按照官网的建议 spark streaming的executors的数量要和kafka的partition的个数保持相等,这样每一个executor处理一个kafka partition的数据,效率是最高的。如果executors的数量大于kafka的分区个数,其实多余的executors相当于是不会处理任何数据,这部分的进程其实是白白浪费性能。

如果executor的个数小于kafka partition的个数,那么其实有一些executors进程是需要处理多个partition分区的数据的,所以官网建议spark executors的进程数和kafka partition的个数要保持一致。

那么问题来了,如果想要提高spark streaming的并行处理性能,只能增加kafka的分区了,给kafka增加分区比较容易,直接执行一个命令即可,不过这里需要注意,kafka的分区只能增加不能减少,所以添加分区要考虑到底多少个才合适。

接下来我们便增加了kafka分区的数量,同时修改了spark streaming的executors的个数和kafka的分区个数一一对应,然后就启动了流程序,结果出现了比较诡异的问题,表现如下:

造几条测试数据打入kafka中,发现程序总是只能处理其中的一部分数据,而每次总有一些数据丢失。按理说代码没有任何改动,只是增加kafka的分区和spark streaming的executors的个数,应该不会出现问题才对,于是又重新测了原来的旧分区和程序,发现没有问题,经过对比发现问题只会出现在kafka新增分区后,然后出现这种丢数据的情况。然后和运维同学一起看了新增的kafka的分区的磁盘目录是否有数据落入,经查询发现新的分区确实已经有数据进入了,这就很奇怪了丢的数据到底是怎么丢的?

最后我又检查了我们自己保存的kafka的offset,发现里面的偏移量竟然没有新增kafka的分区的偏移量,至此,终于找到问题所在,也就是说,如果没有新增分区的偏移量,那么程序运行时是不会处理新增分区的数据,而我们新增的分区确确实实有数据落入了,这就是为啥前面说的诡异的丢失数据的原因,其实是因为新增kafka的分区的数据程序并没有处理过而这个原因正是我们的自己保存offset中没有记录新增分区的偏移量。

问题找到了,那么如何修复线上丢失的数据呢?

当时想了一个比较笨的方法,因为我们的kafka线上默认是保留7天的数据,旧分区的数据已经处理过,就是新增的分区数据没有处理,所以我们删除了已经处理过的旧的分区的数据,然后在业务流量底峰时期,重新启了流程序,让其从最早的数据开始消费处理,这样以来因为旧的分区被删除,只有新分区有数据,所以相当于是把丢失的那部分数据给修复了。修复完成后,又把程序停止,然后配置从最新的偏移量开始处理,这样偏移量里面就能识别到新增的分区,然后就继续正常处理即可。

注意这里面的删除kafka旧分区的数据,是一个比较危险的操作,它要求kafka的节点需要全部重启才能生效,所以除非特殊情况,不要使用这么危险的方式。

后来,仔细分析了我们使用的一个开源程序管理offset的源码,发现这个程序有一点bug,没有考虑到kafka新增分区的情况,也就是说如果你的kafka分区增加了,你的程序在重启后是识别不到新增的分区的,所以如果新增的分区还有数据进入,那么你的程序一定会丢数据,因为扩展kafka分区这个操作,并不常见,所以这个bug比较难易触发。

知道原因后,解决起来比较容易了,就是每次启动流程序前,对比一下当前我们自己保存的kafka的分区的个数和从zookeeper里面的存的topic的分区个数是否一致,如果不一致,就把新增的分区给添加到我们自己保存的信息中,并发偏移量初始化成0,这样以来在程序启动后,就会自动识别新增分区的数据。

所以,回过头来看上面的那个问题,最简单优雅的解决方法就是,直接手动修改我们自己的保存的kafka的分区偏移量信息,把新增的分区给加入进去,然后重启流程序即可。

这个案例也就是我上篇文章所说的第三个场景的case,如果是自己手动管理kafka的offset一定要注意兼容新增分区后的这种情况,否则程序可能会出现丢失数据的问题。

有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。 技术债不能欠,健康债更不能欠, 求道之路,与君同行。