kafka并发方案

发表于 | 更新于 | 分类于 ，

topic分区

topic分区主要是让消息分摊到broker,提高消息吞吐量

KafkaConsumer

启动多个Consumer，将会去连不通的分区的数据。

批量收消息

批量拉取消息，然后交给线程池/多线程处理。

中间用一个LinkedBlockingQueue(queue都行)，作为管道。

采用线程池，需要考虑批量拉取消息和线程处理速度的关系。避免线程池溢出