Kafka 基本的使用和生产环境集群配置,包括 0.10 的 Java API 使用

最近用 Kafka 和外部系统进行数据交换,性能还是比较喜人的,问题也遇到一些。

Kafka 是什么网上有很多文章介绍,就不重复了。Kafka 是用 Scala 编写的,经过尝试 Kafka 的性能令人满意,但到现在,我还是有一些疑问的。
在某些场景下,我希望单条记录 commit,感觉就有些不适合了。
Topic 的历史的数据在什么情况下会删除,也不太清楚。

这次遇到了几个问题。

1. Java API 的使用,Kafka Doc 上关于 Java API 的使用一笔带过,没想到具体的使用方法文档,在 Kafka 的 Java Doc 上面,直接看就行了。
2. listeners 一定要写上 host 或 ip,否则本地用得挺好,远程的 producer 和 consumer 就不能用了。
3. 关于 zookeeper 的,最好用 Kafka 自己带的版本,比如带的是 3.4.6,用 3.4.8 的,Kafka 都连不上。

用的时候,务必先创建好 Topic,比如设置好的 partitions 和 replication-factor,一旦连上又有不停的消息进入,就没办法改了,只能停掉 producer 和 consumer 才能改。

发表评论

电子邮件地址不会被公开。