发布于 2015-03-11 23:53:50 | 285 次阅读 | 评论: 0 | 来源: 网友投递
Apache Kafka 开源消息系统
Apache Kafka是一个开源消息系统项目,由Scala写成。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
Apache Kafka 0.8.2.1 发布,该版本修复了 4 个关键 bug:
[KAFKA-1919] - Metadata request issued with no backoff in new producer if there are no topics
[KAFKA-1952] - High CPU Usage in 0.8.2 release
[KAFKA-1971] - starting a broker with a conflicting id will delete the previous broker registration
[KAFKA-1984] - java producer may miss an available partition
kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:
通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。