目录

Kafka 的工作原理是什么

Kafka 通过以下五个核心功能实现流式事件处理:1、发布;2、使用;3、处理;4、连接;5、存储。Apache Kafka 是一个热门的事件流处理平台,用于收集、处理和存储流式事件数据或没有明确开始或结束的数据。Kafka 让新一代分布式应用得以实现,能够将规模扩大到每分钟处理数十亿个流式事件。

一、Kafka 的工作原理

Kafka 通过以下五个核心功能实现流式事件处理:

1、发布

数据源可以将数据事件流发布到或放入一个或多个 Kafka 主题,或类似的数据事件分组中。例如,您可以从物联网设备(例如网络路由器)获取数据流,然后将其发布到进行预测性维护的应用中,以计算该路由器何时可能发生故障。

2、使用

应用可以订阅一个或多个 Kafka 主题,从中获取数据,并处理生成的数据流。例如,一个应用可以从多个社交媒体流中获取数据,并对其进行分析,以确定关于一个品牌的在线对话的基调。

3、处理

Kafka Streams API 可以作为流处理器,使用来自一个或多个主题的传入数据流,并生成向一个或多个主题发布的传出数据流。

4、连接

您还可以构建可重复使用的生产者或使用者连接,以关联 Kafka 主题与现有应用。目前已经有数百个可用的连接器,包括连接 Dataproc、BigQuery 等关键服务的连接器。

5、存储

Apache Kafka 可提供持久的存储服务。Kafka 可以作为“真实来源”,将数据分布在多个节点上,以实现单个数据中心内或多个可用区的高可用性部署。

二、Kafka 作为代管式服务

尽管 Kafka 具有许多优点,但要部署这项技术仍然很有挑战性。本地 Kafka 集群在生产过程中很难建立、扩容和管理。在搭建本地基础架构以运行 Kafka 时,您需要预配机器并配置 Kafka。您还必须设计分布式机器集群以确保可用性、确保数据的存储和安全、设置监控,并谨慎地为数据扩容以支持负载变化。然后,您必须维护基础设施,在机器出现故障时更换机器,并进行例行修补和升级。

另一种方法是将 Kafka 作为云中的代管式服务。第三方供应商负责预配、构建和维护 Kafka 基础架构。您负责构建及运行应用。这使您无需具备特定的 Kafka 基础架构管理专业知识就能轻松部署 Kafka,减少在管理基础架构上耗费的时间,把更多时间投入到创造业务价值上。

以上就是关于Kafka 的工作原理以及Kafka 作为代管式服务的全部内容了,希望对你有所帮助。