• 首页
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

        • 行业解决方案
          先进制造(即将上线)
        • 解决方案1
        • 解决方案2
  • Jira替代方案
目录

什么是 Apache Kafka

Apache Kafka 是一个热门的事件流处理平台,用于收集、处理和存储流式事件数据或没有明确开始或结束的数据。Kafka 让新一代分布式应用得以实现,此类应用能够将规模扩大到每分钟处理数十亿个流式事件。

一、什么是 Apache Kafka

Apache Kafka 是一个热门的事件流处理平台,用于收集、处理和存储流式事件数据或没有明确开始或结束的数据。Kafka 让新一代分布式应用得以实现,此类应用能够将规模扩大到每分钟处理数十亿个流式事件。

在 Apache Kafka 等事件流处理系统面世之前,数据处理通常是通过周期性批量作业进行的,即先存储原始数据,然后以任意时间间隔进行处理。例如,电信公司可能会在一天、一周或一个月结束时,才会对数百万条通话记录进行分析,计算出累计费用。

批处理的局限性之一在于它不是实时的。越来越多的组织希望能够实时分析数据,以便在重要的事情发生时及时做出业务决策并采取行动。例如,上面提到的电信公司可能会受益于让客户实时了解收费情况的服务,因为可借此提升整体客户体验。

这就是事件流的意义所在。事件流是连续不断地处理无限数据流(自其创建之时起)的过程,事件流可以捕获数据的时间价值,有助于创建基于推送的应用,以便在重要事情发生时及时采取行动。事件流的示例包括持续分析由面向客户的 Web 应用产生的日志文件、在用户浏览电子商务网站时监控和响应客户行为、通过分析社交网络产生的点击流数据的变化来持续把握客户情绪,或者收集和响应物联网 (IoT) 设备产生的遥测数据。

Kafka 采用流式数据,能够准确记录何时发生了什么。此记录称为不可变的提交日志。它不可改变,因为它可以被附加,但不能以其他方式改变。您可以订阅日志(访问数据),也可以从任意数量的流式实时应用以及其他系统向其发布数据(添加更多数据)。

例如,您可以使用 Kafka 获取网站上的所有交易数据流,以便为实时跟踪产品销售情况的应用提供数据,将其与库存产品数量进行比较,从而实现实时库存补充。

二、Kafka 的优势

1、Kafka 采用开源形式

这意味着它的源代码免费提供,任何人都可以出于任何目的获取、修改和发布自己的版本。Kafka 没有许可费或其他限制,它由一个全球性开发者社区群策群力对其进行支持和改进。因此,Kafka 提供了丰富的连接器、插件、监控工具和配置工具,推动着生态系统不断发展。

2、规模和速度

Kafka 不仅可以随着数据量的不断增加而扩容,而且可以在整个企业中实时提供这些数据。拥有分布式平台的属性也是 Kafka 的一大优势。这意味着处理过程被分配给多台机器,包括物理机器和虚拟机。这有两个优势:在处理某些工作时,它可以横向扩容,即在需要更多处理能力或存储空间时增加机器数量,同时它也非常可靠,因为即使个别机器发生故障,整个平台仍然能平稳运行。然而,Kafka 的这一特性可能很难进行大规模管理。

以上就是关于什么是 Apache Kafka以及Kafka 的优势的全部内容了,希望对你有所帮助。

一站式研发项目管理平台 PingCode

一站式研发项目管理平台 PingCode

支持敏捷\瀑布、知识库、迭代计划&跟踪、需求、缺陷、测试管理,同时满足非研发团队的流程规划、项目管理和在线办公需要。

相关文章