简介:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
相关推荐
图书知识聚合
在3本书中找到答案
  • 《Spring Cloud微服务实战》
    章节Kafka 简介
    Kafka 是一个由 LinkedIn 开发的分布式消息系统,它于 2011 年年初开源,现在由著名的 Apache 基金会维护与开发。Kafka 使用 Scala 实现,被用作 LinkedIn 的活动流和运营数据处理的管道,现在也被诸多互联网企业广泛地用作数据流管道和消息系统。Kafka 是基于消息发布-订阅模式实现的消息系统,其主要设计目标如下所述。消息持久化:以时间复杂度为 O(1)的方式提供消息持久化能力,即使对 TB 级以上的数据也能保证常数时间复杂度的访问性能。高吞吐:在廉价的商用机器上也能支持单机每秒 10 万条以上的吞吐量。分布式:支持消息分区以及分布式消费,并保证分区内的消息顺序。跨平台:支持不同技术平台的客户端(如 Java、PHP、Python 等)。实时性:支持实时数据处理和离线数据处理。伸缩性:支持水平扩展。Kafka 中涉及的一些基本概念,如下所示。Broker:Kafka 集群包含一个或多个服务器,这些服务器被称为 Broker。Topi
    翟永超
    电子工业出版社
  • 《大话社交网络》
    章节4.2.3 Kafka:LinkedIn 的《变形记》
    Kafka 是 LinkedIn 用于日志处理的分布式消息队列。LinkedIn 的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。当前很多的消息队列服务提供可靠交付保证,并默认是即时消息(不适合离线)。高可靠交付对 LinkedIn 的日志不是必须的,故可通过降低可靠性来提高性能,同时通过构建分布式的集群,允许消息在系统中累积,使得 Kafka 同时支持离线和在线日志处理。 图 4-10 Kafka 架构 Kafka 实际上是一个消息发布订阅系统。生产者向某个主题发布消息,而消费者订阅某个主题的消息,进而一旦有新的关于某个主题的消息,代理会传递给订阅它的所有消费者。 在 Kafka 中,消息是按主题组织的,而每个主题又会分为多个分区,这样便于管理数据和进行负载均衡。同时,它也使用了 Zookeeper 进行负载
    郎为民
    人民邮电出版社有限公司
  • 《Kafka 入门与实践》
    章节1.3 Kafka 基本概念
    在 Kafka 基本体系结构中我们提到了 Kafka 集群。Kafka 集群就是由一个或多个 Kafka 实例构成,我们将每一个 Kafka 实例称为代理(Broker),通常也称代理为 Kafka 服务器(KafkaServer)。在生产环境中 Kafka 集群一般包括一台或多台服务器,我们可以在一台服务器上配置一个或多个代理。每一个代理都有唯一的标识 id,这个 id 是一个非负整数。在一个 Kafka 集群中,每增加一个代理就需要为这个代理配置一个与该集群中其他代理不同的 id,id 值可以选择任意非负整数即可,只要保证它在整个 Kafka 集群中唯一,这个 id 就是代理的名字,也就是在启动代理时配置的 broker.id 对应的值,因此在本书中有时我们也称为 brokerId。由于给每个代理分配了不同的 brokerId,这样对代理进行迁移就变得更方便,从而对消费者来说是透明的,不会影响消费者对消息的消费。代理有很多个参数配置,由于在本节只是对其概念进行阐述,因此不做深入展开,对于代理相关配置将穿插在本书具体组件实现原理、流程分析及相关实战操作章节进行介绍。
    牟大恩
    人民邮电出版社有限公司
kafka的相关视频
一看就会
05:03
B站
Kafka教程_2019版_尚硅谷_哔哩哔哩(゜-゜)つロ 干杯~-bilibili
08:04
B站
Kafka深入探秘者来了,快速玩转分布式发布订阅消息系统
02:30
优酷
硅谷之路36:Kafka从哪里来
04:57
优酷
Kafka介绍2_G075
其他人还搜了
Kafka精选文章
Kafka 为什么能那么快的 6 个原因
无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存...
如何快速全面掌握Kafka?5000字吐血整理
评论:1
Kafka 是目前主流的分布式消息引擎及流处理平台,经常用做企业的消息总线、实时数据管道,本文挑选了 Kafka...
下一页 网络不给力?刷新试试