搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 软件技术方案 > 大数据高吞吐量的分布式消息队列系统 Kafka

大数据高吞吐量的分布式消息队列系统 Kafka

软件技术方案 2020-07-31

Kafka介绍

Kafka特点

  • 高吞吐率;

  • 支持C#等多语言,rocketmq主要面向java;

  • 提供消息持久化能力,可应对TB级以上数据;

  • 支持离线数据处理和实时数据处理;

  • 支持在线水平扩展

相关概念

Producer:消息生产者。
Consumer:消息消费者。
Consumer Group:消费者组每个消费者负责消费不同分区的数据,提高消费能力。
Broker:集群由多个Broker组成。Broker容纳多个Topic。
Topic:Topic将消息分类,生产者和消费者面向的是同一个Topic。
Partition:实现扩展性,提高并发能力,每个Partition是一个有序队列。
Replica:副本,实现备份功能,保证集群节点数据不丢失。
Offset:消费者消费的位置信息。
ZooKeeper:Kafka集群依赖于ZooKeeper,帮助Kafka存储和管理集群信息。

安装步骤

1 下载安装 

   tar -xzf kafka_2.11-2.3.0.tgz

2 调整配置文件 conf/server.properties  

   默认端口号9092,可以修改调整。

3 启动/停止服务

   启动服务:./bin/kafka-server-start.sh config/server.properties &

   停止服务:/bin/kafka-server-stop.sh

测试消息

创建主题

/bin/kafka-topics.sh --create --zookeeper localhost:2181 \
--replication-factor 1 \
--partitions 1 \
--topic test

发送消息

/bin/kafka-console-producer.sh \
--broker-list localhost:9092 \ 
--topic test

#进入输入模式,输入信息,例如:
hello world


获取消息

/bin/kafka-console-consumer.sh \
--bootstrap-server localhost:9092 \
--topic test \
--from-beginning

便会显示出刚才发送的消息:
hello world


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《大数据高吞吐量的分布式消息队列系统 Kafka》的版权归原作者「软件技术方案」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注软件技术方案微信公众号

软件技术方案微信公众号:oxingsoft

软件技术方案

手机扫描上方二维码即可关注软件技术方案微信公众号

软件技术方案最新文章

精品公众号随机推荐