kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)MQ。在这片博文中,作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因:性能和扩展性。Kafka仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。
Kafka版本:0.8.0
官网:http://kafka.apache.org/
官方文档:http://kafka.apache.org/documentation.html#quickstart
下载解压
# wget http://mirrors.hust.edu.cn/apache/kafka/0.8.0/kafka-0.8.0-src.tgz
# tar xzf kafka-0.8.0-src.tgz
# cd kafka-0.8.0-src
设置环境变量:
KAFKA_HOME=/usr/local/adsit/yting/apache/kafka/kafka-0.8.0
PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$MAHOUT_HOME/bin:$SCALA_HOME/bin:$STORM_HOME/bin:$REDIS_HOME/bin:$FLUME_HOME/bin:$KAFKA_HOME/bin
启动自带的zookeeper,也可以不用
bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka server,不使用自带的要注意修改地址
bin/kafka-server-start.sh config/server.properties
创建topic
bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
list
bin/kafka-list-topic.sh --zookeeper localhost:2181
producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
comsumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
集群:多个brocker 整目录拷贝多份就可以了
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-1.properties
新的配置
config/server-1.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
相关推荐
根据实战安装步骤,详细描述hadoop3.2.1、hive3.1.2(包括mysql5.7)、zookeeper3.6、hbase2.2.4、flume1.90、sqoop1.4.7各组件安装步骤,记录过程中的各种坑,方便各位看官快速安装部署hadoop伪分布集群。
环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...
本文档详细介绍了kafka的流程,及kafka集群的安装,赋详细安装步骤
kafka jar包,可用于jmeter
日志分析集群,在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档,很详细,通常的EFK日志分析,加上kafka的消息队列,可以处理PB级别的日志内容。
需要的环境支持:jdk8,zookeeper端口为2181,然后将此压缩包的module目录解压到/opt下并直接运行cluster-kafka.sh即可。 注意:端口不能被占用 主要相关文档: ...
1、kafka-docker-compose集群安装 2、kafka配置详解
1. 在根目录创建kafka文件夹(service1、service2、service3都创建) [root@localhost /]# mkdir kafka 2.通过Xshell上传文件到service1服务器:上传kafka_2.9.2-0.8.1.1.tgz到/software文件夹 3.远程copy将...
redis zookeeper kafka集群安装手册
利用安装zookeeper的三台服务器搭建KAFKA集群,并对其进行验证测试
本文不讲kafka集群原理,只谈部署步骤。 默认读者已对kafka有最基本的认知,纯粹作为部署笔记,方便回忆。 另外本文是基于Windows部署的,Linux的步骤是基本相同的(只是启动脚本位置不同)。 kafka集群类型: ...
zookeeper集群安装,kafka消息队列集群安装说明,kafka消息队列集群安装说明kafka消息队列集群安装说明
docker容器中搭建kafka集群环境,kafka集群配置注意事项与优化
zookeeper集群部署,kafka集群部署,kafka介绍,topic创建、删除、kafka监控
Kafka集群及Kafka-Manager安装部署
kafka+zookeeper高可用集群搭建shell使用脚本,直接在linux运行就行
Kafka2.3.0集群安装
搭建一个ELK伪集群+ kafka伪集群,使用Filebeat收集Nginx的日志,所有应用在一台服务器上搭建,虚拟多块网卡。详细搭建过程请移步我的CSDN博客-EKK栏目里。
centos7下Redis哨兵集群和kafka集群和zookeeper集群搭建 http://blog.csdn.net/gaowenhui2008/article/details/71516901 https://cwiki.apache.org/confluence/display/KAFKA/Clients