www.3112.net > kAFkA查看消费了多少条数据

kAFkA查看消费了多少条数据

前面应该还有个数据生产者,比如flume. flume负责生产数据,发送至kafka. spark streaming作为消费者,实时的从kafka中获取数据进行计算. 计算结果保存至redis,供实时推荐使用. flume+kafka+spark+redis是实时数据收集与计算的一套经典架构

如何查看目前的消费者是否已经读到最新的数据:kafka-run-class.sh kafka.tools.consumeroffsetchecker#kafka查看topic各个分区的消息的信息kafka-run-class.sh kafka.tools.consumeroffsetchecker --group ** --topic *** --zookeeper *:2181,*:2181,*:

这些类该如何使2113用呢,kafka的设计者早5261就为我们考虑到了,在4102${KAFKA_HOME}/bin下,有很多的脚本,其中1653有一个kafka-run-class.sh,通过这个脚本,可以调用其中的专tools的部分功能,如属调用kafka.tools里的ConsumerOffsetChecker.scala

基于0.8.0版本.##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:

进入cd $ZOOKEEPER_HOME/bin下../kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper txy001:2181 --group console-consumer-36989./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper hadoop1:2181 --group console-consumer-36989

Kafka的生产者和消费者都可以多线程地并行操作,而每个线程处理的是一个分区的数据.因此分区实际上是调优Kafka并行度的最小单元.对于producer而言,它实际上是用多个线程并发地向不同分区所在的broker发起Socket连接同时给这些分区发送消息;而consumer呢,同一个消费组内的所有consumer线程都被指定topic的某一个分区进行消费(具体如何确定consumer线程数目我们后面会详细说明).所以说,如果一个topic分区越多,理论上整个集群所能达到的吞吐量就越大.

1、kafkautils.createdstream构造函数为kafkautils.createdstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据,利用的是kafka高层次的消费者api,对于所有的receivers接收到的数据将会保存在spark executors

分区实际上是调优Kafka并行度的最小单元.对于producer而言,它实际上是用多个线程并发地向不同分区所在的broker发起Socket连接同时给这些分区发送消息; 而consumer呢,同一个消费组内的所有consumer线程都被指定topic的某一个分区进行消费(具体如何确定consumer线程数目我们后面会详细说明). 所以说,如果一个topic分区越多,理论上整个集群所能达到的吞吐量就越大.

不过要注意一些注意事项,对于多个partition和多个consumer 1. 如果consumer比partition多,是浪费,因为kafka的设计是在一个partition上是不允许并发的,所以consumer数不要大于partition数 2. 如果consumer比partition少,一个consumer会

一、基于Receiver的方式这种方式使用Receiver来获取数据.Receiver是使用Kafka的高层次Consumer API来实现的.receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的,然后Spark Streaming启动的job会去处理那些数据.然而

网站地图

All rights reserved Powered by www.3112.net

copyright ©right 2010-2021。
www.3112.net内容来自网络,如有侵犯请联系客服。zhit325@qq.com