sparkstreaming集成kafka时的maven的pom依赖:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
<version>0.8.2.1/version>
</dependency>
使用SparkStreaming集成kafka时有几个比较重要的参数:
(1)spark.streaming.stopGracefullyOnShutdown (true / false)默认fasle
确保在kill任务时,能够处理完最后一批数据,再关闭程序,不会发生强制kill导致数据处理中断,没处理完的数据丢失
(2)spark.streaming.backpressure.enabled (true / false) 默认false
开启后spark自动根据系统负载选择最优消费速率
(3)spark.streaming.backpressure.initialRate (整数) 默认直接读取所有
在(2)开启的情况下,限制第一次批处理应该消费的数据,因为程序冷启动
队列里面有大量积压,防止第一次全部读取,造成系统阻塞
(4)spark.streaming.kafka.maxRatePerPartition (整数) 默认直接读取所有
限制每秒每个消费线程读取每个kafka分区最大的数据量
注意:
只有(4)激活的时候,每次消费的最大数据量,就是设置的数据量,如果不足这个数,就有多少读多少,如果超过这个数字,就读取这个数字的设置的值
只有(2)+(4)激活的时候,每次消费读取的数量最大会等于(4)设置的值,最小是spark根据系统负载自动推断的值,消费的数据量会在这两个范围之内变化根据系统情况,但第一次启动会有多少读多少数据。此后按(2)+(4)设置规则运行
(2)+(3)+(4)同时激活的时候,跟上一个消费情况基本一样,但第一次消费会得到限制,因为我们设置第一次消费的频率了。
除此之外,还应该考虑程序容错性,这个跟checkpoint有关系散仙在前面的文章已经描述过具体请参考:http://qindongliang.iteye.com/
有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,与君同行。
- 大小: 65.4 KB
分享到:
相关推荐
springboot集成kafka实战项目代码 项目介绍地址:https://blog.csdn.net/qq_38105536/article/details/122308040
由于springboot最近很火,所以,做了这么一个例子:spring-baoot集成kafka收发message。
一个简单的springboot的例子,集成了定时向kafka集群推送消息的例子,代码较简单,适合新手上手。
kafka参数配置详解
springboot集成kafka简单入门案例,介绍了怎么使用springboot来使用kafka
压缩包中有两个集成kafka的项目,第一个是spring boot默认的集成方式kafkaTest1,第二个是springboot集成插件spring-integration-kafka来配置的
jstorm集成kafka插件demo
kafka配置文件zookeeper参数.md
springboot集成kafka demo,实现简单的生产者、消费者
Storm集成Kafka 一、整合说明 二、写入数据到Kafka 三、从Kafka中读取数据 整合说明 Storm 官方对 Kafka 的整合分为两个版本,官方说明文档分别如下: Storm Kafka Integration : 主要是针对 0.8.x 版本的 Kafka ...
sbt已经编译,正式环境编译好的kafka manager,可以直接用
Storm集成Kafka 一、整合说明 二、写入数据到Kafka 三、从Kafka中读取数据 从Kafka中读取数据 Storm从Kafka集群读取数据处理
kafka原理优化及参数。 可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。 顺序保证 在...
使用Maven整合Kafka 包括生产者,消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81...
storm集成kafka插件demo
springboot集成kafka简单模拟生产者消费者
java程序实现springboot集成kafka进行消息发布和订阅并打包,可直接进行linux主机应用。支持动态修改kafka集群配置,和监听主题;支持动态指向jdk版本。
简单的SpringBoot集成kafka Demo 需要自行官网下载kafka工具、zookeeper分布式微服务
SpringBoot集成kafka完整框架源码,亲测功能无误,欢迎下载使用。
kafka在centos7上搭建过程,包括jdk配置,环境变量配置,zookeepr搭建,以及使用springboot集成kafka的小demo用例