Spark Streaming作业提交源码分析接收数据篇

更新时间:2015-04-29 10:03:11点击次数:2431次

近一段时间在使用Spark Streaming,里面遇到很多问题,只知道参照官方文档写,不理解其中的原理,于是抽了一点时间研究了一下Spark Streaming作业提交的全过程,包括从外部数据源接收数据,分块,拆分Job,提交作业全过程。这里我只介绍从Kafka中接收数据为例进行讲解。我这里是基于对Spark 1.3.0的代码进行分析的,由于Spark代码在经常变动,不同版本的Spark代码可能不一样,所以阅读下面的代码请参照Spark 1.3.0的源码

  我们通过KafkaUtils.createStream函数可以创建KafkaReceiver类(这是默认的Kafka Receiver,如果spark.streaming.receiver.writeAheadLog.enable配置选项设置为true,则会使用ReliableKafkaReceiver,其中会使用WAL机制来保证数据的可靠性,也就是保证数据不丢失。)

  在KafkaReceiver类中首先会在onStart方法中初始化一些环境,比如创建Consumer(这个就是用来从Kafka的Topic中读取消息的消费者)。在初始化完相关环境之后会在线程池中启动MessageHandler来从Kafka中接收数据:

01/**
02 * User: 过往记忆
03 * Date: 15-04-29
04 * Time: 上午03:16
05 * bolg: http://www.iteblog.com
06 * 本文地址:http://www.iteblog.com/archives/1334
07 * 过往记忆博客,专注于hadoop、hive、spark、shark、flume的技术博客,大量的干货
08 * 过往记忆博客微信公共帐号:iteblog_hadoop
09 */
10 
11// Handles Kafka messages
12private class MessageHandler(stream: KafkaStream[K, V])

本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责,本站只提供参考并不构成任何投资及应用建议。本站是一个个人学习交流的平台,网站上部分文章为转载,并不用于任何商业目的,我们已经尽可能的对作者和来源进行了通告,但是能力有限或疏忽,造成漏登,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息