Job动态生成方法是什么


本篇内开发云主机域名容介绍了“Job动态生成方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!在spark stream程序中的一条关键的语句就是:ssc.start()1,跟踪进入StreamingContext的start 方法,有一句非常关键的语句scheduler.start(),是个JobScheduler(spark stream用来job调度的)进行job调度的入口!2,计入JobScheduler 的start方法。在这个方法中几个关键的点是:eventLoop.start() 一个事件循环器,用于响应其它组件发来的事件(包括job的启动,完成,以及错误报告)。receiverTracker.start() 控制了整个receiver的生成,与数据的接受jobGenerator.start() 真正开始进行job的生成
在这个方法中也维护了一个事件处理的循环器eventLoop,用于处理各种事件其中最为关键的事件是GenerateJobs(time),这个事件是进行生成job的事件!!跟踪计入generateJobs(time)jobScheduler.receiverTracker.allocateBlocksToBatch(time) 为当前的bath分发收到的数据Blocks。graph.generateJobs(time):根据当前编写的程序的output动作生成相应的job并封装进入集合中。最终通过提交作业到executor在回去看看jobGenerator.start()中的startFirstTime()第一次启动会启动一个定时器,该定时器会根基duration bath 不断的的给jobGenerator中的消息循环体!在jobGenerator中的消息循环体就会不断的去除消息进行处理“Job动态生成方法是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注开发云网站,小编将为大家输出更多高质量的实用文章!

相关推荐: Esxi更新补丁

1.补丁包下载地址https://www.vmware.com/patchmgr/download.portal并将其zip文件上传至VSAN或者共享存储上3.迁移虚拟机并让Esxi主机进入维护模式2.ssh Esxi主机(Esxi host没开启ssh服务的…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 05/17 13:00
Next 05/17 13:00

相关推荐