如何进行Fair Scheduler和Capacity Scheduler比较

这篇文章的内容主要围绕如何进行Fair Scheduler和Capacity Scheduler比较进行讲述，文章内容清晰易懂，条理清晰，非常适合新手学习，值得大家去阅读。感兴趣的朋友可以跟随小编一起阅读吧。希望大家通过这篇文章有所收获！下面提供有关选择Capacity Scheduler的好处和性能改进的信息，以及Fair Scheduler和Capacity Scheduler之间的功能比较。为什么需要Scheduler？Cloudera Data Platform（CDP）在YARN群集中仅支持Capacity Scheduler。
在发布CDP之前，Cloudera客户根据所使用的产品（分别是CDH或HDP）使用了两个调度程序（Fair Scheduler和Capacity Scheduler）之一。CDP中收敛到一个调度程序是一个艰难的选择，但最终植根于我们为客户降低复杂性的意图，同时帮助我们集中精力进行未来的投资。多年来，这两个调度程序都有很大的发展，以至于Fair Scheduler从Capacity Scheduler借用了几乎所有功能，反之亦然。鉴于此，我们最终决定将您的所有YARN群集的工作负载都放在Capacity Scheduler的上面。当前使用Fair Scheduler的群集在迁移到CDP时必须迁移到Capacity Scheduler。Cloudera提供了有关此类迁移的工具，文档和相关帮助。以下是使用Capacity Scheduler时的一些好处：与Ranger集成节点分区/标签改进了在云原生环境中的Scheduler，例如更好的垃圾箱打包，自动扩展支持等。计划吞吐量的提高全局调度框架一次查找多个节点相似性/反相似性：仅在运行应用程序Y的那些节点上运行应用程序X，反之亦然。不要在同一节点上运行应用程序X和应用程序Y。调度程序性能改进提供有关全局调度功能及其测试结果的信息。
在更改全局调度之前，YARN调度程序处于整体锁定状态，表现不佳。全局调度在很大程度上改进了YARN调度程序的内部锁定结构和线程模型。调度程序现在可以解耦放置决策并更改内部数据结构。这还可以使您一次查找多个节点，云上的自动缩放和bin-packing策略会使用这些节点。有关更多信息，请参见设计和实现说明。在模拟的基础上，使用全局调度功能的测试结果显示：这是一个具有20000个节点和47000个正在运行的应用程序的模拟环境。有关这些测试的更多信息，请参见性能报告。微软发布了Hydra：用于数据中心规模分析的联合资源管理器（Carlo等）报告，重点介绍了可伸缩性（将YARN部署到超过25万个节点，其中包括五个大型联合集群，每个集群有5万个节点）和通过使用Capacity Scheduler调度获得更高的性能（每个群集的调度程序每秒可以分配超过40k的容器）。这是世界上最大的YARN部署。我们还看到了社区中其他公司的性能数据，这些数据与我们使用模拟器测试的结果一致（对于具有数千个节点的集群，每秒数千个容器分配）。免责声明：上面讨论的性能数字与群集的大小，群集上运行的工作负载，队列结构，运行状况（例如节点管理器，磁盘和网络），容器搅动等有关。这通常需要对调度程序和其他群集参数进行微调，以达到理想的性能。这不是仅通过使用CDP就可以实现的保证数量。功能比较随着时间的推移，两个调度程序的功能都变得相似。表中列出了当前功能列表以及两个调度程序之间的差异。
功能列表Capacity SchedulerFair Scheduler评论队列分层队列是是弹性队列容量来实现更好的资源共享是是队列中基于百分比的资源配置是是百分比和绝对资源设置不能同时使用。自动队列创建是是用户映射（用户/组到队列的映射）是是CLI / REST API支持来管理队列是是在队列之间移动应用程序是是创建/删除/修改动态队列是是队列中的预订支持是是授权授权控制（队列中用于提交/管理/管理的ACL）是是第三方ACL控制（Ranger）是是应用位置节点标签支持是否Hive放置集成是是节点属性支持是否放置约束支持是否受支持的约束在当前实施中受到限制。节点位置是是位置延迟控制是是用户限制配额管理是是AM资源配额管理是是队列优先级是否通过队列权重间接管理。每个容器单位的最大和最小分配限制是是调度异步调度支持是是调度程序之间的实现有所不同，因此不应视为等效。多种资源类型支持（CPU，内存，GPU等）是是队列排序策略（公平，FIFO等）是是每个心跳有多个容器分配是是抢占队列间抢占支持是是队列内抢占支持是是基于预留的抢占是是基于队列优先级的抢占是否在做出抢占式决策时，将考虑队列权重。应用支持一流的应用概念是是应用优先级是是应用程序超时是是跨队列移动应用程序是是高可用性有状态应用程序恢复是是功能列表Capacity SchedulerFair Scheduler评论队列队列中的绝对资源配置是是百分比和绝对资源设置不能同时使用。应用位置最大应用数量否是通过AM资源配额间接管理。调度基于应用程序大小的公平性否是从CDP私有云Base 7.1版本开始，Cloudera提供fs2cs转换实用程序，它是一个CLI应用程序，并且是YARN CLI命令的一部分。该实用程序有助于从Fair Scheduler迁移到Capacity Scheduler。感谢你的阅读，相信你对“如何进行Fair Scheduler和Capacity Scheduler比较”这一问题有一定的了解，快去动手实 香港云主机践吧，如果想了解更多相关知识点，可以关注开发云网站！小编会继续为大家带来更好的文章！

相关推荐: 机器学习中怎么评估分类效果

这篇文章将为大家详细讲解有关机器学习中怎么评估分类效果，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅 香港云主机读完这篇文章后可以有所收获。给你一个问题，假如老板让另一个同事去检查一万张纸币中，有多少是真币，有多少是假币，然后这个同事给老板汇报了结果：…