在MapReduce的各阶段过程中，根据场景开启不同类型的压缩，可以有效提升Job的处理时间；MR使用压缩的各个阶段： 压缩可以在 MapReduce 作用的任意阶段启用，通过压缩可以有效降低Job的处理时间；从上图可以总结为如下内容：1 香港云主机.从原始数据到Map阶段；需要可切分的Splitable，以便于启动多个线程加速任务2.Map阶段落地过程；因为需要马上进行Reduce，所以讲求的是Speed，所以越快越好3.Reduce阶段是分结果的：归档需求：建议采用高压缩比的工具，归档后节省磁盘空间；作为下一个任务的输入：要采用Splitable，如果不切片的话下一个MapReduce将只有一个task来处理任务压缩工具特点对比：压缩性能比较：通过上图，可以根据不同的阶段，选项不同的压缩工具；在选项压缩工具时，针对不同的阶段，可以从3个方面选择对应压缩工具：压缩比、压缩速度、是否分片关于压缩Hadoop引入的编码器：Hadoop关于压缩参数的配置：
core-site.xml相关的配置：io.compression.codecs -> 配置支持哪些压缩格式，多种压缩格式以逗号区分mapred-site.xml相关的配置：reduce阶段：mapreduce.output.fileoutputformat.compress：是否开启压缩，true表示开启，默认为falsemapreduce.output.fileoutputformat.compress.codec：压缩类型 map阶段：mapreduce.map.output.compress：是否开启压缩，true表示开启，默认为falsemapreduce.map.output.compress.codec：压缩类型
本文小编为大家详细介绍“Revit如何创建墙体”，内容详细，步骤清晰，细节处理妥当，希望这篇“Revit如何创建墙体”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。Revit提供的api墙体的创建方法有5个重载，如下所示：1.Crea…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
