Hdfs中怎么配置磁盘存储策略

1524990177 • 05/19 14:54 • 设计 • 140 views

这篇文章将为大家详细讲解有关Hdfs中怎么配置磁盘存储策略，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。data目录为Hot策略对应DISK；data1目录为Cold策略对应ARCHIVE；重启hdfs查看hdfs存储策略创建2个hdf开发云主机域名s目录指定hdfs目录存储策略查看2个目录的存储策略是否正确查看未上传文件存储目录的大小生成一个1000M大小的文件将生成的文件上传到/Cold_data目录[x] 查看此时存储目录的大小上传的文件全部存储在了data1目录下因为hdfs上的/Cold_data指定的是COLD 策略，与hdfs-site.xml里面ARCHIVE策略的data1目录相对应，所以文件存储达到了测试目的修改hdfs-site.xml配置文件，添加参数说明设置dfs.datanode.du.reserved参数,32212254720表示指定预留空间为30G;修改dfs.datanode.data.dir,只保留一个本地存储目录;-重启hdfs查看磁盘空间往hdfs上上传文件，一次上传一个2G大小的文件分析此时数据目录/opt/beh/data/namenode/dfs的空间大小如下[x] 查看此时的磁盘空间出现报错说明磁盘预留空间配置生效，但是查看磁盘空间可以看到,本地目录剩余可用空间并不是Hdfs设置的预留空间;Hdfs对一个数据目录的可用存储认定是当前目录所在磁盘的总空间(此处为/目录46G),并不是当前目录的可用空间。实际上的HDFS的剩余空间计算：当前目录（磁盘）的总空间46G – Hdfs已使用的总空间15G=31G而此时预留空间为30G,因此hdfs剩余的可用空间为1G，所以当再次上传一个大小为2G的文件时，出现以上的报错。因为此处测试直接使用了/目录的存储,其它非Hdfs占用了部分空间,当hdfs的数据目录对单块磁盘一一对应,每块磁盘的剩余可用空间大小与预留空间配置的值相当时，就不会再往该磁盘写入数据。关于Hdfs中怎么配置磁盘存储策略就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。