分布式文件系统存储介质评测与分析(4)

１０期许春聪等：分布式文件系统存储介质评测与分析

１０个节点作为数据服务器．所有节点的配置相同，具体如表３所示．

表３测试节点配置表

项目

规格

ＣＰＵ

Ｘｅｏｒｌ

１．６ＧＨ２

内存

４个ＤＤＲ２—５３３ＭＨｚ／１ＧＢ

硬盘１６０ＧＢ，８ＭＢ缓存。ＳＡＴＡ３００ＭＢｐｓ接口ＳＳＤ

ＯＣＺ３０ＧＢ，３２ＭＢ缓存

ＯＳ

Ｕｂｕｎｔｕ

８．０４

Ｓｅｒｖｅｒ

网络千兆以太网

４．２测试结果

读写吞吐率测试所采用的数据集为多组聚合大小为２ＧＢ的文件集，构成每组测试数据集的文件大小分别为１ＧＢ，５１２ＭＢ，…，３２ＫＢ．

４．２．１

ＨＤＦＳ读写吞吐率

ＨＤＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上时，文件写入速率如图６所示．可以看出，基于ＤＲＡＭ的写入速率最大，基于磁盘的写入速率最小．当文件大小大于２ＭＢ时，基于ＤＲＡＭ的写入速率优势明显．

∞

＆

＼至甜古｜ｌｌ缸寤

籁

文件大小／Ｂ

图６ＨＤＦＳ部署在不同存储介质上的写入速率

ＨＤＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上时，文件读取速率如图７所示，三者性能差别不大．当文件大小小于２ＭＢ时，三者的读取速率随文件大小的增大而快速提升．当文件大小大于２ＭＢ时，三者的读取速率均大于５０Ｍｂｐｓ．

∞＆羔＼

姗

鲁帕

骚籁

图７ＨＤＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上的读取速率

４．２．２

ＭｏｏｓｅＦＳ读写吞吐率

ＭｏｏｓｅＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上时，文件写入速率和读取速率分别如图８和图９所示．当文件大小小于２ＭＢ时，ＭｏｏｓｅＦＳ在３种存储介质上的读写性能均随文件大小的增大而快速提升．

万方数据

＆８０＼

曼６０

嚣。ｏ鉴２０

辐０

图８

ＭｏｏｓｅＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上的写入速率

＆

∞

茎＼糌古１３缸氅籁

图９

ＭｏｏｓｅＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上的读取速率

从图８可以看出，当文件大小大于２ＭＢ时，ＭｏｏｓｅＦＳ基于ＤＲＡＭ的写入速率明显大于基于ＳＳＤ或磁盘的写入速率．如图９所示，ＭｏｏｓｅＦＳ基于ＤＲＡＭ和ＳＳＤ上的读取速率相差不大，二者均为基于磁盘写入速率的１．４倍左右．

４．２．３

ＣａｒｒｉｅｒＦＳ读写吞吐率

ＣａｒｒｉｅｒＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上时，文件写入速率和读取速率分别如图１０和图１１所示．当文件大小小于２ＭＢ时，ＣａｒｒｉｅｒＦＳ在３种存储介质上的读写性能均随文件大小的增大而快速提升．

＆

∞

＼

兰糌

吉｜雌曙妊

图１０ＣａｒｒｉｅｒＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上的写入速率

。６０

盆５０

墨４０

等３０舱２０

蠢１：

文件大ｄ，／Ｂ

ＣａｒｒｉｅｒＦＳ部署在磁盘、ＳＳＤ和ＤＲＡＭ上的读取速率

ＣａｒｒｉｅｒＦＳ基于磁盘、ＳＳＤ和ＤＲＡＭ的读写速文件大小小于２ＭＢ时，ＣａｒｒｉｅｒＦＳ的写入速率明显大于ＨＤＦＳ的写人性能．这说明在进行小文件数据

图１１

率差别不大．通过图６和图１０的对比可以看出，当

计算机学报

访问时。ＣａｒｒｉｅｒＦＳ具有较高的数据写入性能．为Ｔ＾ｋ√。。×ｔ。×３６００．

存储介质平均每天总花费等于存储介质每天的折旧费与电费之和．用Ｃ。表示所需存储介质ｍ的大小，Ｐ。表示存储介质ｍ的单价，Ｙ。表示存储介质的使用年数。那么存储介质每天的折旧费可以表示为

５性价比理论模型与分析

５．１理论模型的建立

存储介质的性价比主要与存储设备的性能、价格和能耗等因素相关．我们用ｃ户＾¨。。表示文件大小为ｆｉｌｅ—ｓｉｚｅ时，存储介质类型为优时的性价比，它等于系统平均每天数据访问总量与存储介质平均每天总花费的比值．

用Ｔ触一妇表示文件大小为ｆｉｌｅ—ｓｉｚｅ时文件系统的数据吞吐率，ｔ。表示存储设备平均每天运行的小时数，那么系统平均每天的数据访问总量可表示

』镰．用，ｚ“ｍ。表示所需存储介质ｍ的数量，

）“ｓｃ／＼０ｕｕ

ｐｗ。．。表示存储介质优在工作时的功耗，ｐｗ…。表示存储介质ｍ在空闲时的功耗，Ｐ，表示每千瓦时电量的价格，那么存储介质每天消耗的电费可以表示为

（ｎｕｍ。×ｐｗ。．。×￡。＋咒ＵＴｌ２。×ｐｗ。。。。×（２４一￡。））×以．

以上推导可得，性价比ｆ户触一。…的评价公式

如下：

讯…户吾甄磊瓦ｉＴｆｉｌｅ＿ｉｓｉｚ，×ｔ＝ｗｖ×３６瓦００

５．２

ｊ磊‘

参数计算

根据５．１节的性价比理论模型，我们需要计算

ＳＳＤ的擦除次数约为１００００次．正常工作境况下，当前主流ＳＳＤ的寿命在１０００００～１８００００ｈ之间，远大于５年．另外，按照写入放大因子为３［１１｜，系统每天工作２４ｈ，吞吐率为第４节的测试值计算，可得ＳＳＤ的寿命大于５年．因此，本文以设备更新周期作为磁盘、ＳＳＤ和ＤＲＡＭ的寿命，即Ｙ。。＝５．

（４）存储介质的价格

存储介质的价格Ｐ。如表２，单位为美元／ＧＢ．本文旨在对比３种存储介质的性价比，因此我们不考虑多种存储介质混合使用的情况，采用磁盘、ＳＳＤ和ＤＲＡＭ构成多级存储的架构不属于本文的分析范围．

（５）能耗

表４平均吞吐率

以下参数：

（１）数据吞吐率Ｔ＾¨；。

由第４节的测试结果可知，文件大小是影响系统吞吐率的重要因素．根据测试结果，我们分别分析了大文件和小文件两种文件类型的存储介质的性价比，对应的文件大小分别为大于３２ＭＢ和小于

１ＭＢ．

我们假设读取和写入的时间比例相同，所以将第４节中３种文件系统指定文件大小的读取和写入速率的平均值作为了■。泌的值．计算可得了■。协的值如表４．

存储介质的能耗分为工作状态能耗和空闲状态能耗两种，如表５所示［１

２｜．

表５存储介质能耗

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说公务员考试分布式文件系统存储介质评测与分析(4)在线全文阅读。