模板建站動態

　　調研分享：圖片文件在各文件系統上的訪問性能對比 　　1概述 　　在某產品線的圖片服務器，存放了億級別的圖片文件，每個文件的大小在0.5k-100k之間，其中1K以下的文件數量在50%左右，1-4K文件數量在40%左右，4K以上10%，大量的文件存儲對文件系統的性能要求非常高，特對目前業界常用系統性能在圖片服務的表現進行調研。 　　因線上flash卡故障率非常高，所以在尋找替代方案，磁盤是否可以滿足線上系統需求?是否滿足今后可擴展性(容量、文件數量)?是否可以更好的處理數據同步使用時間? 　　2預期解決問題 　　1、磁盤是否可以替換flash卡? 　　目前發現1Tflash卡故障率極高，嚴重時每周多次損壞，修復數據的時間很長，最少需要6個小時。 　　2、測試jfsreiserfsxfsext2文件系統在圖片業務上的性能表現(讀寫)。 　　3測試方法及結果 　　3.1測試方法 　　1、模擬線上環境，進行壓力測試 　　搭建一套跟目前線上一樣的系統環境，提取線上7天全部日志，采用壓力工具(可以模擬數據全部返回)進行模擬線上環境進行壓力測試(連續壓力2小時以上)。 　　2、利用磁盤測試工具，進行設備性能測試 　　3、通過磁盤占用空間、inode節點數量進行對比 　　4、通過線上數據同步，測試同步所需時間 　　3.2結果分析 　　1、使用磁盤完全可以替代flash 　　從模擬線上產品的壓力得出結論使用HP機器采用jfs和ext2文件系統完全可以滿足目前線上系統及未來一段時間內需求，如下表： 　　注：使用磁盤需要20分鐘充cache，充cache期間的lighttpd的最大壓力值2000. 　　2、圖片服務目前的瓶頸在網卡 　　在進行模擬線上壓力測試時，所有文件文件系統除dell-reiserfs外全部可以達到網卡流量峰值1G，隨著時間推遲，平均值會下降，但是cpu也會逐漸空閑， 　　3、在各種文件系統性能在圖片服務的業務測試中，得出如下結果 　　1)Flash卡上的ext2性能比較突出 　　2)磁盤上jfs的表現更適合目前線上業務 　　3)reiserfs的空間占用最小，比其他文件系統節約空間60%-65% 　   　　

培戀網原創版權，網站建設提供網站代運營、模板網站制作轉載請注明出處,本文地址：http://www.gdszrq.com/news/media/74913.html