在2010年底,百佳泰(Allion Test Labs, Inc)針對當時已上市的固態硬碟(Solid State Drive,SSD)發表了“SSD品質真相大公開–市售SSD專業測試評鑑報告這篇文章,並獲得網友與其他讀者們的熱烈迴響,為了更進一步讓消費者瞭解近期的SSD產品,以作為選購參考,並提供相關廠商產品開發時品質把關的注意事項,我們於2011年上半年再度針對市面上能取得到的相近容量與價位水準的SSD產品,進行專業的測試驗證分析,並將測試結果報告公開提供給所有讀者參考。

為求本測試評鑑的公開與公平性,我們特別在此列出揀選受測SSD的條件,以及在我們可公開範圍下的測試環境與評估指標如下,百佳泰希冀以最為中立客觀的方式,將本次測試結果忠實呈現:

 受測SSD條件 

  1. 於2011年初在市面上可購得之產品。
  2. 儲存容量標示為250GB或256GB之產品。
  3. 在相同購買管道上,價格水位落在美金500~650元區間的不同品牌產品。
  4. 產品本身宣稱讀取速度最高可達200MB/s~300MB/s之間。

根據以上的樣本選擇條件,我們挑選出來的八顆SSD可參考附表一所示。

表一 受測SSD總表

 測試環境 

  1. 相同受測平台:採用完全相同的電腦系統與受測SSD相接進行測試。
  2. 相同測試工具:媒體讀寫效能測試工具及讀寫效能評估模擬測試工具。
  3. 相同測試情境:包括整體讀寫效能、64K持續讀取效能、64K持續寫入效能、16K隨機讀取效能、16K隨機寫入效能、4K隨機讀取效能與4K隨機寫入效能。
  4. 相同測試檔案:採用相同的多種格式檔案與受測SSD進行讀寫測試。
  5. 相同受測時間:執行連續7天長達168小時不間斷的測試。

 評估指標 

  1. 可靠度(Reliability)
  2. 效能評估(Performance Evaluation)
  3. 效能穩定度(Performance Stability)
  4. 效能退化(Performance Degradation)

 

評估指標一:可靠度(Reliability

這個評估指標的目的在於觀察SSD在讀取與寫入資料的過程中,是否會出現資料存取錯誤的情形,包括讀取/寫入不完整、寫入後資料遺失、資料產生壞檔等等的都屬於資料存取錯誤的狀況。正如我們在前一次的評鑑報告中所提過的,SSD作為以儲存為用途的媒介,最重要的便是能否達到正確儲存並保存資料內容的使命,任何的檔案毀損漏失,對產品本身都是致命的傷害,也很可能對使用者造成難以彌補的錯誤。因此,可靠度這一項評估指標可以說是SSD必須通過的基本關卡。

在實際的測試中,我們會先檢視SSD的外觀規格是否皆能符合SATA接口規範、並被電腦主機端正確讀取,接著,並會透過實際的讀寫以及比對測試,來確認受測SSD在功能上能否讀寫資料、以及讀寫的內容是否正確,在這個測試情境中,我們運用的是百佳泰研發的”Allion SSD Stress Pro Tool”這套工具來作自動化的測試執行與結果觀察比對。而最後的結果是,所有受測SSD在這一關都能順利通過測試。

評估指標二:效能評估(Performance Evaluation

誠如我們所知,高速傳輸始終是SSD 標榜的一大特色,因此在這個階段我們便試圖模擬出實際的使用情境,來觀察這些受測SSD在處理不同大小型態的檔案時,會產生怎樣的效能表現,同時,更將這樣的結果與這些SSD各自宣稱的效能加以比較,來確認他們的實際效能是否能真實符合所宣稱的數據。

(一)單純效能測試結果比較

效能評估指標透過前面提到的媒體讀寫效能測試工具及讀寫效能評估模擬測試工具,來進行前述所提到七個測試情境。在經過七天連續的測試之下,每一顆受測SSD的平均效能表現如表三所示:

表三 單純效能測試結果數據表(以MB/s為單位)

以上是這八顆受測SSD在七個測試情境的平均數據表現結果,若以圖像化的方式來比較,則可以得到如附圖A這樣的畫面:由於每顆SSD測得的效能表現各不相同,因此在同樣進行完整七天測試的條件下,所測得的讀寫次數會因該SSD讀寫效能的快慢而有差異,讀寫效能越佳越快的SSD會記錄到較多的讀寫次數;反之則會記錄到較少的讀寫次數。因此上面所有測試結果均是依照這七天中每顆SSD的全部測試結果除以所有讀寫次數來作計算,以示公允。

圖A 單純效能測試結果圖表

整體而言,就單純比較八顆SSD的測試效能結果來看,以ADATA、Intel與Samsung的三顆受測SSD表現最為出色。從這樣的直條圖便可以清楚看出,不同SSD在各個測試情境的表現各不相同。平均來說,各顆SSD在處理較大檔案時(64K檔案讀寫)都比處理較小檔案時(16K與4K檔案讀寫)來的快。其中特別值得觀察的是,儘管一般來說通常各個儲存媒介在讀取資料的速率通常會比寫入資料時的速率來的快,不過Samsung的這顆SSD卻在不論執行64K、16K、與4K大小的檔案時,讀取或寫入的效能速率都有非常相近的表現,並且在八顆之中平均而言是效能表現最好的。而其中最需要注意與加強的則是Patriot的SSD,雖然在64K檔案讀取與寫入時都還有160~170MB/s左右,但處理16K與4K時則大幅降到22MB/s甚至趨近於3MB/s左右的速度。

(二)宣稱效能達成度比較

除了將這八顆SSD作齊頭式的效能比較外,為瞭解該產品的實際表現是否能符合其所宣稱的效能,我們也將這八顆SSD的測試結果與產品外包裝所標示的”最高讀取/寫入速度”進行比較。我們在這裡選擇的是這七個測試情境中平均效能表現最快的”64K持續讀取”與”64K持續寫入”,並且採用的是七天測試過程中各顆受測SSD的最佳讀寫效能,來看看在這168小時中,受測SSD是否能夠達到他們所宣稱的效能。(由於我們在此使用的是”64K持續讀取與寫入”的最佳與平均測試結果,並未囊括所有可能的使用情境,因此僅代表各顆SSD在這些測試情境上反應宣稱效能的程度)

表四 64K持續讀取/寫入之最佳效能與宣稱效能之比較

那麼假設不只看最佳效能,而是以平均效能來與宣稱效能作比較呢?表五即是平均效能測試結果與宣稱效能的數據整理,可以看到在讀取效能部分,沒有一顆SSD能達到宣稱的水準;而在寫入效能部分,則是有其中四顆SSD能達到宣稱效能,另外半數則不能達到。表四即為實際的最佳效能測試結果與宣稱效能的數據整理,透過圖表可以發現到,八顆受測SSD中僅有OCZ的產品在64K的持續讀取與寫入時兩種測試情境都達到所宣稱的效能,而OCZ也是唯一一顆在實際測試中能達到所宣稱”讀取”效能的SSD。整體而言,在讀取效能部分,雖僅有OCZ達到宣稱效能,其餘七顆SSD也至少能達到83%至97%的宣稱效能;至於在寫入效能部分,則有六顆SSD能達到各自所宣稱的寫入效能,其餘兩顆也能達到90%至96%的宣稱效能部分。

表五 64K持續讀取/寫入之平均效能與宣稱效能之比較

評估指標三:效能穩定度(Performance Stability根據受測結果與各自宣稱效能的達成度比較來看,在本次測試中以OCZ的SSD表現最為出色。

第三個評估指標主要在評量SSD的效能表現是否穩定,意即SSD在執行多次的讀寫動作時,是否皆能維持相近的表現水準,尤其是當經過長時間持續、動態使用與完整使用所有儲存區塊的狀況下,更容易發生效能穩定度產生變化的情形。在這個評估指標中,我們分別運用統計學的三種衡量面向來進行分析,並設定評估標準如下:

  • 效能常態分佈情形(Performance Normal Distribution):
    95%以上的測試結果(效能表現)落點都需落在平均效能的正負10%之內,低於95%即為不合乎標準。
  • 極端值之落差(High/ Low Gap Over Mean):
    領先群(前10%最佳效能表現的平均值)與落後群(後10%最差效能表現的平均值)的差距必須小於所有平均效能的20%,超過20%則為不合乎標準。
  • 標準變異數離散程度(Standard Deviation Over Mean):
    效能表現的離散程度σ/μ(標準變異數σ除以效能平均數μ)必須小於10%,超過10%則為不合乎標準。

(一)效能常態分佈情形(Performance Normal Distribution

和我們前一篇測試報告相同,所謂的效能常態分佈指的就是所有測試結果中效能表現落點情形。若是所有測試結果的落點距離平均數(μ)越接近與集中,代表效能越穩定;反之若是所有測試結果的落點距離平均數越遠越發散,則代表每次效能表現的落差較大而相對的不穩定。此次我們設定以95%以上測試結果都需落在平均值的正負10%內才是達到要求的標準。

表六是以整體讀寫效能測試(Read/ Write Performance)為例所得出的結果,共有四顆SSD符合我們所設定的標準:其95%的測試結果均落在平均效能的正負10%之中,而其中又以OCZ的表現為最佳,七天中得出的測試效能結果均落在正負10%的落差之內。

table006

表六 效能常態分佈情形結果表 (整體讀寫效能測試)

 

image0006

圖B案例:良好的效能表現落點分佈圖 (整體讀寫效能測試)

image0008

圖C 案例:不佳的效能表現落點分佈圖
(整體讀寫效能測試)

若實際觀察落點的分佈圖(附圖B、C),也可以看出同樣的結果,以圖B來看,所有的測試結果(藍點所示)均落在正負10%(綠色線段範圍)區間內;至於圖C的落點分佈圖便可明顯看出有許多測試結果均偏離綠色線段的範圍,甚至落到40MB/s以下的表現。

 

(二)極端值落差(High/ Low Gap over mean

極端值落差是指一顆SSD最佳與最差效能表現的差距,同樣也是評估效能穩定度的重要指標之一,當兩者差距越小時,代表每次SSD執行任務時都能有相近的表現;反之當差距越大時,便代表著SSD的穩定性越不足。此次我們設定SSD所有測試結果中,前10%效能表現與後10%效能表現的差距必須小於所有平均效能的20%才是符合標準。

表七 極端值落差結果表 (整體讀寫效能測試)

(三)標準變異數離散程度(Standard Deviation Over Mean)同樣以整體讀寫效能測試(Read/ Write Performance)為例,共有四顆SSD能符合標準,其中又以OCZ與Corsair的表現為最佳,極端值落差僅佔平均效能的5%左右。未達標準的四顆SSD則有兩顆出現了大於60%的結果。由於此次採用的比較方法為為相對落差比較而非絕對落差比較,因此雖然ADATA與Patriot的極端值落差相近(7.63與8.22),但各自的平均效能不同(72.71與37.98),因此也就出現了極為不同的評量結果(10.49%與21.64%)。

第三個效能穩定度的衡量面向則為標準變異數離散程度,也就是觀察SSD所有測試結果距離所有平均效能的分佈情形。此次我們設定SSD所有測試結果的離散程度必須小於10%才是符合標準。

表八 標準變異數離散程度結果表 (整體讀寫效能測試)

上述三個衡量面向均是以整體讀寫效能測試作為實例來說明,若將實際的七個測試情境結果一併列出,則僅有Corsair與OCZ兩台受測SSD能符合全部的要求標準。為求前後一致,這裡我們再次以整體讀寫效能測試(Read/ Write Performance)為例,總共有五顆SSD能符合標準,同樣以OCZ的表現最佳,其標準變異數(σ)為1.04、效能平均數(μ)為78.03MB/s,因此所得的離散程度(σ/μ)僅有1.34%,這也代表著OCZ受測SSD的多數測試結果均落在平均效能的正負1.04MB/s範圍中,且該範圍僅佔效能平均數的1.34%,足見其效能的高度穩定性。反之則有三顆SSD未能達到此項所要求的標準。

評估指標四:效能退化(Performance Degradation

最後一個也是不可忽略的一個評估指標,便是效能退化。效能退化代表著SSD在經過使用與耗損後,隨著使用時間與次數的增加、或是剩餘儲存空間的減少等因素,而導致效能逐漸下滑。在我們前次的測試報告也提到,這主要是與SSD控制晶片的TRIM功能、垃圾蒐集(Garbage Collection)設計或備用空間(Space Provisioning)不足有關。在這項指標中,若七天中最初使用回合(First Cycle)的平均效能與最終使用回合(Last Cycle)的平均效能差距(將資料完整寫入SSD所有儲存區塊視為一回合),大於所有平均效能的10%,則視為有明顯效能退化之情形。

綜觀而論,在七個不同的測試情境中,有三款SSD都觀察到效能退化的情形,至於Corsair、Crucial、Intel、OCZ與SAMSUNG則沒有明顯的效能退化跡象。圖D與圖E便是一個說明效能退化的案例,以我們所觀察到的其中一顆受測SSD在整體讀寫效能測試中的表現為例,圖D呈現的是七天測試中所有測能效能結果的落點情形,可以顯著地看出這顆SSD在最初幾回合的能達到約80~90MB/s的效能,隨後便降到70MB/s左右的水準;圖E則是呈現最初回合(桃紅線段)與最終回合(深藍線段)的平均效能,透過這個圖表可以觀察到最初回合與最終回合的平均效能有約11MB/s的差距。

圖D 案例:效能退化時的效能表現落點分佈圖
(整體讀寫效能測試)

圖E 案例:效能退化時的最初與最終回合平均效能比較圖 (整體讀寫效能測試)

 

層層把關 創造SSD最高品質

以上是我們簡略的測試內容分析,透過上述內容可以發現到,儘管我們這次採用相近價位且相同容量的SSD產品,但在各個不同測試情境與項目的表現上仍有迥異的表現,足見在現階段,各個廠商對SSD產品設計驗證的熟悉度與專業度還有所不同、也仍有許多在產品設計與整合上必須加強與改進的部分。而正因為整體環境對於SSD的前端開發未臻成熟,目前對SSD產品進行全面性的驗證動作更是至關重要。

百佳泰作為領先業界的專業測試驗證機構,也針對SSD產品本身的特性與架構,歸納整理出完整的關鍵驗證要點,透過圖F可以見得,對SSD而言最重要的組件包括控制晶片(Controller)、快閃記憶體(NAND Flash)以及連接介面(I/O Interface),除此之外SSD的軟體面(Application)也是一項必須關注的課題。至於在實際的驗證重點上,從硬體規格、相容性、效能表現、可靠度、耐受性到近期備受重視的TRIM指令支援功能,都是必須經過反覆測試驗證、確保品質的重要環節。

圖F SSD關鍵驗證要點

備註:本測試評鑑報告並未涵蓋所有SSD可執行之全部測試項目,如欲得知更多測試結果訊息、以及其他可執行之測試項目,請逕與百佳泰聯繫。作為一項仍屬新穎的儲存產品,SSD尚有長足的開發進步空間,而技術的提升則有賴於廠商的持續投入以及市場的接納與推動。本篇測試評鑑報告僅以百佳泰的測試能力,提供部分的評估指標,以供所有讀者作為參考,我們也希冀不久的將來,能看到更多品質更高、技術更成熟的產品,讓所有消費者得以更無後顧之憂的擁抱SSD產品。

(本文由測試服務暨諮詢顧問公司百佳泰Allion Test Labs, Inc提供)