Qtier | Hiroaki's blog

QNAPのNASを更に高速化すべく、とうとうQtier（自動階層化）に手を出すことにしました。

そもそもQtier（自動階層化）とは？という疑問は、公式サイトの説明が詳しいので省略します。
Qtier™ドライブ自動階層化

TS-673はSATAのSSDを2つ搭載可能なので、それでQtierを構成することも可能なのですが、折角高速なQtierを構築するのですから、NVMeのSSDを使用することにしました。
（SATAのSSDはQNAP TS-673にSSDキャッシュを追加の記事に書いた通りHDDのキャッシュとして使用します）

私が使用しているTS-673は既にSFP+のネットワークカードとトランスコード用のGPUが刺さっているので、PCIeの空きスロットが既にありませんでした。
が、TV録画サーバーをラズベリーパイ4からインテルCPUのNUCに変更したことで、CPUに搭載されているハードウェアエンコードの機能が使えるようになり、GPUを取り外すことができました。
（GTX 1650を使用したQNAPのGPUエンコードとほぼ同じ速度でエンコードが可能でした）

これでPCIeスロットが1つ空いたので、NVMe SSDを増設するための拡張カードを刺すことができます。

QNAPには色々な種類の拡張カードがありますが、今回はTS-673に合ったカードを選択しました。
TS-673はPCIeスロットの仕様がGen 3 x4の2スロットなので、Gen 3 x8の拡張カードを購入しても性能を活かしきれません。
もちろん下位互換があるため動きますので、将来を見据えてより上位機種で使う可能性があるのであれば、Gen 3 x8の拡張カードを購入してもいいでしょう。
（6千円くらい高くなります）

QNAPの拡張カードを取り扱っているお店は少なく、日本のAmazonにもなかったので、オリオスペックさんから通販で取り寄せました。

QNAP QM2-4P-342 クアッド M.2 22110/2280 PCIe NVMe SSD拡張カード

この拡張カードはNVMe SSDを4枚搭載することが可能です！
但し、先に書いた通りTS-673とはGen 3 x4での接続になりますし、拡張カードとSSDの接続はGen 3 x2での接続になります。
（現在一般的なNVMe SSDの性能をフルでは活かしきれませんが、速度が落ちることで熱的には有利になります）

箱の中身はカードとネジ類、熱伝導シート、マニュアルです。

今回使用するSSDは以前デスクトップの倉庫用に購入したトランセンド(Transcend)のTS1TMTE220Sです。
但し、型番は同じでも以前購入した時と仕様が変わってました。
シーケンシャルリード/ライト：3,400/1,900 MB/s
TBW [総書込み容量] ：2,200 TBW

今回はNVMe SSDを4枚も用意しなければならないので結構な出費が…

拡張カードにSSDを組み込んでいきます。
まずは拡張カードの4か所のネジを緩めます。
（ネジは完全には取れない仕様です）

ヒートシンクを外すと、SSDを取り付ける部分にラバーのスペーサーがありますので取り外します。
結構のりが残ったり、ラバーが千切れたりしました…

ラバー製のスペーサーを取り外したらSSDを取り付けて付属のネジで止めます。
（ヒートシンクのファンのコネクタを外しておいた方が作業が楽です）

SSDを取り付けたら付属の熱伝導シートを貼りつけます。
結構やわかったので、台紙から剥がす時に千切れたりしないように注意が必要です。

熱伝導シートを貼ったらヒートシンクを戻し、ネジで止めれば拡張カードの方は準備完了です。

ヒートシンクから熱伝導シートがはみだしますが、気にしません！

TS-673に拡張カードを取り付けるわけですが、今回もネットワークカードとSSD拡張カードのどちらを上にするか少し悩みました。

NVMeのSSDを4枚も刺していると熱を持ちそうなので、ネットワークカードでヒートシンクの大半が隠れてしまうのはどうかと思いましたので、今回はSSD拡張カードを下に、ネットワークカードを上にすることにしました。
（SSD拡張カードにはファンがあるので、やっぱり逆か？とか悩みました（笑））

カード同士の隙間は下の写真くらいは空いているので、まあ大丈夫でしょう。

PCIeスロットへのアクセスには電源のネジまで外す必要があるのが面倒です。

ハードウェアの方はこれで終了なので、ここからはQNAPのOSであるQTSでQtierの設定を行います。
Qtierの設定に関しては、以下のサイトに詳しく書かれていましたので参考にさせて頂きました。
Qtierの自動階層化機能のセットアップ手順

オーバープロビジョンのテストは非常に長いです。
今回はSSD4枚でRAID5の構成にしましたでの、テストに半日以上掛かりました…

結果、オーバープロビジョンは必要なしとの判定でした。
Qtierの構築にも数時間掛かります。

Qtierを有効にする前と有効にした後の速度の計測結果です。

Qtierなし（HDD用のSSDキャッシュあり）

NVMe SSDx4 RAID5 Qtier（HDD用のSSDキャッシュあり）

Qtierなしの時よりもシーケンスの速度が落ちてます…
ベンチ対象の共有フォルダに大量データの書き込みやベンチマークを複数回走らせてから、自動階層化の処理を手動で数回実行しても結果は変わりませんでした。
SATA SSDのキャッシュで頭打ちしているような速度なので、SSDキャッシュを無効にして計測しても変わらず。
（SSDキャッシュを無効にしてもランダムが下がらなかったので、Qtier自体は動いていると思われる）

リソースモニタでRAIDへの読み書き状況を見てみると、今回追加したNVMe SSDのRAIDグループ3がフルで使われているわけではないようです。

グループ１：(RAID6) HDDx6
グループ２：(RAID1) SATA SSDx2のキャッシュ
グループ３：(RAID5) NVMe SSDx4のQtier用

グループ３への書き込みは結構速度が出ているようですが、読み込みでは使用されていません…
どういう条件でどう使われるのかがよく分からないので、暫く様子を見てみることにします。

2020/07/22 追記
ベンチ時にCPU使用率を見ていたら、書き込み時にCPU使用率が90%近くまで行ってるのを確認しました。
NVMeでのRAID5はCPU負担が大きいのか、RAID5からRAID10に変更したところ書き込みは速くなりました。

読み込みはCPU使用率が高くないにも関わらず、速くならないままなので、更に様子を見ようと思います。

2020/07/24 追記
NASを再起動したところ、1つのSSDが異常を出してRAIDから外れました。
SSDをPCに付けてみると普通に認識したので、一応初期化してNASに取り付けるもやはりエラーが出る…
一旦RAID10を解除して再度組んでみたところ普通に動いているように見えるも、再起動するとやはりRAIDから外されました。
SSDがおかしいのかM2拡張カードがおかしいのかを切り分けるため、SSDの場所を入れ替えて同じことを繰り返してみました。
再起動する度に同じSSDが異常を起こしているのを確認したのでSSDの初期不良だと判明。

取りあえずNVMe SSDの使用をやめてQtierを解除して前の状態に戻しました。

で、速度を計るもやはり読み込みが遅い…
なぜなのかと悩むこと1時間。
そういえばINTELの10G NICのLAG（リンクアグリゲーション）を組みなおしていたのを思い出しINTELのツールからLAGを無効にすると速度が戻りました。

NAS側もDynamic LAGを組んでいるのですが、こちらは全く問題なし。
ハブもNETGEARのフルマネージスイッチなので細かく設定ができますが、設定を変えてもINTELのLAGが遅いのは解決しませんでした。
結果、INTELのLAGがダメだったということで、LAGを解除してこの問題は解決しました。

Qtierを組んでないのに読み取りが速いのは、メモリを64G積んでいるのでキャッシュが効いているからだと思います。
ランダムライトの4Kが速いのは、メモリとSATAのSSDキャッシュの効果だと思います。
下の写真のように書き込みのヒット率が上がっているので、SSDがデータを受け取っているのだと思います。

初期不良のNVMe SSDが交換されて揃ったら、再度Qtierを組みなおそうと思います。

ちなみに今回使用したTS1TMTE220Sはアマゾンに在庫がなかったのでイートレンドで購入しましたが、イートレンドは初期不良の対応があまりよくないので個人的にはお勧めしません。
お客がメーカーと直接やり取りをし、メーカーが初期不良と認めたら、イートレンドとしてはそこで初めて初期不良として対応するそうです。
自社で初期不良の判断ができないからだそうですが、ちゃんとしたお店なら自社でちゃんんと判断して交換してくれます。
それが初期不良対応というものではないでしょうか。
でなければメーカーの修理・交換と大差ない気がします。
メーカとのやり取りに時間が掛かり、とても初期不良交換とは言い難い時間が掛かります。
（時間が掛かるとその間止まってしまいますし、どうせRAID破損時の予備が必要なので、もう1本SSDを購入しようかと思ってます）

その点、アマゾンは初期不良はほぼ無条件で返品、または交換をしてくれるので安心ですね。

2020/08/02追記
NVMe SSDを追加購入しSSDをRAID10にしてQtierを再構築しました。
Qtierでの計測結果はQNAP TS-673でSMB MultiChannel（マルチチャンネル）を有効にするにて。

※QtierはSSDをキャッシュとして使うわけではなく、直接データをSSDに記録することになります。
しかもOSが自動でSSDとHDDのデータを入れ替えたりします。
SSDが壊れてデータを失えば、全体としてデータを失う可能性がありますので、必ず定期的にバックアップを取るようにしてください。