Ubuntu 16.04からZFSがサポートされたので、/home
をミラーリングしたZFS上に作成して冗長化してみました。
これまで使っていたディスクが壊れてしまい、新しくUbuntu 16.04をインストールすることになりました。そこでせっかくなので、このリリースからサポートされたZFSを使ってムフフなファイルたちを無くさないように大切な/home
を冗長化することにしました1。
ここでは、ZFSをインストールして使用する方法を簡単にまとめます。ZFSならばバックアップの作成も簡単ですが、ここでは触れません。
システム構成
CPU | Pentium G620 |
RAM | 16GiB |
Disk | 1TB x 2 |
OS | Ubuntu 16.04 Server |
- メモリ
- 最低4GB。できれば8GBで、多ければ多いほど良い。もっとも4GB未満でも動かないということもないようです。今回のマシンは、KVMホストもしているので16GBにしています。
ZFSのメモリというとECC付きメモリ or notという話は避けられません。ECC付きのメモリでないとファイルが知らない間に壊れているかもという恐ろしい話があります。一方で、それは他のファイルシステムでも同じで、ZFSだから壊れやすいとはことでもないという話もあります。私は個人的な用途なので気にせずECC無しのメモリを使用しています。 - ディスク
- ミラーリングの場合は、ディスクが二台必要です。三台でミラーリングして、冗長度を上げることも可能です。またRAIDZの場合は最低3台、RAIDZ2の場合は最低4台のドライブが必要です2。
ZFSを構成するドライブ(パーティション)のサイズは、Btrfsと異なり全て同一である必要があります。容量の小さなドライブが混じっていると、全体がその最低サイズに合わせられます3。またディスクを入れ替える場合も、同じかそれ以上のサイズが必要です。 - OS
- Ubuntu 16.04 Server(64bit)。ZFSを使用できるのは、64bit版のみです。もっとも現在のUbuntuではDesktopとServe共に64bit版が標準なので、それほど気にする必要はありません。しかしアップグレードしてきた場合は32bit版を使っているかも知れないので、その場合は注意が必要です。
システムをインストール
grub
ブートローダにはちょっとした問題4があるので、ZFSはデータ用のファイルシステムとして使用することをオススメします。/(root)
の復旧は/etc
とインストール済みのパッケージ一覧があれば/(root)
の復旧は簡単ですので、システム全体をZFSにして/(root)
自体も冗長化する利点はそれほど大きくありません。
そこで今回は/(root)
には冗長性を持たせないで、/home
だけにRAID1の冗長性を持たせることにしました。その代わり復旧に大切な/etc
とパッケージ一覧、crontab
をcron
により適期的にZFS上にコピーしておきます。もちろんZFSのsnapshotを作成して過去に遡れるようにして。
まずsda
に小さなパーティション(8GiBで十分)を作成して、そこに通常通りシステムをインストールします。耐久性はそれほど要求されないので、USBフラッシュメモリにシステムをインストールしても良いかも知れません。
ZFSをインストール
ZFSに必要なカーネルモジュールzfs.koはカーネルに同梱されているので、必要なユーティリティをインストールするだけで完了です。このモジュールがコンパイル済みでカーネルに含まれているので、これまでのDKMSによるzfs.koのコンパイルを待つ面倒臭さがなくなりました。
$ sudo apt install zfsutils-linux
ユーティリティのインストールが完了したら、ZFSに必要なカーネルモジュールがロードされファイルシステムが使えるようになっているか一応確認しておきます。
$ lsmod |grep zfs
zfs 2813952 3
zunicode 331776 1 zfs
zcommon 57344 1 zfs
znvpair 90112 2 zfs,zcommon
spl 102400 3 zfs,zcommon,znvpair
zavl 16384 1 zfs
$ cat /proc/filesystems |grep zfs
nodev zfs
ミラーリング(RAID1)プールの作成
まずインストールしてあるディスクを確認します。
今後ディスクにアクセするときは、sda
などの名前ではなく/dev/disk/by-id
に表示される名前を使用します5。この名前は、インターフェイス(ata)とディスクのモデル名とシリアル番号の一部から作成されます。そのため今後ディスクを交換する時に、交換が必要なディスクを識別しやすくなります。
$ ls /dev/disk/by-id | grep ^ata
ata-ST31000524AS_9VPCZPQV
ata-ST31000524AS_9VPCZPQV-part1
ata-TOSHIBA_DT01ACA100_36D1KYUNS
ディスクを確認したら、それぞれに同じ容量のパーティションを作成します。
$ sudo cfdisk /dev/disk/by-id/ata-ST31000524AS_9VPCZPQV
$ sudo cfdisk /dev/disk/by-id/ata-TOSHIBA_DT01ACA100_36D1KYUNS
$ ls /dev/disk/by-id | grep ^ata
ata-ST31000524AS_9VPCZPQV
ata-ST31000524AS_9VPCZPQV-part1
ata-TOSHIBA_DT01ACA100_36D1KYUNS
ata-TOSHIBA_DT01ACA100_36D1KYUNS-part1
なぜかブートドライブに作成したパーティションが見えないのでudevadmin trigger
コマンドを試してみます。ダメなときは再起動します。
$ ls /dev/disk/by-id/ | grep ^ata
ata-ST31000524AS_9VPCZPQV
ata-ST31000524AS_9VPCZPQV-part1
ata-ST31000524AS_9VPCZPQV-part2
ata-TOSHIBA_DT01ACA100_36D1KYUNS
ata-TOSHIBA_DT01ACA100_36D1KYUNS-part1
パーティションを作成せずにディスク丸ごとZFSにすることも可能で、この方がパフォーマンスが良いとのことです。しかし同じ1TBとして売られているディスクが、メーカーや製品が違ってもセクター数が同じという自信がありません。そこで私はいつも最大サイズより少し小さいパーティションを作成して使っています。
また最近のディスクはセクターサイズが4KiBなので、パーティションの区切りを4KiBのセクターサイズに合わせます。もっとも最近のfdisk
などは、そのことを考慮して配置してくれるので特に気にする必要はありません。
ディスクにパーティションを作成したら、プールを作成します。
$ sudo zpool create -o ashift=12 -o autoexpand=on \
tank mirror \
ata-ST31000524AS_9VPCZPQV-part2 \
ata-TOSHIBA_DT01ACA100_36D1KYUNS-part1
$ sudo zpool status
pool: tank
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ata-ST31000524AS_9VPCZPQV-part2 ONLINE 0 0 0
ata-TOSHIBA_DT01ACA100_36D1KYUNS-part1 ONLINE 0 0 0
errors: No known data errors
-o ashift=12
は、セクターサイズの指定です。
この指定によりセクターサイズを2^12B(4KiB)だと指定しています。通常は指定する必要はありませんが、512B/secのディスクを使用していると将来4KiB/secのディスクしか手に入らなくなった時に困ったことになります。
-o autoexpand=on
は、将来ディスクを交換した時に可能ならプールのサイズを自動的に拡張する指定です。
このオプションがなくても特に困ることはありません。必要ならば、ディスクの交換後にプールのサイズをマニュアルで拡張することが可能です。ただし拡張できるのは、いずれの場合も冗長構成のディスク全てが現在のプールサイズよりも大きくなった場合に限られます。
tank
は、プールの名前です。
/(root)
直下のディレクトリ名(binなど)でなければ自由に選べますが、tank
やpool
が慣習として使われます。
また-O compression=lz4
を一緒に指定してファイルシステム全体を圧縮することも可能です。後で見るように、ファイルシステムを作る時に個別に圧縮の有無と方式を指定することも可能です。
ファイルシステムを作成
プールを作成すると自動的に/
にプール全体がマウントされますが、目的に応じてファイルシステムを切り出します。今回は、/home
用に切り出します。
$ sudo zfs create -o atime=on -o relatime=on \
-o compression=lz4 tank/home
$ sudo zfs list
NAME USED AVAIL REFER MOUNTPOINT
tank 372K 868G 96K /tank
tank/home 96K 868G 96K /tank/home
-o atime=on -o relatime=on
は、ファイルのアクセスタイムの更新方式を指定します。
Linuxはファイルにいつアクセスしたかという情報を記録しており、ファイルにアクセスするたびにファイルの情報を書き換えています。しかしこの情報が使われることはほとんどありません。そこで-o atime=off
としてアクセスタイムの更新を止めてしまうと、ファイルアクセスのパフォーマンスが上がります。しかし一部このアクセス情報を使用するプログラムもあるので、だいたい問題ない程度に更新の頻度を減らすようにします。
-o compression=lz4
は、ファイルシステムを圧縮する方法を指定します。
ただ将来さらに優れた圧縮方法が導入されたら自動的にそれを使うように-o compression=on
としておいたほうが良かったかも知れません。zfs set
コマンドで後から変更できます。
ファイルシステムを作成したら/home
の内容を移動させて置き換えます。
$ sudo rsync -av /home/ /tank/home
$ cd /
$ sudo rm -rf /home/*
$ sudo zfs set mountpoint=/home tank/home
ZFSはファイルシステムをマウントする時に/etc/fstab
を見ないので、/etc/fstab
を書き換える必要はありません。
swap on ZFS
スワップをわざわざZFS上に取る必要はないのですが、お試し的にスワップ領域をZFS上に取ってみました。
スワップ領域を作成
スワップ領域をZFS上に作成します6。
$ sudo zfs create -V 16G \
-b $(getconf PAGESIZE) tank/swap
$ sudo zfs set com.sun:auto-snapshot=false tank/swap
$ sudo zfs set sync=always tank/swap
ブロックサイズをページサイズと同じくすることで空きメモリが少ない状況で大きなブロックの書き換えを防ぎます。
sync=always
とすることで、キャッシュをすぐに空にしてメモリの使用量を抑えます。
スワップを有効にする
スワップボリュームを作成したら、後は通常のスワップ領域を追加するときと同じです。
まず/etc/fstab
を編集して、次のエントリーを追加します。
# swap
/dev/zvol/tank/swap none swap default 0 0
次に実際にスワップ領域をフォーマットしてシステムに追加します。
$ sudo mkswap -f /dev/zvol/tank/swap
$ sudo swapon --all --verbose
swapon /dev/zd32
swapon: /dev/zd32: found swap signature: version 1d, page-size 4, 同じ byte order
swapon: /dev/zd32: pagesize=4096, swapsize=17179869184, devsize=17179869184
fstab
を設定してあるので、再起動しても自動的にスワップ領域が有効になります。
参照と脚注
-
Linuxで使用できるディスクの冗長化には、歴史のあるmdや既に安定期に入りつつ有るBtrfsを使用できます。なのにZFSをなぜ選択したか? 単純にmdやBtrfsよりZFSのコマンドが私にとって分かりやすかったからです。 ↩
-
RAIDZやRAIDZ2に必要なドライブの数は、次の式が成り立つ必要があります。ここで128KiBは、ZFSのデフォルトレコードサイズです。
128KiB % (ドライブ数 - パリティ数) == 0
%は、剰余を求める演算記号よって、RAIDZはパリティ1なので3,5,9台、RAIDZ2はパリティ2なので4,6,10台となります。 ↩
-
Btrfsは、容量の異なるディスク(パーティション)を組み合わせても、だけ有効に使ってZFSよりも容量を稼げることがあります。またファイルシステムに空きが有る場合は、現在よりも容量の小さいドライブに置き換えることも可能です。 ↩
-
少し手間はかかりますが、
/(root)
自体をZFSにすることも可能です。
ただしgrub
ブートローダに問題があり、/(root)
の入ったプールを作成する時にいくつかのZFS機能を無効にする必要があります。最初の時だけ気にするなら良いのですが、zpool status
コマンドを実行するとzpool upgrade
してくださいというメッセージが親切にも表示されます。そこでzpool upgrade
してしまうと、システムが起動できなくなってしまいます。
もちろん開発中のgrub
ではこの制限が取り除かれています。それでもZFSに新しい機能が導入されるたびにブートできなくなる不安がつきまといます。 ↩ -
ZFSのプールを作成する時に
/dev/sda
などの名前を使用した場合は、zpool import
コマンドでインポートし直せば/dev/disk/by-id
での名前に変更可能です。ZFSパッケージ登録記念:UBUNTU 15.10にZFS ON LINUX ↩ -
HOWTO use a zvol as a swap device
スワップボリューム – archlinux
Using a zvol for a swap device – FAQ zfsonlinux ↩