「NAS」カテゴリーアーカイブ

ログを監視しメールを自動送信する。

Apache2のログ監視はanalogをインストールし既に行ってました。
また、サーバーの各ステータスもMrtg+RRDTOOLで監視を行っていました。
そこで今回はsyslogなどの実際のログを監視して自動でメールを送信してくれるlogwatchをいうアプリをインストールします。
※このアプリを動かすためにはmailutils、exim4などのメール送信に必用なパッケージをインストールしmailコマンドでメール送信が出来るように設定する必要があります。

まずインストールですがこれは非常に簡単です。
apt-get install logwatch

インストールされたらlogwatchの設定を変更します。
vi /usr/share/logwatch/default.conf/logwatch.conf

変更点は以下の点になります。

変更前:MailTo = root
変更後:MailTo = your_address@your_host.com
↑送信したいメールアドレスに書き換えます。(mailコマンドで送信できるアドレスであることが前提)

変更前:#Archives = No
変更後:Archives = Yes
↑logがlotateされた場合を想定

変更前:Detail = Low
変更後:Detail = Med
↑好みのログレベルに設定してください。(文字列ではなく数値で指定も可能です)

設定が完了したらテストで実行してみましょう。
/usr/sbin/logwatch

実際に設定したアドレスにメールが送信されてくれば設定は完了です。

ちなみにcronにはインストール時に自動で登録されています。
(1日1回自動実行されてメールが送られてきます)
debianでのcronへの自動登録はdailyに登録されるのでAM6:25に実行されます。
時間などを変更したい場合はcron.dailyから削除しcrontabに自分で登録してください。

送られてくる内容で注意すべきなのは
pam_unix、SSHD、Disk Space、kernelの項目でしょうか。(kernelはエラー出ないと送られてこないようです)

pam_unixはLinuxのpam認証を表示しています。

SSHDはその名の通りsshへの接続を示しています。
許可していないユーザーでのログインがあれば不正アクセスの可能性もありますので注意が必要です。

Disk Spaceは一杯になる前にどうにかしましょう(笑)

kernel項目に関しては出力されていれば解析、調査が必要ですね。

最後に
 logwatchを導入すると毎日定期でlogの結果が送信されてきます。
誰しも最初は注意深く見るのですが平和な日々が続きますと次第に見なくなったり軽く読み飛ばしたりするようになりがちです。
しかし、それではlogwatchを導入した意味は全くありません。
mrtgの様にグラフでの傾向は示してくれませんが毎日logに目を通すことで障害を未然に防げたり
発生した障害による被害を広げないことも可能になります。
このツールの本当の真価はlogをチェックする人の対応力に尽きると思います。

抜け殻+新品HDD=超安LinkStation

LinkStationの抜け殻を使ってLinkStationを再生します。
※新品HDDを組み込んだだけでは起動してくれないARM系のLinkStationを対象にしています。

通常はLinuxにHDDを繋いで必要なファイルを書き込んでHDDをLinkStationに戻しますが
今回はお手軽に再生する方法を紹介します。

お手軽にということでシリアルコンソールも使用せずに再生したいと思います。
LinkStationに新品HDDを取り付けて起動するとbootディレクトリ(必要なファイルも)が存在しないのでLinkStationは内部的にはtftp経由で起動しようとします。

そこでtftpを使ってbootイメージをLlinkStationに転送しEMモード(復旧モード)で起動し
そこからファームウェアのアップデートでHDD内に必要なファイルを作成します。
使用するソフトはTFTPサーバー Poor TFTP Server for WIN32というソフトです。
Windows上で起動することでtftpサーバーとして動作するソフトです。
※既にリンク先のサイトはなくなっているようです

tftpで転送する為のboot用ファイルをまずは用意します。
Buffaloのサイトから該当するLinkStationのファームウェアをDLしてきます。
転送に必要なファイルは initrd.buffalo uImage.buffalo の二つです。
これらのファイルはファームの中に圧縮ファイルとして存在するので解凍して取り出します。
initrd.imgを解凍するとinitrd.buffaloが取り出せますがZIPのPASSを求められるので下のどれかを入れてください。

1NIf_2yUOlRDpYZUVNqboRpMBoZwT4PzoUvOPUp6l
aAhvlM1Yp7_2VSm6BhgkmTOrCN1JyE0C5Q6cB3oBB
YvSInIQopeipx66t_DCdfEvfP47qeVPhNhAuSYmA4
IeY8omJwGlGkIbJm2FH_MV4fLsXE8ieu0gNYwE6Ty

二つのファイルをtftpのディレクトリに置けば準備完了です。
LinkStationのtftp起動時はLlinkStationのIPは192.168.11.XXXとなっており
192.168.11.1のtftpサーバーに接続しようとします。
ですのでtftpサーバーを起動するPCのIPを192.168.11.1に変更してからtftpソフトを起動してください。
tftpサーバーソフトを起動させたらLinkStationの電源をONにしてtftp起動させます。
※同じハブなどにPCとLinkStationをLANで接続してから行ってください。

tftpでbootイメージが転送されるとtftpサーバーソフトに転送されたメッセージが出て
LinkStationのLEDがオレンジ色に光り起動するはずです。
この状態がEMモードとなります。

EMモードになったらtftpを起動したPCで通常と同じようにファームのアップデートを行ってください。
HDDのパーティション設定やフォーマットまでやるのでそれなりの時間が掛かります。
これで新品のHDDからLlinkStaionの再生は完了です。

どうしてももエラーになる場合などは内部的に何が起こっているのか全く分からないので
どうしてもシリアルコンソールが必要になります。
何台も再生させる人や色々とイジリ倒したい人は素直にシリアルコンソールを取り付けましょう(笑)

HDD不良セクタの監視

HDDの温度監視に続いて不良セクタの監視を行います。
HDD温度と同じようにsmartctrlコマンドを利用して不良セクタ情報を取得します。
監視項目は以下の二つです。

Reallocated_Sector_Ct   不良セクタを予備セクタと置き換えた数
Current_Pending_Sector  置き換えることが出来なかった不良セクタの数

Reallocated_Sector_Ctに関しては置き換えが成功しているので一般的に数個までなら大丈夫といわれています。
しかし大事なデータやシステム領域のセクタを失うと致命傷になる可能性はあります。
Current_Pending_Sectorは1個でも出るとかなり危険です。
データを退避してHDDを入れ替えた方がいいかもしれません。

個人的な設定としてはReallocated_Sector_Ctは10、Current_Pending_Sectorは1でメールが送信されるように設定しました。
グラフを表示しても基本的には0なので面白くはないですが重要なグラフには違いないです。

HDDの温度のスクリプトを少し改造すればこれらの情報を取得するスクリプトはすぐに完成しますね。

Reallocated_Sector_Ct.pl
-------------------
#!/usr/bin/perl —

$count = readpipe(‘smartctl -d marvell -a /dev/sda -s on | grep -i Reallocated_Sector_Ct | awk ‘{print $10}”);

print $count;

exit $count;
-------------------

Current_Pending_Sector.pl
-------------------
#!/usr/bin/perl —

$count = readpipe(‘smartctl -d marvell -a /dev/sda -s on | grep -i Reallocated_Sector_Ct | awk ‘{print $10}”);

print $count;

exit $count;
-------------------

※スクリプトのsnmp登録方法や利用方法、閾値を超えた場合のメールの送信方法は以前の記事を参考にして下さい。

CPU使用率について

MRTGでCPU使用率というと殆どのページでLoadAverageの設定が書かれています。
LoadAverageの表示には%で書かれている事が多いと思います。
そもそもLoadAverageとはなんなのか?
UNIX処方箋:「load average」によるCPU負荷の確認 – ITmedia エンタープライズ

つまりCPUの負荷を表すものであるがWindowsのプロセスマネージャーやtopコマンドで表示される
おなじみのCPU使用率とは意味合いが少し違うということになりますね。(ほぼ比例しますが)
また本来は%ではなく1.00表記の方が感覚的に正しいのかもしれません。
(1.00=100%なので意味は同じなのですが100%を超える場合もあるということです)

LoadAverageは1を超える可能性があるのでMRTGの設定でUnscaled[xxxx]: dwmyを指定している方は外した方がいいでしょう。
MaxBytes[xxx]:の項目も100以上の値を指定しないとLoadAverageが1を超えた場合にグラフの値がrrdファイルに書き込まれません。
重たい処理を行う時は1を超えることがしばしばありますので大き目の500などを指定しておけば問題ないと思います。
CPUがマルチなシステムの場合は普通に1を超えるようです。

ではお馴染みのtopコマンドと同じCPU使用率はsnmpで取得出来ないのでしょうか?
答えは「取得可能です」

Target[xxxx]: .1.3.6.1.4.1.2021.11.50.0&.1.3.6.1.4.1.2021.11.52.0:public@localhost

ユーザー使用の使用率:.1.3.6.1.4.1.2021.11.50.0
システム使用の使用率:.1.3.6.1.4.1.2021.11.52.0
※最後の0は何番目のCPUかを表します。マルチCPUであれば1を指定で2番目のCPUの値が取れます。
  他にもidle時間なんかも取れます。

但し取得してくる値はLoadAverageとは違うのでOptions[xxxx]:の部分に gauge, absoluteは指定しないで下さい。
参考サイト:MRTG: Net-SNMPでLinuxのCPU使用率をプロットするには
※既にリンク先のサイトはなくなっているようです

ということで私の場合はLoadAverageとCPU使用率の両方をRRDTOOL経由で記録して表示することにしました。
※5分の平均なのでCPU使用率がしばしば100%になっててもMAX値は記録されません。
  あくまでも平均としての目安で参考程度にした方が良いでしょう。

以下rrdcgiのサンプルです。
※cpu2.rrdがCPU使用率でcpu.rrdがLoadAverageになります。
  グラフの便宜上LoadAverageも百分率で表示しています。

------------------
#!/usr/bin/rrdcgi

CPU Use & Load Average for LS-GLDEB

System: localhost

Maintainer: Root

Ip: 192.168.x.x

The statistics were last updated .

------------------

RRDTOOLのGPRINTを利用可能にする!

ARM系のLinuxでGPRINTを利用するとRRDTOOLが落ちるのはチラホラ報告されているようです。
cactiを利用してもGPRINTで落ちるようです。

最初はCDEFでunkwn値を0に書き換えることでGPRINTを利用出来たのですが
グラフの作成速度が非常に遅くて使い物になりませんでした。
もちろんCPU使用率もそのあいだは100%になってしまいます。
ちゃんとした方法でRRDTOOLのGPRINTを利用可能にする事を目標に一週間ほど格闘の旅に出ました(笑)

結論から先に書きますとカーネルがEABIでコンパイルされていることが問題でした。
EABIカーネルはiptablesの時もそうですが何かと問題を引き起こしてくれます。
※apt-getではOABI環境で構築されたものが配布されています。
ARM系のCPUは浮動小数点演算ユニットを持たないので
少しでも早くなるようにEABIで構築すべきでOABIなカーネルの構築をするのは得策とは言えません。

ということで自分でEABIなコンパイルで回避することに決定!

コンパイル方法はDLした圧縮ファイルの中にあるrrdbuild.htmlに詳しく書かれています。
ライブラリのバージョンが合わない場合はライブラリからコンパイル&インストールする必要があります。

まずRRDTOOLのソースをDLしてきて早速コンパイル!
configureが通りません(笑)

IEEE MATHがどうのとエラーが出ます。

これを回避するにはコンパイル前に以下を実行します。

export rd_cv_ieee_works=yes

またconfigure時の引数にはEABIコンパイル用のCFLAGSを書きます。
CFLAGS=”-Wall -g3 -ggdb3″

これでコンパイルしていけば無事にインストールが出来るはずです。
※dh_make -r
  vi debian/roulesでCFLAGS編集
  dpkg-buildpackageでパッケージを作成しようとしましたが
  パッケージの作成まではうまく出来てもパッケージのインストールで失敗したので
  普通にmake installでインストールしました。

無事インストールが完了したらGPRINTを試してみてください。
ちゃんと数値がグラフ画像内に書き込まれるはずです。
グラフ画像内ではなくグラフ画像外に数値を出したい場合はGPRINTででは無くPRINTを使います。
PRINTした後でグラフタグ外の書きたい部分にRRD::PRINTタグを利用すればテキスト出力されます。

numberの部分はPRINT記述の何個目かを指定できます。(スタートは0です)

殆どrrdbuild.htmlのままですがインストールまでを書いておきます。
※rrdtool-1.2.15を例にしていますがライブラリも含め
  バージョンの部分が変わるくらいで手順は殆ど同じになります。

BUILD_DIR=/mnt/disk1/build/rrdbuild
INSTALL_DIR=/usr

mkdir -p $BUILD_DIR
cd $BUILD_DIR

export rd_cv_ieee_works=yes

※ライブラリのVersionが一致していない人はライブラリからインストールします。
  他のアプリケーションで利用されている場合はPCが不安定になる場合があります。
  特にバージョンダウンは止めたほうが良いでしょう。
  もっとバージョンの新しいRRDTOOLソースをダウンロードしてインストールしましょう。

cd $BUILD_DIR
wget http://oss.oetiker.ch/rrdtool/pub/libs/zlib-1.2.3.tar.gz
tar zxf zlib-1.2.3.tar.gz
cd zlib-1.2.3
env CFLAGS=”-Wall -g3 -ggdb3″ ./configure –prefix=$BUILD_DIR/lb
make
make install

cd $BUILD_DIR
wget http://oss.oetiker.ch/rrdtool/pub/libs/libpng-1.2.10.tar.gz
tar zxvf libpng-1.2.10.tar.gz
cd libpng-1.2.10
env CPPFLAGS=”-I$BUILD_DIR/lb/include” LDFLAGS=”-L$BUILD_DIR/lb/lib” CFLAGS=”-Wall -g3 -ggdb3″
./configure –disable-shared –prefix=$BUILD_DIR/lb
make
make install

cd $BUILD_DIR
wget http://oss.oetiker.ch/rrdtool/pub/libs/freetype-2.1.10.tar.bz2
tar jxvf freetype-2.1.10.tar.bz2
cd freetype-2.1.10
env CPPFLAGS=”-I$BUILD_DIR/lb/include” LDFLAGS=”-L$BUILD_DIR/lb/lib” CFLAGS=”-Wall -g3 -ggdb3″
./configure –disable-shared –prefix=$BUILD_DIR/lb
make
make install

cd $BUILD_DIR
wget http://oss.oetiker.ch/rrdtool/pub/libs/libart_lgpl-2.3.17.tar.gz
tar zxvf libart_lgpl-2.3.17.tar.gz
cd libart_lgpl-2.3.17
env CFLAGS=”-Wall -g3 -ggdb3″ ./configure –disable-shared –prefix=$BUILD_DIR/lb
make
make install

※ライブラリが一致している人はここからでも構いませんがCPPFLAGS、LDFLAGSの書き換えは必要です。

IR=-I$BUILD_DIR/lb/include
CPPFLAGS=”$IR $IR/libart-2.0 $IR/freetype2 $IR/libpng”
LDFLAGS=”-L$BUILD_DIR/lb/lib”
CFLAGS=”-Wall -g3 -ggdb3″
export CPPFLAGS LDFLAGS CFLAGS

wget http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.2.15.tar.gz
tar zxf rrdtool-1.2.15.tar.gz
cd $BUILD_DIR/rrdtool-1.2.15
./configure –prefix=$INSTALL_DIR –disable-python –disable-tcl
make clean
make
make install

以上

MRTGからRRDTOLへ移行

MRTGからRRDTOLへ
誰もが通る道でしょうか(笑)

まずRRDTOOLをインストールします。

apt-get install rrdtool librrds-perl

次にmrtg.cfgをRRDTOOLを利用するように追記します。
以下の一文を最初の方に追記してください。

LogFormat: rrdtool

これだけで次回起動時からRRDTOOLを利用してログを書き込むようになります。
※ログファイルはxxxx.rrdという感じで拡張子がrrdで作成されます。

MRTGからRRDTOOLに移行するとグラフは自動で作成されなくなります。
そこで一般的に使われているフロントエンド 14ALL や mrtg-rrd を使用してみました。
はっきり言って玄箱ProやLS-GLなどのARM系では使えませんでした。
そこで直接RRDTOOLを利用してグラフを書いてみることにしました。

今回はPCの負荷を減らす為にオンデマンドでグラフを作成します。
グラフの作成方法などは沢山検索で出てくると思いますのでここでは省略します。
※rrdcgiを利用してみましたがRRDsでも同様のことが実現できます。

グラフは慣れれば比較的簡単に作成することが可能になりました。
CPU、メモリが非力なNASベースのサーバーでDBインストール必須なcactiは使う気になれません。
グラフを自分で作成できればcactiなんて要りませんしね。

さてここで一つ問題が発生しました・・・
PRINTやGPRINTを使用するとRRDTOOLが落ちてしまいます(^^;
数値を入れなければ問題ないんですがやっぱり数字は入れたいですよね。