(０)目次＆概説
＞(１) 障害・不具合の概要
＞(２) 障害・不具合の原因
＞(３) 障害・不具合の対処
(１) 障害・不具合の概要
Linuxでファイルを作成した時などに”No space left on device error”というメッセージが出てしまい、ファイル操作全般が出来なくなっています。一例として下図は、zipを解凍の際に”No space left on device error”のエラーが出て処理できない状況です。
(２) 障害・不具合の原因
この事象は”inode”の容量が限界を超えた際に発生する様です。”inode”はファイルやディレクトリの属性情報(作成者、グループ、作成日時、サイズなど)が書かれた領域のことで、この情報を用いてファイルシステムの管理を行います。つまりファイル数が肥大化して管理情報である”inode”の量が上限値に達した時に発生します。
以下コマンドでinodeの利用率を確認します。
df -i
表示結果を見ると「/」の直下が”inode”の使用率100%になっている事が分かります。
具体的にどのディレクトリがパンクしたかを調べるために、下記の様なコマンドを用いてディレクトリ毎の容量を確認します。
/* "--max-depth=1" : 集計するディレクトリの深さ(階層)を指定 */ /* "2> /dev/null" : 集計不可のディレクトリに関する結果行を排除 */ du -ah --max-depth=1 / 2> /dev/null
今回は下記ディレクトリに大量のlink-xxxファイルが生成されたため、inodeがパンクしました。
/tmp/orbit-admin
下記は生成されたソケットファイルの例です(別サーバの例)。
このlinc-xxxファイルはGNOMEのソケットファイルで、このファイルが意図せず大量に生成されるバグも2015年にRed Hat社のBugzillaにてBug1258459として報告されています。
(３) 障害・不具合の対処
まずは緊急対処としてファイルを削除することを考えます。今回「/tmp/orbit-admin/」配下には不要は「linc-xxx」ファイル以外のファイルは無いため、「/tmp/orbit-admin/」配下のファイルを全て消すための下記コマンドを入力します。
/* (1)削除対象のファイルがあるディレクトリに移動 */ cd /tmp/orbit-admin /* (2)削除コマンドの実行 */ /* xargs構文：[command#1] | xargs [command#2] */ ls ./ | xargs rm
(2)で使用している”xargs”は前半部コマンドの実行結果を引数にして、後半部コマンドを実行することが出来ます。今回の例では前半部の”ls ./”の結果が格納され、その結果を基に後半部の削除(rm)を実行しています。 “ls ./”には「/tmp/orbit-admin/」配下の全てのファイルがヒットするため、ソケットファイルが全て抽出されます。
rmコマンドは「rm [file#1] [file#2]…[file#n]」のように複数ファイルを指定できますが、数が膨大になる場合は1件ずつの記載が難しいため、xargsのように一括抽出・引数指定が必須になってきます。
また今回は手動削除での対応でしたが、理想的には自動での対処が望まれるため、今後は自動化のスクリプトを作成を検討します。
