HPSS FAQ
最終更新 2010/09/02
16:00
1. ftp経由で128MB以上のファイルをHPSSへ書き込む場合、明示的にCOS=30指定が必要
2.ダイナミックリンクライブラリからHPSS API 関数をコールすると“Operation not permitted“となる
3. hpssls [マウントポイント] ではディレクトリ名しか表示されない。hpssls [マウントポイント]/.とする事で [マウントポイント] 直下のファイルリストを取得可能
5.HPSSの同時多数アクセス、同時利用可能テープ装置について
6.HPSSの Migration/Purge/Stagingについて
【日付】2010/09/02
【現象】ftp経由でHPSS領域へ書き込む場合、デフォルトCOSであるCOS=20が使用される。
COS=20はファイルサイズの上限が128MBであり、それ以上のサイズのファイルを書き込む場合、明示的にCOS=30 (上限32GB)を指定する必要がある。
【方法】ftpのサブコマンド“quote site setcos 30”でCOS=30を指定してください。
[コマンド実行例]
ftp> quote site setcos
30
200
ftp> put 1024MB
local: 1024MB remote: 1024MB
227 Entering Passive Mode (10,33,0,108,141,154)
150 Opening BINARY mode data connection for 1024MB.
226 Transfer complete.
1073741824 bytes sent in 20 seconds (5.1e+04 Kbytes/s)
ftp>
【日付】2010/09/02
【現象】HPSS認証APIライブラリをリンクしておかないと、ダイナミックリンクライブラリからHPSS API関数をコールした場合、 “Operation not permitted”となる。
【回避手段】
ライブラリのビルド時に、以下のHPSS認証APIライブラリをリンクする事でも回避可能です。
・ libhpsskrb5auth.so
・ libhpssunixauth.so
リンカオプション例：-L/opt/hpss/lib -lhpss -lhpsskrb5auth -lhpssunixauth
-L/hpss_src/32api/lib -lhpsskrb5auth -lhpssunixauth -lhpss （32ビット版）
【日付】2006/07/14
【現象】
hpssls [マウントポイント] ではディレクトリ名しか表示されない
（ここで [マウントポイント] とはHPSSのFileset/FileFamilyに対応してマウントされているディレクトリを指す）
ibm-yama:/home/ce/ibm-yama$ hpssls /hpss/ce_g
/hpss/ce_gibm-yama:/home/ce/ibm-yama$
【回避手段】
hpssls [マウントポイント]/. とする事で [マウントポイント]直下のファイルリストを取得可能
配下にibm, ibm-yamaをもつ /hpss/ce_g に対しての例を以下に記載する
ibm-yama:/home/ce/ibm-yama$ hpssls /hpss/ce_g/.
ibmibm-yamaibm-yama:/home/ce/ibm-yama$
【日付】2007/02/06
【現象】
旧HPSS領域に属したファイルはhpsspurge（データのパージ：ディスク領域からの削除）ができない（仕様）。
（旧HPSS領域ファイル = 旧COSのファイル）
【回避手段 その1】
・旧HPSS領域のデータを新HPSS領域へコピーする
→ 新HPSS領域ファイルはhpsspurge可能です。
hpssmvはCOSを変更できないので、コピーを実施ください。以下に実行例を記します。
$ hpsscat /hpss/ce/ibm/testfile | hpssput /hpss/ce_g/ibm/testfile –
【回避手段 その2】
・システムによってPurgeされるのを待つ
【日付】2007/08/22【更新日時】2010/09/02
【現象】
HPSSにはアクセス数による接続制限が存在します。
この制限値を超過した場合、HPSSアクセスは “Input/output error”, “Resource or device is busy”, “Connection refused”等のエラーメッセージで終了します。
【回避手段】
KEKCCワークサーバにおいて、hpssaccnumコマンドを実行する事でHPSSアクセス数が確認可能です。
当コマンドで得られる値を目安として、HPSSファイルオープン数やジョブ実行可能数をご検討いただければ幸いです。
【現象】
HPSSには同時利用可能なテープ装置に個数制限が存在します。
この制限値を超過した場合、HPSSアクセスは stageを待つため、テープ装置が空くまで待ちますので、応答が非常に遅くなります。エラーメッセージが出ることもプロンプトが表示されることもありません。
【回避手段】
KEKCCワークサーバにおいて、hpssaccnumコマンドを実行する事で空きテープ装置の個数を確認可能です。
また、hpsslevel ファイル名 コマンドを実行することで、ファイルがテープにあるかディスクにあるか確認できます。
さらに、hpssstage ファイル名 コマンドを実行することでファイルをstage(テープからディスクへコピー)することができます。Stageされたファイルはディスクに存在するため、テープ装置の空きがなくともアクセス可能です。
当コマンドで得られる値を目安として、利用したいファイルをあらかじめstageしておくなどの操作をご検討いただければ幸いです。
[コマンド実行例]
cw103 ~ > hpssaccnum
This
is HPSS connections:
--------------------------
2010/09/02
09:00:01
--------------------------
Current
connections = 25
Max
connections =
1000
--------------------------
This
is Tape drive usage:
--------------
---------- ----------
Date.Time
NumTapeDrv NumFreeDrv
--------------
---------- ----------
2010.0902.0859
10 08
--------------
---------- ----------
tape01
tape02 tape03 tape04 tape05 tape06 tape07 tape08 tape09 tape10
------
------ ------ ------ ------ ------ ------ ------ ------ ------
Free__
Free__ Free__ Free__ Free__ B00157 Free__ 000011 Free__ Free__
------
------ ------ ------ ------ ------ ------ ------ ------ ------
● アクセス数の定義
[HPSSアクセス数] = [HPSSセッション数]
HPSSセッションは、通常1ファイルオープンあたり1〜3使用されます
書き込み時など、多いときには瞬間的に10程度使用される事もあります
※ このアクセス数情報は 5分毎に更新されます
※ 2010/09/02 のHPSSバージョンアップにて、最大同時アクセス可能数が1000となりました
● テープ装置の空き状況の見方
NumTapeDrvは、テープ装置の総数を示します。このサイトでは10台まで利用可能です
NumFreeDrvは、空きテープ台数を示します。上の例では7台空いています
Free__ と表示されているテープ装置は空いているので、即座に利用可能です
その他のテープ装置・たとえば B00157 と表示されているテープ装置(tape06)はテープ媒体 B00157 をmount中です。このテープ媒体がunmountされるまでこのテープ装置(tape06)は利用できません
【日付】2008/05/02
【現象】
HPSSでは、データはまずキャッシュディスク上に記録されます。
この状態ではデータはキャッシュディスク上にのみ存在しています。
データがキャッシュディスクからテープにコピーされる事をMigrationといいます。
Migrationされると、データはキャッシュディスク、テープの両方に存在する事になります。
データがキャッシュディスク上から削除される事をPurgeといいます。
Purgeされると、データはテープのみに存在する事になります。
データがどのような状態になっているかは、hpsslevelコマンドで確認できます。
（以下の例ではPurgeされている事が確認できます）
[コマンド実行例]
ibm-yama:/home/ce/ibm-yama$ hpsslevel /hpss/test_g/ibm/hosts
/hpss/test_g/ibm/hosts : Disk_Bytes = 0 Tape_Bytes = 15526 Tape_Name = 00035000 Relative_Position = 1157 This_file_is_on_tape_only.[purged_and_not_staged_yet]ibm-yama:/home/ce/ibm-yama$
Purgeされた状態でデータへのアクセスを行うと、データはテープからキャッシュディスクにコピーされます。
これをStagingといいます。
Stagingはテープのシーク/ロードが発生しますので、キャッシュディスク上に存在するデータへのアクセスに比べると時間がかかります。事前にStagingしておくと、アクセス時間を短縮できます。
Stagingは hpssstageコマンドで実行できます。
[コマンド実行例]
ibm-yama:/home/ce/ibm-yama$ hpssstage /hpss/test_g/ibm/hosts
ibm-yama:/home/ce/ibm-yama$
ibm-yama:/home/ce/ibm-yama$ hpsslevel /hpss/test_g/ibm/hosts（←hpsslevelで状態を確認）
/hpss/test_g/ibm/hosts : Disk_Bytes = 15526 Tape_Bytes = 15526 Tape_Name = 00035000 Relative_Position = 1157 This_file_is_on_both_disk_and_tape.[migrated]ibm-yama:/home/ce/ibm-yama$
MigrationとPurgeは以下のようなポリシーで実行されています。
【 Migrationポリシー 】
|
|
チェック間隔 |
Migrationの条件 書き込みが無かった時間（分） |
|
9 |
30分間隔 |
60 |
|
10 |
10分間隔 |
20 |
|
20 |
10分間隔 |
20 |
|
30 |
30分間隔 |
60 |
|
80 |
30分間隔 |
60 |
※ 2010/9/2 HPSS 7.3バージョンアップによりMigration条件「読み込みが無かった時間」が削除されています
【 Purgeポリシー 】
|
|
Purgeを開始する使用率（%） |
Purgeが終了する使用率（%） |
Purgeの条件 アクセスが無かった時間（分）※ |
|
9 |
89 |
70 |
60 |
|
10 |
89 |
70 |
60 |
|
20 |
89 |
70 |
60 |
|
30 |
89 |
70 |
60 |
|
80 |
89 |
70 |
60 |
※「アクセス」=「書き込み or 読み込み」になります
以上