HSMシステム

HSMシステムの概要

HSMシステムは、計算サーバ、ワークサーバ、GridシステムにHSMデータ領域を提供することを目的とし、GHIファイルシステムとHPSSにより実装されています。
GHIファイルシステムは、磁気ディスクシステムで使用しているGPFSとHPSSとを連携するインターフェースを搭載しているファイルシステムで、POSIX標準APIにより通常のファイルシステムと同様に操作可能です。また、GHIファイルシステムへ書きこまれたファイルは、すべてHPSSシステムへデータが移動されます。

なお、磁気ディスクシステムが提供するGPFSディスク領域とは異なり、CIFSサービスは提供しておりません。

GHI_diagram GHIとHPSSについての詳細は、参考情報を参照してください。

GHIファイルシステム領域

GHIファイルシステムの構成

GHIファイルシステムは、ワークグループ毎に利用可能領域を定義しています。ワークサーバ、計算サーバより下記ディレクトリにアクセスすることによってファイルの参照・書き込みができます。
※ ワークグループ/サブグループ毎に割り当てられていたディレクトリが新システムでは変更されています。

ファイルシステム領域 (ファイルシステム名)	ワークグループ /サブグループ	ディレクトリ
GHI領域#1 (/ghi/fs01)	Belle	/hsm/belle
	Belle2	/hsm/belle2
GHI領域#2 (/ghi/fs02)	T2K	/hsm/t2k
	HAD	/hsm/had
	MLF	/hsm/mlf
	ILC	/hsm/ilc
	CMB	/hsm/cmb
	Atlas	/hsm/atlas
	BESS	/hsm/bess
	Central	/hsm/ce
	PS	/hsm/ps
	2000年～2005年時データ (read-only)	/hsm/old
GHI領域#3 (/ghi/fs03)	Belle2	/ghi/fs03/belle2

HPSSとの連携

GHIファイルシステムは、GPFSとHPSSとが連携してシステムを構成しています。GHIファイルシステムのデータの扱い方は以下の通りです。

GHIファイルシステム領域に書きこまれたファイルは、最初、GHIディスクへ書き込まれ、その後、HPSS領域へコピーされます。
- ワークグループ毎に許可されたディレクトリ以下のGHIファイルシステム領域が利用可能です。
- ワークグループ毎に許可されたディレクトリ以下のGHIファイルシステム領域が利用可能です。
- 現在HPSSシステムに投入されている巻数について確認したい場合は、ghitapequotaコマンドを参照してください。
使用頻度の高いファイルおよび8MB未満のファイルはGHIディスクに保持されます。
使用頻度の低いファイルはHPSSテープメディアへとコピーされ、その後GHIディスクから消去されます。
HPSSテープ上にのみ存在するファイルにアクセスすると、GHIの呼び戻し機能により、HPSSテープメディアからGHIディスクへコピーされます。
- この際、エンドユーザはファイルの所在を意識せずに目的のファイルを利用できます。
GHIファイルシステムは256MB以上の大容量ファイルの格納に特化したシステムです。
- 256MByte未満のファイルは、磁気ディスクシステムへの格納を推奨します。
- アクセス性能を重視する場合は、8GB以上の大容量のファイルの作成を推奨します。

HPSSの機能

各ワークグループのディレクトリに書き込まれたデータは、HPSSテープメディアへ格納されます。 HPSS領域では、設定されたディレクトリ毎(主に、ワークグループ、サブグループ単位)に異なるClass of Service (COS)およびFamilyIDをアサインしています。 HPSSテープメディアは、上記で設定されたCOS、FamilyID毎に利用可能巻数の管理が行われています。

HPSSテープメディア

HPSSで使用しているテープメディアは、IBM3592テープメディアを使用しており、更に型式が複数種類あります。新旧テープの仕様を下記に示します。

テープ仕様	3592-JE (GEN6)	3592-JD (GEN5A)	3592-JD (GEN5)	3592-JC (GEN5)	3592-JC (GEN4)	3592-JB (GEN4)	3592-JB (GEN3)
当サイトでの利用期間	2020年以降	2020年以降	2016年以降	2016年以降	2012年～2016年	2012年～2016年	2009年～2011年
非圧縮容量 [GB/巻]	20000	15000	10000	7000	4000	1600	1000
最大速度 [MB/sec]	400	-	-	-	250	200	160

HPSSテープメディアの利用状況

HPSSでは、COS、FamilyID毎に利用可能なメディアのタイプと巻数の管理が行われています。COS、FamilyID、それぞれに対応するディレクトリ、テープメディアの種類についてはCOS一覧表を参照してください。

COS一覧表(PDF)

また、現在のテープメディア利用状況については、HSMシステム利用状況もしくは、ghitapequotaコマンドを利用ください。

GHIファイルシステムの利用状況確認ユーティリティ

GHIファイルシステムの利用状況を確認するために下記のユーティリティを提供しています。

ghilsコマンド

ghilsコマンドはGHIファイルシステムのみに有効です。GPFS領域に対してghilsコマンドを発行するとエラーとなりますので、ご注意ください。ghilsコマンドはUNIX lsコマンドと同じ出力形式に加え、GHIファイルシステム上のファイルの所在情報を付与して表示されます。指定したファイルがHPSS領域に存在する場合は、ghilsコマンドの応答に時間がかかります。

Usage :ghils [-a] [-l] [-n] [-R] [u] <GHI file| GHI directory>
-a -- '.' で始まる名前のファイルをリスト表示に含める
-l -- ロングフォーマットで表示する
-n -- '-l'オプションと関連してUID/GIDを番号で表示する
-R -- サブディレクトリがある場合は再帰的にリスト表示する
-u -- アルファベット順ではなく応答順にリスト表示する

※ ディレクトリを指定する場合は、最後に必ず /(スラッシュ)を補完する必要があります。

$> ghils /ghi/fs02/test/
H /ghi/fs02/test/hpss_ghi_ls.10
B /ghi/fs02/test/hpss_ghi_ls.11
G /ghi/fs02/test/hpss_ghi_ls.12↓

G: 指定したファイルはGHIディスクにのみ存在します
B: 指定したファイルはGHIディスクおよびHPSS領域に存在します
BP: 指定したファイルはGHIディスクおよびHPSS領域に存在します
この状態のファイルは、パージされません
H: 指定したファイルはHPSS領域にのみ存在しGHIディスクには存在しません
HP: HPSS領域にのみ存在しGHIディスクには存在しません
この状態のファイルは、パージされません

ghitapequota2コマンド

※ 従来の ghitapequota コマンドも利用可能です。

各ワークグループが所有・管理する全テープ巻数および利用巻数を表示します。表示される表は1時間毎に更新されます。

Tape Typeは下記のように表記されます。

JC: 3592-JC (GEN5)
JD: 3592-JD (GEN5)/3592-JD (GEN5A)
JE: 3592-JE (GEN6)

また、US/TQ , US/MS は下記計算式によって算出されます。

US/TQ = Used Size / Tape Qota
(TQ=JC TapeQuota × 7TB + JD TapeQuota × 15TB + JE TapeQuota × 20TB)
US/MS = Used Size / Max Size

Usage: ghitapequota2 [-g group-name]
-gオプションあり : 引数で指定されたグループ名に関する情報を、テープ種類毎に出力する。
-gオプションなし : 全グループに関する情報を出力する。

 $> ghitapequota2
 Oct 16 16:10:03 JST 2020
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
Name                           COS Famly Assign TapeJC         TapeJD         TapeJE         Used       Free       Max         US/TQ  US/MS
                                ID    ID  Total Qota Used Free Qota Used Free Qota Used Free Size  [GB] Size  [GB] Size  [GB]    [%]    [%]
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
COS                             28     -     12    0    6    6    0    0    0    0    0    0        890      69798      70688      -   1.26
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
COS                             29     -     24    0   24    0    0    0    0    0    0    0     170416       8617     179033      -  95.19
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle2_fs03                     31 31000      -    0    0    -   40    1    -    0    0    -          0          0          0   0.00      -
belle2_fs03_grid_storm          31 31001      -    0    0    -  240  248    -    0    0    -    1690352          0    1690352  70.43      -
belle2_fs03_grid_ops            31 31002      -    1    1    -    0    0    -    0    0    -          0       6999       6999   0.00      -
COS                             31     -    281    1    1    0  280  249   31    0    0    0    1690353     471999    2162352      -  78.17
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ce_kagra_grid_storm             51 51001      -    5    1    -    0    0    -    0    0    -         34          0         34   0.10      -
COS                             51     -      5    5    1    4    0    0    0    0    0    0         34      28000      28034      -   0.12
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ce_sbrc                         52 52000      -    0    0    -   40    6    -    0    0    -      81718          0      81718  20.43      -
COS                             52     -     40    0    0    0   40    6   34    0    0    0      81718     510000     591718      -  13.81
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
mlf                             61 61000      -    5    2    -    4    2    -    0    0    -      22520       4799      27319  30.03      -
mlf_irods                       61 61001      -   30   15    -   76   35    -    0    0    -     494793       8695     503488  51.01      -
mlf_deeme                       61 61002      -    0    3    -    5    0    -    0    0    -      14538       6618      21156  29.08      -
COS                             61     -    120   35   20   15   85   37   48    0    0    0     531852     845113    1376965      -  38.62
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
cmb                             62 62000      -    0    0    -    9    9    -    0    0    -      77876          0      77876  86.53      -
cmb_pb                          62 62001      -    0    0    -   30    4    -    0    0    -      22030          0      22030   7.34      -
COS                             62     -     39    0    0    0   39   13   26    0    0    0      99907     390000     489907      -  20.39
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ilc_grid                        64 64000      -   17    0    -   33   22    -    0    0    -     201677          0     201677  44.92      -
ilc_grid_dpm                    64 64001      -    0    5    -    7    0    -    0    0    -      34555          0      34555  49.36      -
COS                             64     -     57   17    5   12   40   22   18    0    0    0     236233     354000     590233      -  40.02
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ce_naregi                       65 65000      -    0    0    -    2    1    -    0    0    -       1078          0       1078   5.39      -
COS                             65     -      2    0    0    0    2    1    1    0    0    0       1078      15000      16078      -   6.70
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
t2k_JB_beam                     66 66001      -    5    4    -   14   13    -    0    0    -     130097          0     130097  74.34      -
COS                             66     -     19    5    4    1   14   13    1    0    0    0     130097      22000     152097      -  85.54
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
test_ibm_se                     67 67000      -    0    0    -    1    1    -    0    0    -        274          0        274   2.74      -
test_ibm_sysimage_bk1           67 67001      -    0    0    -    1    1    -    0    0    -       8194          0       8194  81.94      -
test_ibm_sysimage_bk2           67 67002      -    0    0    -    1    1    -    0    0    -        462          0        462   4.62      -
orhpan_file                     67 75000      -    0    0    -    1    1    -    0    0    -          2          0          2   0.02      -
COS                             67     -      6    0    0    0    4    6    0    0    0    0       9916          0       9916      - 100.00
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
t2k_beam                        68 68001      -   10    2    -    8    4    -    0    0    -      86173        911      87084  57.45      -
t2k_nd280                       68 68002      -   15   18    -    8    4    -    0    0    -     118249      26309     144558  63.92      -
t2k_irods                       68 68003      -    4    6    -    3    0    -    0    0    -      20598       6913      27511  35.51      -
COS                             68     -     48   29   26    3   19    8   11    0    0    0     225020     220135     445155      -  50.55
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
nu_wagasci                      69 69001      -    0    0    -    5    7    -    0    0    -     228742          0     228742 457.48      -
nu_ninja                        69 69002      -    0    0    -    1    1    -    0    0    -       1815          0       1815  18.15      -
COS                             69     -     11    0    0    0    6    8    3    0    0    0     230557      45000     275557      -  83.67
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
had_koto                        70 70000      -    0    0    -  263  208    -    0    0    -    2097726          0    2097726  79.76      -
COS                             70     -    263    0    0    0  263  208   55    0    0    0    2097726     825000    2922726      -  71.77
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
had                             71 71000      -    0    1    -    1    0    -    0    0    -          0          0          0   0.00      -
had_sks                         71 71001      -   10    9    -   28   20    -    0    0    -     242663          0     242663  69.33      -
had_knucl                       71 71002      -    5    6    -   15   26    -    5    1    -     321183          0     321183 112.70      -
had_trek                        71 71003      -    5    3    -    0    0    -    0    0    -      15363          0      15363  43.89      -
had_g-2                         71 71004      -    0    0    -    5    5    -    0    0    -      37517          0      37517  75.03      -
had_muon                        71 71005      -    0    1    -   15   13    -    0    0    -     114303          0     114303  76.20      -
had_high-p                      71 71006      -    0    0    -    4    4    -    0    0    -      22370          0      22370  55.93      -
COS                             71     -     93   20   20    0   68   68    0    5    1    4     753402      80000     833402      -  90.40
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ilc                             72 72000      -   15   11    -    0    0    -    0    0    -      54539       9972      64511  51.94      -
COS                             72     -     15   15   11    4    0    0    0    0    0    0      54539      37972      92511      -  58.95
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ilc_grid_storm                  73 73000      -  135   83    -   20    0    -    0    0    -     513092       7365     520457  44.81      -
COS                             73     -    155  135   83   52   20    0   20    0    0    0     513092     671365    1184457      -  43.32
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
acc                             74 74001      -    2    1    -    0    0    -    0    0    -       5123          0       5123  36.59      -
atlas                           74 74002      -    2    1    -    0    0    -    0    0    -          0          0          0   0.00      -
ce                              74 74003      -    2    4    -    0    0    -    0    0    -       7100      13269      20369  50.71      -
ce_geant4                       74 74004      -    2    2    -    0    0    -    0    0    -        438       6948       7386   3.13      -
COS                             74     -      8    8    8    0    0    0    0    0    0    0      12662      20217      32879      -  38.51
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
test                            75 75000      -   13    6    -    0    0    -    0    0    -      26300       6999      33299  28.90      -
test_ibm_test_cksum             75 75001      -    5    3    -    0    0    -    0    0    -      14120          0      14120  40.34      -
COS                             75     -     18   18    9    9    0    0    0    0    0    0      40420      69999     110419      -  36.61
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ce_lcg_dpm                      76 76001      -    2    1    -    0    0    -    0    0    -       4188          0       4188  29.91      -
COS                             76     -      2    2    1    1    0    0    0    0    0    0       4188       7000      11188      -  37.43
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ce_irods                        77 77000      -    2    1    -    0    0    -    0    0    -         28          0         28   0.20      -
ce_irods_irods01                77 77001      -    2    2    -    0    0    -    0    0    -        157       6999       7156   1.12      -
ce_irods_irods04                77 77004      -    2    1    -    0    0    -    0    0    -         32          0         32   0.23      -
COS                             77     -      6    6    4    2    0    0    0    0    0    0        218      20999      21217      -   1.03
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
bess                            78 78000      -    6    2    -    0    0    -    0    0    -      13836          0      13836  32.94      -
COS                             78     -      6    6    2    4    0    0    0    0    0    0      13836      28000      41836      -  33.07
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ps_klea                         79 79000      -   12   10    -    0    0    -    0    0    -     101645          0     101645 121.01      -
had_koto_jc                     79 79001      -  712  714    -    0    0    -    0    0    -    4722597          0    4722597  94.76      -
COS                             79     -    724  724  724    0    0    0    0    0    0    0    4824243          0    4824243      - 100.00
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle_bdata1                    81 81001      -   23   23    -   32   29    -    0    0    -     379741          0     379741  78.95      -
COS                             81     -     55   23   23    0   32   29    3    0    0    0     379741      45000     424741      -  89.41
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle_bhsm                      82 82000      -    0    0    -  135  152    -    0    0    -    1248145      74973    1323118  92.46      -
COS                             82     -    152    0    0    0  135  152    0    0    0    0    1248145      74973    1323118      -  94.33
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle_grid                      83 83000      -    0    0    -    2    1    -    0    0    -          0          0          0   0.00      -
belle_grid_dpm                  83 83001      -    0    0    -    3    1    -    0    0    -       5444          0       5444  18.15      -
COS                             83     -      5    0    0    0    5    2    3    0    0    0       5444      45000      50444      -  10.79
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle2_grid                     84 84000      -    0    0    -    2    4    -    0    0    -        161      14999      15160   0.80      -
belle2_grid_dpm                 84 84001      -    0    0    -    3    1    -    0    0    -          0          0          0   0.00      -
COS                             84     -      5    0    0    0    5    5    0    0    0    0        161      14999      15160      -   1.06
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ibm_test_stage_1                87 87000      -    3    2    -    0    0    -    0    0    -        171       6999       7170   0.81      -
ibm_test_stage_1                87 87001      -    1    1    -    0    0    -    0    0    -          0          0          0   0.00      -
COS                             87     -      4    4    4    0    0    0    0    0    0    0        177       6999       7176      -   2.47
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ibm_test_stage_2                88 88000      -    2    2    -    0    0    -    0    0    -        803       6999       7802   5.74      -
COS                             88     -      2    2    2    0    0    0    0    0    0    0        803       6999       7802      -  10.29
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ibm_test_stage_3                89 89001      -    0    0    -    3    3    -    0    0    -          7          0          7   0.02      -
COS                             89     -      3    0    0    0    3    3    0    0    0    0          7          0          7      - 100.00
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
old                             90 90000      -    5    3    -    0    0    -    0    0    -      19714          0      19714  56.33      -
COS                             90     -      5    5    3    2    0    0    0    0    0    0      19714      14000      33714      -  58.47
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle2_bdata                    92 92001      -  320  320    -  700  648    -    0    0    -    8736897          0    8736897  94.56      -
COS                             92     -   1020  320  320    0  700  648   52    0    0    0    8736897     780000    9516897      -  91.80
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle_bfs                       93 93000      -  249  173    -    0    0    -    0    0    -    1034855      27973    1062828  59.37      -
belle_bdata2                    93 93002      -  320  295    -    0    0    -    0    0    -     935658      25867     961525  41.77      -
COS                             93     -    569  569  519   50    0    0    0    0    0    0    2417122     410678    2827800      -  85.48
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
belle_grid_storm                94 94001      -  110    5    -    0    0    -    0    0    -      27591          0      27591   3.58      -
belle2_grid_storm               94 94002      -  168  274    -  276  235    -    0    0    -    2692343     102414    2794757  68.40      -
belle_grid_storm_local_test     94 94003      -    3    1    -    0    1    -    0    0    -          0          0          0   0.00      -
belle2_grid_ops                 94 94004      -    1    2    -    0    0    -    0    0    -          0       6999       6999   0.00      -
COS                             94     -    558  282  282    0  276  236   40    0    0    0    2719934     709414    3429348      -  79.31
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ce_lcg_storm                    95 95000      -   20    7    -    0    0    -    0    0    -      29819       8502      38321  21.30      -
COS                             95     -     20   20    7   13    0    0    0    0    0    0      29819      99502     129321      -  23.06
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------

$> ghitapequota2 -g ilc_grid
Fri Oct 16 17:10:02 JST 2020
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
Name                           COS Famly Assign TapeJC         TapeJD         TapeJE         Used       Free       Max         US/TQ  US/MS
                                ID    ID  Total Qota Used Free Qota Used Free Qota Used Free Size  [GB] Size  [GB] Size  [GB]    [%]    [%]
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------
ilc_grid                        64 64000      -   17    0    -   33   22    -    0    0    -     201677          0     201677  44.92      -
ilc_grid_dpm                    64 64001      -    0    5    -    7    0    -    0    0    -      34555          0      34555  49.36      -
COS                             64     -     57   17    5   12   40   22   18    0    0    0     236233     354000     590233      -  40.02
------------------------------ --- ----- ------ ---- ---- ---- ---- ---- ---- ---- ---- ---- ---------- ---------- ---------- ------ ------

ghitapedriveコマンド

HPSSテープドライブ装置の利用状況を確認することができます。データがGHIディスクではなく、HPSS領域にあるが、ファイルを呼び戻せないなどの問題が発生し、テープドライブの現在の利用状況等を確認する際に実行します。

<書式>:ghitapedrive

$> ghitapedrive
-------------- ---------- ----------
Year Date Time NumTapeDrv NumFreeDrv
-------------- ---------- ----------
2020.0713.1817     72         72
-------------- ---------- ----------

NumTapeDrv: 利用可能な全ドライブ数
NumFreeDrv: 現在の空きドライブ数

hstage(バッチ処理)

GHIファイルシステムからパージされたファイルをステージします。

hstageの使用方法
ステージしたいファイルのリストを同じファイルシステムの /ghi/fs0[1-3]/hstage/requests/ ディレクトリに作成します。
/ghi/fs01/ 以下のファイルをステージする場合は /ghi/fs01/hstage/request/ にファイルリストを置いてください。
/ghi/fs02/ 以下のファイルをステージする場合は /ghi/fs02/hstage/request/ にファイルリストを置いてください。
/ghi/fs03/ 以下のファイルをステージする場合は /ghi/fs03/hstage/request/ にファイルリストを置いてください。
※上記のルールと異なる指定をした場合、ステージ処理は行われません。
※ファイルリストにはステージしたいGHIファイル名またはディレクトリ名をフルパスで指定してください。
※ファイルパス名は /ghi/fs0[1-3]/ から始まるパス名を指定してください。
※ファイルパス名にスペースがあると結果が正しく出力されません。

例：
/ghi/fs01/path/to/ のファイルをステージする場合

% cat /ghi/fs01/hstage/request/sample.lst
/ghi/fs01/path/to/file.1
/ghi/fs01/path/to/file.2
/ghi/fs01/path/to/file.3
〜
/ghi/fs01/path/to/file.10000

※1つのファイルリストに指定できる数は最大10,000ファイルです。
※ステージ処理はリクエストディレクトリにリストファイルが置かれた順に処理します。

ステージ処理の結果は /ghi/fs0[1-3]/hstage/results/yyyymmdd/ に出力されます。

出力ファイル名は、リクエストファイル名に処理した日時が付加されたものになります。

例：
sample.lst.result.yyyymmdd_hhmmss

※1ヶ月経過したものは自動的に削除されます。

処理が完了したリクエストファイルは /ghi/fs0[1-3]/hstage/requests/done/yyyymmdd/ ディレクトリに移動され、処理された日時がファイルに付加されます。

例：
sample.lst.yyyymmdd_hhmmss

※1ヶ月経過したものは自動的に削除されます。

結果を確認します。

% cat sample.lst.result.yyyymmdd_hhmmss
B /ghi/fs01/path/to/file.1
B /ghi/fs01/path/to/file.2
B /ghi/fs01/path/to/file.3
|
+ - ghilsのステータス：
    G：ファイルはGHIにあり、HPSSに移動されていません。
    B：ファイルはGHIとHPSSの両方に存在します。
    H：ファイルはHPSSにあり、GHIからパージされています。

    ※ファイルがpinされている場合は、インジケータの後にPが続きます(ファイルがpinされていない場合はブランク)。

自分のリクエストファイルを探すには、findコマンドなどを使用してください。

例：
% find /ghi/fs0?/hstage/requests/done/*/ -user username

HSMシステム更新に伴う変更点

データ解析システムにおけるHSMシステムの更新に伴う変更点を下記に示します。

項目	HSMシステム(新)	HSMシステム(旧)
ソフトウェア名称バージョン	HPSS 8.3.0 update 3 GHI 3.0.1 update 4	HPSS 7.4.3 patch 2 GHI 2.5.0 patch 1
テープ台数と種類	TS1160 x 72台	TS1150 x 54台 TS1140 x 12台
利用可能なテープ媒体 (容量)	JC Gen5(7TB) JD Gen5A(15TB) JE Gen6(20TB)	JB Gen3(1TB) JB Gen4(1.6TB) JC Gen4(4TB) JC Gen5(7TB) JD Gen5(10TB)

HSMシステム利用における注意

ファイルのステージ処理

HSM 領域に記録したファイルは暫くするとパージが実行されてGHIディスク領域から消えます。
例えば/ghi/fs01/path/to/file に対して ghilsすると以下のようにファイルがテープ領域にしか存在しないことを意味する H(pss) が表示されます。

$> ghils /ghi/fs01/path/to/file 
    H /ghi/fs01/path/to/file

こうしたファイルを使用するジョブを投入する場合はジョブ投入前にステージしておくことにより、効率的なCPU利用が期待できます。
ユーザ権限でステージ処理を行うにはファイルを1バイト以上読み込む必要があります(ls してもファイルはステージされません)ので以下の方法を推奨します。

$> od /ghi/fs01/path/to/file | tail -n 1

ステージが正常に終了すると ghils はファイルがディスクとテープ両方に存在することを意味する B(oth) を表示します。

$> ghils /ghi/fs01/path/to/file 
   B /ghi/fs01/path/to/file

数百個以上の大量のファイルに対してステージ処理が必要な場合は、hstageユーティリティを使用してください。

ファイルのサイズの制限

0バイトのファイルはGHIファイルは作成可能ですが、HPSS領域へマイグレーションされません。

ファイルのパス名長の制限

GHIファイルのパス名長の制限は1023バイト以下です。 1024バイト以上のパス名のGHIファイルは作成可能ですが、HPSS領域へマイグレーションされません。正しくHPSS領域へマイグレーション可能にするためには、1023バイト以下のパス名長のGHIファイルを作成する必要があります。
また、パス名長はファイルの実体の名前である、/ghi の先頭の「/(スラッシュ)」から数えます。GHIファイルシステムは、シンボリックリックでディレクトリを提供していますのでご注意ください。
例えば、/hsm/belle というディレクトリ経由でアクセス可能ですが、/hsm/belle は /ghi/fs01/belle へのシンボリックリンクです。各ディレクトリの名称についてはGHIファイルシステムの構成を参照してください。

belle、belle2グループのGHI領域は /ghi/fs01 へのシンボリックリンクです。
上記以外のグループのGHI領域は /ghi/fs02へのシンボリックリンクです。

GHIファイル名として利用できない文字の制限

GHIファイル名としてASCIIの制御文字(10進 00-31)は利用できません。もし利用した場合はシステムによって rename されます。

HPSSファイルとして利用できないファイル

ソケットファイル、パイプファイルは作成可能ですが、HPSS領域へマイグレーションされません。

テープの使用制限

HPSSシステムに登録されている各グループの利用可能テープの残容量が少なくなるとワークグループ管理者へ警告メールが送付されます。以下を検討くださいますようお願い致します。

不要なファイルの削除
テープメディアの追加

参考情報

GHIとHPSSの紹介

GHIとHPSSについて、こちらで紹介をしております。

GHI/HPSSの用語

GHI migration
- GHIディスクからHPSS領域へファイルがコピーされることをGHI migrationと呼びます
- GHIファイルシステムに新規に書き込まれたファイルは、最初はGHIディスク上に存在しますがGHIポリシーに従って自動的にHPSSディスクへとコピーされます
GHI purge
- GHIディスクからデータを消去することをGHI purgeと呼びます
- GHIディスクの利用率があらかじめ設定されたディスク利用率の上限値に達すると、最終アクセス日時が古いファイル順にGHIディスクからの削除対象となります
- GHI migrationが行われていないファイルに対してGHI purgeは実行されません
- GHI purgeされたファイルはGHI stageされるまで、GHIディスクには存在せずHPSS領域(ディスクまたはテープ)にのみ存在します
GHI stage
- HPSS領域からGHIディスクにファイルをコピーすることをGHI stageと呼びます
- GHI purgeされたファイルにアクセス要求がなされると、HPSS領域からGHIディスクに自動的にコピーが発生します
HPSS migration
- HPSSディスクからからHPSSテープへ書き込まれることをHPSS migrationと呼びます
- HPSSディスクへはGHI migrationによりファイルが書き込まれます
- 各ワークグループ/サブグループに対応したCOS/FamilyID毎に関連付けられたHPSSポリシーに従って自動的にHPSSディスクからHPSSテープへファイルがコピーされます
HPSS purge
- HPSSディスクからデータを消去することをHPSS purgeと呼びます
- HPSSディスクの利用率があらかじめ設定されたディスクキャッシュ利用率の上限値に達すると、最終アクセス日時が古いファイル順にHPSSディスクからの削除対象となります
- HPSS migrationが行われていないファイルに対してHPSS purgeは実行されません
- HPSS purgeされたファイルはHPSSディスク上には存在せずHPSSテープのみに存在します