HSMシステム

HSMシステムの概要

HSMシステムは、計算サーバ、ワークサーバ、GridシステムにHSMデータ領域を提供することを目的とし、GHIファイルシステムとHPSSにより実装されています。
GHIファイルシステムは、磁気ディスクシステムで使用しているGPFSとHPSSとを連携するインターフェースを搭載しているファイルシステムで、POSIX標準APIにより通常のファイルシステムと同様に操作可能です。 また、GHIファイルシステムへ書きこまれたファイルは、すべてHPSSシステムへデータが移動されます。

なお、磁気ディスクシステムが提供するGPFSディスク領域とは異なり、CIFSサービスは提供しておりません。

GHI_diagram.jpg

GHIとHPSSについての詳細は、参考情報をご参照ください。

GHIファイルシステム領域

GHIファイルシステムの構成

GHIファイルシステムは、ワークグループ毎に利用可能領域を定義しています。ワークサーバ、計算サーバより下記ディレクトリにアクセスすることによってファイルを参照・書き込みすることができます。
※ ワークグループ/サブグループ毎に割り当てられていたディレクトリが新システムでは変更されています。

ファイルシステム領域
(ファイルシステム名)
ワークグループ
/サブグループ
ディレクトリ
GHI領域#1
(/ghi/fs01)
Belle/hsm/belle
Belle2/hsm/belle2
GHI領域#2
(/ghi/fs02)
T2K/hsm/t2k
HAD/hsm/had
MLF/hsm/mlf
ILC/hsm/ilc
CMB/hsm/cmb
Atlas/hsm/atlas
BESS/hsm/bess
Central/hsm/ce
PS/hsm/ps
2000年~2005年時データ
(read-only)
/hsm/old
GHI領域#3
(/ghi/fs03)
Belle2/ghi/fs03/belle2

テスト領域

GHIファイルシステムのテスト領域として、/ghi/fs02/testをマウントしています。GHIファイルシステムを試用したい場合はこちらの領域をご利用ください。
なお、/ghi/fs02/test領域は1カ月アクセスのないファイルは削除されます。本格利用を行う場合は、各グループのGHIシステム領域を使用ください。

HPSSとの連携

GHIファイルシステムは、GPFSとHPSSとが連携してシステムを構成しています。GHIファイルシステムのデータの扱い方は以下のとおりです。

  • GHIファイルシステム領域に書きこまれたファイルは、最初、GHIディスクへ書き込まれ、その後、HPSS領域へコピーされます
    • ワークグループ毎に許可されたディレクトリ以下のGHIファイルシステム領域が利用可能です
    • 基本的にワークグループもしくはサブグループ毎に定められた巻数のHPSSテープメディアへコピーされます
      • 現在HPSSシステムに投入されている巻数について確認したい場合は、ghitapequotaコマンドを参照ください。
  • 使用頻度の高いファイルおよび8MB未満のファイルはGHIディスクに保持されます
  • 使用頻度の低いファイルはHPSSテープメディアへとコピーされ、その後GHIディスクから消去されます
  • HPSSテープ上にのみ存在するファイルにアクセスすると、GHIの呼び戻し機能により、HPSSテープメディアからGHIディスクへコピーされます。
    • この際、エンドユーザはファイルの所在を意識せずに目的のファイルを利用できます
  • GHIファイルシステムは256MB以上の大容量ファイルの格納に特化したシステムです
    • 256MByte未満のファイルは、磁気ディスクシステムへの格納を推奨いたします
    • アクセス性能を重視する場合は、8GB以上の大容量のファイルの作成を推奨いたします

HPSSの機能

各ワークグループのディレクトリに書き込まれたデータは、HPSSテープメディアへ格納されます。 HPSS領域では、設定されたディレクトリ毎(主に、ワークグループ、サブグループ単位)に異なるClass of Service (COS)およびFamilyIDをアサインしています。 HPSSテープメディアは、上記で設定されたCOS、FamilyID毎に利用可能巻数の管理が行われています。

HPSSテープメディア

HPSSで使用しているテープメディアは、IBM3592テープメディアを使用しており、更に型式が複数種類あります。 新旧テープの仕様は下表のとおりです。

テープ仕様3592-JD
(GEN5)
3592-JC
(GEN5)
3592-JC
(GEN4)
3592-JB
(GEN4)
3592-JB
(GEN3)
当サイトでの利用期間2016年以降2016年以降2012年以降2012年以降2009年~2011年
非圧縮容量
[GB/巻]
100007000400016001000
最大速度
[MB/sec]
360300250200160

HPSSテープメディアの利用状況

HPSSでは、COS、FamilyID毎に利用可能なメディアのタイプと巻数の管理が行われています。COS、FamilyID、それぞれに対応するディレクトリ、テープメディアの種類についてはCOS一覧表をご参照ください。

COS一覧表(PDF)

また、現在の利用可能テープメディア巻数に関しては、HSMシステム利用状況もしくは、ghitapequotaコマンドを利用ください。

GHIファイルシステムの利用状況確認ユーティリティ

GHIファイルシステムの利用状況を確認するために下記のユーティリティを提供しています。

ghilsコマンド

ghilsコマンドはGHIファイルシステムのみに有効です。GPFS領域に対してghilsコマンドを発行するとエラーとなりますので、ご注意ください。 ghilsコマンドはUNIX lsコマンドと同じ出力形式に加え、GHIファイルシステム上のファイルの所在情報を付与して表示されます。 指定したファイルがHPSS領域に存在する場合は、ghilsコマンドの応答に時間がかかります。

<書式>:ghils [-a] [-l] [-n] [-R] [u] <GHI file| GHI directory>
-a -- '.' で始まる名前のファイルをリスト表示に含める
-l -- ロングフォーマットで表示する
-n -- '-l'オプションと関連してUID/GIDを番号で表示する
-R -- サブディレクトリがある場合は再帰的にリスト表示する
-u -- アルファベット順ではなく応答順にリスト表示する

※ ディレクトリを指定する場合は、最後に必ず /(スラッシュ)を補完する必要があります。

  $> ghils /ghi/fs02/test/
  H /ghi/fs02/test/hpss_ghi_ls.10
  B /ghi/fs02/test/hpss_ghi_ls.11
  G /ghi/fs02/test/hpss_ghi_ls.12↓
  • G: 指定したファイルはGHIディスクにのみ存在します
  • B: 指定したファイルはGHIディスクおよびHPSS領域に存在します
  • BP: 指定したファイルはGHIディスクおよびHPSS領域に存在します。この状態のファイルは、パージされません。
  • H: 指定したファイルはHPSS領域にのみ存在しGHIディスクには存在しません

ghitapequotaコマンド

各ワークグループが所有・管理する全テープ巻数および利用巻数を表示します。 表示される表は1時間毎に更新されます

Tape Typeは下記のように表記されます。

  • JB: 3592-JB (GEN4)
  • C4: 3592-JC (GEN4)
  • C5: 3592-JC (GEN5)
  • JD: 3592-JD (GEN5)
<書式>:ghitapequota [-l] [-g group-name]
-lオプションあり : グループ名, COS ID, Family ID, テープ種類, 合計テープ巻数, 使用されているテープ巻数, 未使用のテープ巻数, 使用されている容量 [GB], 最大容量 [GB], テープ使用率 [%]を出力する。
-lオプションなし : 上記のうちCOS ID以外を出力する。
-gオプションあり : 引数で指定されたグループ名に関する情報を、テープ種類毎に出力する。
-gオプションなし : 全グループに関する情報を出力する。
 $> ghitapequota
Aug_26_20:02
------------------- ----- -------- ---- ---- ---- ----------- ----------- ------
Name                Famly   Tape   Tape Used Free   UsedSize    MaxSize   Usage
                       ID   Type   Qota Tape Tape     [GB]        [GB]     [%]
------------------- ----- -------- ---- ---- ---- ----------- ----------- ------
belle               91001 __ C4 __    0    0    0           0           0    0.0
belle_bdata1        81000 JB __ __ 1345    1 1344           0     2152000    0.0
belle_bfs           93000 __ C4 __  279  283   -4     1034535     1019648  101.5
belle_bwf_backup    93001 __ C4 __   44    0   44           0      176000    0.0
belle_bdata2        93002 __ C4 __  160  183  -23      450685      607481   74.2
belle_bhsm          82000 JB __ __  775  776   -1     1247737     1250553   99.8
belle_grid          83000 JB __ __    4    4    0        1861        6400   29.1
belle_grid_dpm      83001 JB __ __   12    6    6        5448       18957   28.7
belle_grid_storm    94001 __ C4 __  140   98   42      340498      533074   63.9
belle2_grid_storm   94002 __ C4 __   10    4    6           6       40000    0.0
belle_grid_storm_lo 94003 __ C4 __    3    1    2           1       12000    0.0
belle2              92000 __ C4 __    0    0    0           0           0    0.0
belle2_bdata        92001 __ C4 __  160  147   13      513937      613753   83.7
belle2_grid_dpm     84001 JB __ __    8    2    6           0       12800    0.0
belle2_grid         84000 JB __ __    2    0    2           0        3200    0.0
belle2_fs03         31000 __ __ JD    1    0    1           0       10000    0.0
belle2_fs03_grid_st 31001 __ __ JD    1    0    1           0       10000    0.0
had                 71000 __ C4 __    0    0    0           0           0    0.0
had_sks             71001 __ C4 __   10   10    0       25755       38857   66.3
had_knucl           71002 __ C4 __    5    5    0       15512       21205   73.2
had_trek            71003 __ C4 __    5    5    0        7916       19446   40.7
had_koto            70000 JB __ __  259  255    4      504000      512833   98.3
had_koto_jc         79001 __ C4 __  669  617   52     2362221     2589361   91.2
t2k                 68000 __ C4 __    0    0    0           0           0    0.0
t2k_beam            68001 JB C4 __   26   16   10       42414       82441   51.4
t2k_nd280           68002 JB C4 __   58   52    6       87166      106455   81.9
t2k_irods           68003 JB C4 __   10   11   -1       13967       18513   75.4
t2k_JB_all          66000 JB __ __   10    0   10           0       16000    0.0
t2k_JB_beam         66001 JB __ __   27    4   23        2736       39537    6.9
t2k_JB_nd280        66002 JB __ __    6    0    6           0        9600    0.0
mlf                 61000 JB C4 __   18   12    6       13415       40835   32.9
mlf_irods           61001 JB C4 __  227  210   17      376272      448280   83.9
cmb                 62000 JB __ __   50   38   12       63930       88082   72.6
ilc                 72000 __ C4 __   15   12    3       25110       62712   40.0
ilc_grid            64000 JB C4 __  101   88   13      190425      250466   76.0
ilc_grid_dpm        64001 JB __ __   32   31    1       34549       51481   67.1
ilc_grid_storm      73000 __ C4 __  135  108   27      372134      492949   75.5
ce_naregi           65000 JB __ __    5    2    3        1078        8000   13.5
ce_lcg_dpm          76001 JB __ __    2    0    2           0        3200    0.0
ce_lcg              76000 JB __ __    0    0    0           0           0    0.0
ce_lcg_storm        95000 __ C4 __   20    6   14        5178       77897    6.6
ce_irods            77000 __ C4 __    2    1    1          28        8000    0.4
ce_irods_irods01    77001 __ C4 __    2    2    0         157        8000    2.0
ce_irods_irods04    77004 __ C4 __    2    1    1          32        8000    0.4
bess                78000 __ C4 __    9    4    5       13832       36000   38.4
atlas               74002 __ C4 __    1    1    0           0        4000    0.0
acc                 74001 __ C4 __    2    2    0        4731        8000   59.1
ce                  74003 __ C4 __    1    1    0        1969        4000   49.2
ce_geant4           74004 __ C4 __    2    1    1           8        8000    0.1
ce_kagra            51000 __ C4 __    2    0    2           0        8000    0.0
ce_kagra_grid_storm 51001 __ C4 __    2    2    0          34        8000    0.4
test                75000 __ C4 __   13    8    5       26284       51801   50.7
------------------- ----- -------- ---- ---- ---- ----------- ----------- ------
 $> ghitapequota -l
Aug_26_20:02
----------------------------- --- ----- -------- ---- ---- ---- ----------- ----------- ------
Name                          COS Famly   Tape   Tape Used Free   UsedSize    MaxSize   Usage
                               ID    ID   Type   Qota Tape Tape     [GB]        [GB]     [%]
----------------------------- --- ----- -------- ---- ---- ---- ----------- ----------- ------
belle                          91 91001 __ C4 __    0    0    0           0           0    0.0
belle_bdata1                   81 81000 JB __ __ 1345    1 1344           0     2152000    0.0
belle_bfs                      93 93000 __ C4 __  279  283   -4     1034535     1019648  101.5
belle_bwf_backup               93 93001 __ C4 __   44    0   44           0      176000    0.0
belle_bdata2                   93 93002 __ C4 __  160  183  -23      450685      607481   74.2
belle_bhsm                     82 82000 JB __ __  775  776   -1     1247737     1250553   99.8
belle_grid                     83 83000 JB __ __    4    4    0        1861        6400   29.1
belle_grid_dpm                 83 83001 JB __ __   12    6    6        5448       18957   28.7
belle_grid_storm               94 94001 __ C4 __  140   98   42      340498      533074   63.9
belle2_grid_storm              94 94002 __ C4 __   10    4    6           6       40000    0.0
belle_grid_storm_local_test    94 94003 __ C4 __    3    1    2           1       12000    0.0
belle2                         92 92000 __ C4 __    0    0    0           0           0    0.0
belle2_bdata                   92 92001 __ C4 __  160  147   13      513937      613753   83.7
belle2_grid_dpm                84 84001 JB __ __    8    2    6           0       12800    0.0
belle2_grid                    84 84000 JB __ __    2    0    2           0        3200    0.0
belle2_fs03                    31 31000 __ __ JD    1    0    1           0       10000    0.0
belle2_fs03_grid_storm         31 31001 __ __ JD    1    0    1           0       10000    0.0
had                            71 71000 __ C4 __    0    0    0           0           0    0.0
had_sks                        71 71001 __ C4 __   10   10    0       25755       38857   66.3
had_knucl                      71 71002 __ C4 __    5    5    0       15512       21205   73.2
had_trek                       71 71003 __ C4 __    5    5    0        7916       19446   40.7
had_koto                       70 70000 JB __ __  259  255    4      504000      512833   98.3
had_koto_jc                    79 79001 __ C4 __  669  617   52     2362221     2589361   91.2
t2k                            68 68000 __ C4 __    0    0    0           0           0    0.0
t2k_beam                       68 68001 JB C4 __   26   16   10       42414       82441   51.4
t2k_nd280                      68 68002 JB C4 __   58   52    6       87166      106455   81.9
t2k_irods                      68 68003 JB C4 __   10   11   -1       13967       18513   75.4
t2k_JB_all                     66 66000 JB __ __   10    0   10           0       16000    0.0
t2k_JB_beam                    66 66001 JB __ __   27    4   23        2736       39537    6.9
t2k_JB_nd280                   66 66002 JB __ __    6    0    6           0        9600    0.0
mlf                            61 61000 JB C4 __   18   12    6       13415       40835   32.9
mlf_irods                      61 61001 JB C4 __  227  210   17      376272      448280   83.9
cmb                            62 62000 JB __ __   50   38   12       63930       88082   72.6
ilc                            72 72000 __ C4 __   15   12    3       25110       62712   40.0
ilc_grid                       64 64000 JB C4 __  101   88   13      190425      250466   76.0
ilc_grid_dpm                   64 64001 JB __ __   32   31    1       34549       51481   67.1
ilc_grid_storm                 73 73000 __ C4 __  135  108   27      372134      492949   75.5
ce_naregi                      65 65000 JB __ __    5    2    3        1078        8000   13.5
ce_lcg_dpm                     76 76001 JB __ __    2    0    2           0        3200    0.0
ce_lcg                         76 76000 JB __ __    0    0    0           0           0    0.0
ce_lcg_storm                   95 95000 __ C4 __   20    6   14        5178       77897    6.6
ce_irods                       77 77000 __ C4 __    2    1    1          28        8000    0.4
ce_irods_irods01               77 77001 __ C4 __    2    2    0         157        8000    2.0
ce_irods_irods04               77 77004 __ C4 __    2    1    1          32        8000    0.4
bess                           78 78000 __ C4 __    9    4    5       13832       36000   38.4
atlas                          74 74002 __ C4 __    1    1    0           0        4000    0.0
acc                            74 74001 __ C4 __    2    2    0        4731        8000   59.1
ce                             74 74003 __ C4 __    1    1    0        1969        4000   49.2
ce_geant4                      74 74004 __ C4 __    2    1    1           8        8000    0.1
ce_kagra                       51 51000 __ C4 __    2    0    2           0        8000    0.0
ce_kagra_grid_storm            51 51001 __ C4 __    2    2    0          34        8000    0.4
test                           75 75000 __ C4 __   13    8    5       26284       51801   50.7
----------------------------- --- ----- -------- ---- ---- ---- ----------- ----------- ------
 $> ghitapequota -g t2k_beam
Aug_26_20:02
------------------- ----- -------- ---- ---- ---- ----------- ----------- ------
Name                Famly   Tape   Tape Used Free   UsedSize    MaxSize   Usage
                       ID   Type   Qota Tape Tape     [GB]        [GB]     [%]
------------------- ----- -------- ---- ---- ---- ----------- ----------- ------
t2k_beam            68001 __ C4 __   15    5   10       21082       61099   34.5
t2k_beam            68001 JB __ __   11   11    0       21332       21342   99.9
------------------- ----- -------- ---- ---- ---- ----------- ----------- ------
Total                                                   42414       82441   51.4
------------------- ----- -------- ---- ---- ---- ----------- ----------- ------
 $> ghitapequota -lg t2k_beam
Aug_26_20:02
----------------------------- --- ----- -------- ---- ---- ---- ----------- ----------- ------
Name                          COS Famly   Tape   Tape Used Free   UsedSize    MaxSize   Usage
                               ID    ID   Type   Qota Tape Tape     [GB]        [GB]     [%]
----------------------------- --- ----- -------- ---- ---- ---- ----------- ----------- ------
t2k_beam                       68 68001 __ C4 __   15    5   10       21082       61099   34.5
t2k_beam                       68 68001 JB __ __   11   11    0       21332       21342   99.9
----------------------------- --- ----- -------- ---- ---- ---- ----------- ----------- ------
Total                                                                 42414       82441   51.4
----------------------------- --- ----- -------- ---- ---- ---- ----------- ----------- ------

ghitapedriveコマンド

HPSSテープドライブ装置の利用状況を確認することができます。 データがGHIディスクではなく、HPSS領域にあるが、ファイルを呼び戻せないなどの問題が発生し、テープドライブの現在の利用状況等を確認する際に実行します。

<書式>:ghitapedrive
  $> ghitapedrive
  -------------- ---------- ----------
  Year Date Time NumTapeDrv NumFreeDrv
  -------------- ---------- ----------
  2016.0517.1659     54         54
  -------------- ---------- ----------
  • NumTapeDrv: 利用可能な全ドライブ数
  • NumFreeDrv: 現在の空きドライブ数

hstageユーティリティ

このユーティリティは、GPFSファイルシステムからパージされたファイルをステージします。

  • hstageユーティリティの使用方法
    ファイルリストを /ghi/fs0x/hstage/requests/ ディレクトリに作成します。
    ファイルリストには、ステージングしたいGPFSファイル名またはディレクトリ名を、フルパスで指定してください。

    ※ファイルパス名にスペースがあると結果が正しく出力されません。

例:
% cat sample.lst
/ghi/fs03/test/data/xxxxx.1
/ghi/fs03/test/data/xxxxx.2
/ghi/fs03/test/data/xxxxx.3
〜
/ghi/fs03/test/data/xxxxx.10000

※1つのファイルリストに指定できる数は最大10,000ファイルです。
※このユーティリティはリクエストディレクトリにリストファイルが置かれた順に処理します。
  • ステージング処理の結果は /ghi/fs0x/hstage/results/yyyymmdd/ に出力されます。
    出力ファイル名は、リクエストファイル名に処理した日時が付加されたものになります。
例:
sample.lst.result.yyyymmdd_hhmmss

※1ヶ月経過したものは自動的に削除されます。
  • 処理が完了したリクエストファイルは /ghi/fs0x/hstage/requests/done/yyyymmdd/ ディレクトリに移動され、処理された日時がファイルに付加されます。
例:
sample.lst.yyyymmdd_hhmmss

※1ヶ月経過したものは自動的に削除されます。
  • 結果を確認します。
% cat sample.lst.result.yyyymmdd_hhmmss
B /ghi/fs03/test/data/xxxxx.1
B /ghi/fs03/test/data/xxxxx.2
B /ghi/fs03/test/data/xxxxx.3
|
+ - ghilsのステータス:
    G:ファイルはGPFSにあり、HPSSに移動されていません。
    B:ファイルはGPFSとHPSSの両方に存在します。
    H:ファイルはHPSSにあり、GPFSからパージされています。
    
    ※ファイルがpinされている場合は、インジケータの後にPが続きます(ファイルがpinされていない場合はブランク)。
  • 自分のリクエストファイルを探すには、findコマンドなどをご使用ください。。
例:
% find /ghi/fs0?/hstage/requests/done/*/ -user username

HSMシステム更新に伴う変更点

データ解析システムにおけるHSMシステムの更新に伴う変更点は下表のとおりです。

項目HSMシステム(新)HSMシステム(旧)
ソフトウェア名称
バージョン
HPSS 7.4.3 patch 2
GHI 2.5.0 patch 1
HPSS 7.3.3 patch 2
GHI 2.2 patch 4
テープ台数と種類TS1150 x 54台
TS1140 x 12台
TS1140 x 60台
利用可能なテープ媒体
(容量)
JB Gen3(1TB)
JB Gen4(1.6TB)
JC Gen4(4TB)
JC Gen5(7TB)
JD Gen5(10TB)
JB Gen3(1TB)
JB Gen4(1.6TB)
JC Gen4(4TB)

HSMシステム利用における注意

ファイルのステージ処理

HSM 領域に記録したファイルは暫くするとパージが実行されてGHIディスク領域から消えます。
例えば/ghi/fs01/path/to/file に対して ghilsすると以下のようにファイルがテープ領域にしか存在しないことを意味する H(pss) が表示されます。

$> ghils /ghi/fs01/path/to/file 
    H /ghi/fs01/path/to/file

こうしたファイルを使用するジョブを投入する場合はジョブ投入前にステージしておくことにより、効率的なCPU利用が期待できます。
ユーザ権限でステージ処理を行うにはファイルを1バイト以上読み込む必要があります(ls してもファイルはステージされません)ので以下の方法を推奨します。

  $> od /ghi/fs01/path/to/file | tail -n 1

ステージが正常に終了すると ghils はファイルがディスクとテープ両方に存在することを意味する B(oth) を表示します。

 $> ghils /ghi/fs01/path/to/file 
     B /ghi/fs01/path/to/file

ステージ処理をさせてからジョブを投入する事も可能です。詳細はステージ処理をさせてからジョブを実行させるからご確認下さい。 数百個以上の大量のファイルに対してステージ処理が必要な場合は、hstageユーティリティをご使用ください。

ファイルのサイズの制限

GHIがサポートするファイルのサイズ上限は2,682,474,463,232バイト≒約2.4Tバイトです。

上記サイズより大きいサイズのGHIファイルは作成可能ですが、HPSS領域へマイグレーションされません。 正しくHPSS領域へマイグレーション可能にするためには、上記サイズ未満のGHIファイルを作成する必要があります。

また、0バイトのファイルはGHIファイルは作成可能ですが、HPSS領域へマイグレーションされません。

ファイルのパス名長の制限

GHIファイルのパス名長の制限は1023バイト以下です。

1024バイト以上のパス名のGHIファイルは作成可能ですが、HPSS領域へマイグレーションされません。正しくHPSS領域へマイグレーション可能にするためには、1023バイト以下のパス名長のGHIファイルを作成する必要があります。

また、パス名長は ファイルの実体の名前である、/ghi の先頭の「/(スラッシュ)」から数えます。GHIファイルシステムは、シンボリックリックでディレクトリを提供していますのでご注意ください。
例えば、/hsm/belle というディレクトリ経由でアクセス可能ですが、/hsm/belle は /ghi/fs01/belle へのシンボリックリンクです。各ディレクトリの名称については GHIファイルシステムの構成 を参照ください。

  • belle、belle2グループのGHI領域は /ghi/fs01 へのシンボリックリンクです。
  • 上記以外のグループのGHI領域は /ghi/fs02へのシンボリックリンクです。

GHIファイル名として利用できない文字の制限

GHIファイル名の文字として「\n」(改行)は利用できません。

「\n」(改行)を含むファイル名のGHIファイルは作成可能ですが、HPSS領域へマイグレーションされません。正しくHPSS領域へマイグレーション可能にするためには、「\n」(改行)を含まないファイル名のGHIファイルを作成する必要があります。

また、「\」(バックスラッシュ)および「 」(スペース)については非推奨となっております。

HPSSファイルとして利用できないファイル

ソケットファイル、パイプファイルは作成可能ですが、HPSS領域へマイグレーションされません。

テープの使用制限

HPSSシステムに登録されている各グループの利用可能テープの残容量が少なくなるとワークグループ管理者へ警告メールが送付されます。 以下を検討くださいますようお願い致します。

  • 不要なファイルの削除
  • テープメディアの追加

参考情報

GHIとHPSSの紹介

GHIとHPSSについて、こちらで紹介をしております。

GHI/HPSSの用語

  • GHI migration
    • GHIディスクからHPSS領域へファイルがコピーされることをGHI migrationと呼びます
    • GHIファイルシステムに新規に書き込まれたファイルは、最初はGHIディスク上に存在しますがGHIポリシーに従って自動的にHPSSディスクへとコピーされます
  • GHI purge
    • GHIディスクからデータを消去することをGHI purgeと呼びます
    • GHIディスクの利用率があらかじめ設定されたディスク利用率の上限値に達すると、最終アクセス日時が古いファイル順にGHIディスクからの削除対象となります
    • GHI migrationが行われていないファイルに対してGHI purgeは実行されません
    • GHI purgeされたファイルはGHI stageされるまで、GHIディスクには存在せずHPSS領域(ディスクまたはテープ)にのみ存在します
  • GHI stage
    • HPSS領域からGHIディスクにファイルをコピーすることをGHI stageと呼びます
    • GHI purgeされたファイルにアクセス要求がなされると、HPSS領域からGHIディスクに自動的にコピーが発生します
  • HPSS migration
    • HPSSディスクからからHPSSテープへ書き込まれることをHPSS migrationと呼びます
    • HPSSディスクへはGHI migrationによりファイルが書き込まれます
    • 各ワークグループ/サブグループに対応したCOS/FamilyID毎に関連付けられたHPSSポリシーに従って自動的にHPSSディスクからHPSSテープへファイルがコピーされます
  • HPSS purge
    • HPSSディスクからデータを消去することをHPSS purgeと呼びます
    • HPSSディスクの利用率があらかじめ設定されたディスクキャッシュ利用率の上限値に達すると、最終アクセス日時が古いファイル順にHPSSディスクからの削除対象となります
    • HPSS migrationが行われていないファイルに対してHPSS purgeは実行されません
    • HPSS purgeされたファイルはHPSSディスク上には存在せずHPSSテープのみに存在します

Last-modified: 2018-10-15 (月) 13:05:46 (156d)