大容量記憶システム( HPSS )利用の手引き

利用の手引き内のキーワード検索が可能です

powered by

 

 

はじめに

 

利用方法

o        利用申請

o        利用者相談

o        HPSSとは

o        HPSSの各バージョンにおける変更点

o        クライアントインターフェースの種類と特徴

o        HPSSのサイズ、COS、 Family ID、FileSetについて

o        HPSSテープの使用状況について

o        テープ媒体 3590-K, 3592-JA, 3592-JBについて

o        pftpとKerberos-ftp の使用方法

o        ClientAPI

o        HPSSツール

o        VFSインターフェース

o        留意事項

o        利用条件

o        LinuxからのHPSSの利用

o        HPSSの単語 – Migration, Purge, Stage

o        HPSSのStageには時間がかかります

o        VFSの代わりにhpsscatを使うと高速です

o        HPSSファイル利用に先立ちあらかじめstageするとアクセスが高速になります

o        HPSS FAQ

 

更新履歴

 

はじめに

前提条件

この利用手引書は、2006年 2月20日より高エネルギー加速器研究機構で稼動を開始した「共通計算機( KEKCC )システム」で使用可能な「大容量記憶システム( HPSS )」に関して、登録されたユーザがこのシステムを利用できることを目的に作成したものです。なお、本利用手引き書では、UNIX の基本的な知識を有していることを前提に記述します。



本利用の手引きでの記載例

本利用の手引きでは、コマンド実行例に以下の記載方法を使用します。

表示

意味

使用例

#>

コマンド入力時のプロンプト

#> mkdir /tmp/install

太字

利用者が実際に入力する部分

#> mkdir /tmp/install

斜字

利用者の環境に合わせて置き換える部分

#> mkdir /tmp/install

リターンキーの入力

#> mkdir /tmp/install

 

利用方法

はじめに

利用申請
利用者相談

利用申請、及び利用者相談 KEKCC システムに準じます。 こちらの「KEKCC システム 利用の手引き」をご参照ください。

 

HPSSとは

HPSSについては、こちらの「HPSSのご紹介」をご参照ください。

 

HPSSの各バージョンにおける変更点

 

2008年までのHPSS

2009年3月からの HPSS

2010年9月 からの HPSS

HPSS version

6.2.1

6.2.2.2p

7.3.2

今までのversionとの変更点

HPSS 4.5とHPSS 6.2では、APIアプリケーションに互換性が無く、アプリケーション・ソースの書き換えが必要でした。

 

詳細は、「こちらのHPSS 4.5とHPSS 6.2のソース変更ガイド」を参照ください。

 

HPSS 6.2.1とHPSS 6.2.2.2pは互換性があり、今までどおり利用できます。

APIアプリケーションについては、リコンパイルを推奨します。

 HPSS 6.2 と HPSS 7.3は、互換性が無いため、Linuxホストへクライアントモジュールを導入する必要があります。

 

HPSS 6.2とHPSS 7.3のAPI仕様には一部変更がありますが、大きな変更では無く、ソースの書き換えが必要なケースは稀です。ただし、バイナリ互換は無いため、APIアプリケーションについては、リコンパイルが必須です。

 

詳細はこちらの「HPSS6.2とHPSS7.3の変更点」を参照ください。

利用申請の手順

共通情報システムのuserid登録 および HPSS利用申請が必要でした。

左記に加え、ネットワーク疎通のために、アクセス元の申請が必要になりました。

FireWall設定変更が必要になったため、申請から利用可能までに時間がかかるようになりました。

同左

 

Mover台数

4台

5台

同左

テープ台数

6台

10台

同左

テープ媒体

3590-K(read-only) 容量40GBと

3592-JA(J1A書式)容量300GB

3592-JA(J1A書式)read-only容量300GBと

3592-JA(E06書式)(書込可能)容量660GBと

3592-JB(E06書式)(書込可能) 容量1TB

同左

Kerberos-ftp利用時のport番号

4021

4020

6021

Normal-ftp利用時のport番号

4021

6021

提供を終了しました。

POSIX-like API

KEK固有POSIX-like API

複数セット用意されていました。

今回は2種類に統合されました。

一部APIHPSS標準のProgrammers  Referenceに掲載されました。

詳細はこちらの「HPSS WrapperGuide

参照ください。

今回は2種類に統合されました。

 

詳細はこちらの「HPSS73 WrapperGuide

参照ください。

 

 

 

KEKCC システムからの HPSS の利用

クライアントインターフェースの種類と特徴

HPSSクライアントインターフェースは、pftp、Kerberos-ftp, ClientAPI、HPSS ツール、HPSS-VFS(VFS経由でのHPSS利用), scpの6種類です。その特徴を以下に示します。

インターフェース

使用する場面

特徴

ユーザマシンで利用するための条件

事前にkinitが必要※1

各マシンの /etc/profile.d のhpss.sh、または hpss.csh の読み込みが必要※2

pftp

インタラクティブにデータ転送を行う

高速データ転送ができる。

COSを指定する機能を利用可能。ファイルサイズに応じて自動的にCOSを振り分ける機能を利用可能

HPSSのパッケージを導入する必要がある。

サポートされるプラットホームはRHEL4/5。

○ ※1

Kerberos-ftp

インタラクティブにデータ転送を行う

高速データ転送ができる。セキュアな認証ができる。COSを指定する機能を利用可能。

Linuxに含まれるKerberosの導入が必要

○ ※1

ClientAPI

C/C++プログラムからデータ転送を行う

高速データ転送が出来る。

COSを指定する機能を利用可能。ファイルサイズに応じて自動的にCOSを振り分けるコーディングが可能。

HPSSパッケージを導入する必要がある。

○ ※1

○ ※2

HPSSツール

インタラクティブにデータ転送およびファイル操作を行う

高速データ転送を使用できる。COSを指定する機能を利用可能。ファイルサイズに応じて自動的にCOSを振り分ける機能を利用可能。

HPSSパッケージを導入する必要がある。サポートされるプラットホームはRHEL4/5。

○ ※1

○ ※2

HPSS-VFS

ファイルシステムとして操作(ファイルの削除、移動、リスト取得等)上記にインタフェースに比べると低速。

ワークサーバhpss.cc.kek.jp からファイルシステムと同様の操作で直接ファイルを扱う事ができる

HPSS-VFS導入する必要があるので非現実的。

×

×

scp

インタラクティブにデータ転送を行う

通常のscpと同様な使い方ができる

特になし。

×

×


※1:事前にkinitが必要

実行例:

$ kinit

2:バッチジョブで ClientAPI/HPSS ツールを利用する場合には、ジョブ実行マシンの /etc/profile.d/hpss.sh または hpss.csh の読み込みが必要

実行例:

$ . /etc/profile.d/hpss.sh

ただし、64bitOSホストで32bitアプリケーションを実施する場合には、事前に/var/hpss/kek/hpss32.shまたは hpss32.cshの読み込みが必要

 実行例:

$ source  /var/hpss/kek/hpss32.csh

 

HPSSのサイズ、COS、 Family ID、FileSetについて

 

HPSSへ格納するファイルのファイルサイズについて

HPSSに格納できるファイルサイズは 0 Byte 〜 160 G Byte (COSによっては、32GBまで)です。COSの種類については、後述のCOS 一覧表(簡易版)を参照ください。

HPSSは256MByte以上の大きなファイルを格納するための大容量記憶システムです。 256MByte未満のファイルは、磁気ディスクシステムに格納をお願いいたします。

性能を重視する場合には、できましたら、2GB以上の大きなファイルの作成を推奨します。

HPSSのファイルサイズとCOSについて

Ilc_g, acc_g, ce_g, test_g , atls の領域(下記のCOS 一覧表(簡易版)参照)ではファイルサイズに応じて、異なるCOSへ格納するようになっています。Small, Medium, Largeとサイズに応じた設定により、性能の良いファイル環境を実現するためです。

詳細については、COS一覧表(詳細版) を参照ください。

COS指定のない領域へ書き込むと、deafult COS=20になり、上限値が128MBで打ち切りになります。128MB以上のサイズのファイルを書く時にはCOSを指定してください。方法はこちらの「COS指定方法」  をご覧ください。

COS一覧表(簡易版)

Fileset

Family  ID

Mount Point名

作成年(西暦)

COS

Hier

disk SC

tape SC

tape 型

max file size

コメント

ps_klea

1002

/hpss/ps/klea_g

2006

9

9

30

99

JA

160GB

COS 固定のFileSet

なし(理由:リンク)

1002

実体は/hpss/ps/klea_g <- /hpss/had/koto はsymbolic link

2009

9

9

30

99

JA

同上

上記と同じ

ilc

2001

/hpss/ilc_g

2006

10,20,30

10,20,30

20  30

29

JA

COS 毎に推奨ファイルサイズがあります。
0MB < 10 <1MB
1MB < 20 <128MB
128MB < 30 < 32GB

acc

4001

/hpss/acc_g

2006

10,20,30

10,20,30

ce

6001

/hpss/ce_g

2006

10,20,30

10,20,30

test_g

10001

/hpss/test_g

2006

10,20,30

10,20,30

atls

3001

/hpss/atls

2009

10,20,30

10,20,30

ce_lcg

0

/hpss/ce/lcg

2006

80

80

30

89

JA

32GB

COS 固定のFileSet

ce_srb

0

/hpss/ce/srb

2003

80

80

32GB

COS 固定のFileSet

ce_bess

6004

/hpss/ce_g/bess

2008

80

80

32GB

COS 固定のFileSet

had

5100

/hpss/had

2009

51

51

30

51

JB

160GB

COS固定のFileSet

t2k

5200

/hpss/t2k

2009

52

52

30

52

JB

160GB

COS固定のFileSet

mlf

5300

/hpss/mlf

2009

53

53

30

53

JB

160GB

COS固定のFileSet

cmb

5400

/hpss/cmb

2009

54

54

30

54

JB

160GB

COS固定のFileSet

vo_ilc

5500

 /hpss/vo/ilc

2010

55

55

30

55

JB

160GB

COS固定のFileSet

vo_belle

5600

 /hpss/vo/belle

2010

56

56

30

56

JB

160GB

COS固定のFileSet

/hpss/ps/klea_gは今後シンボリックリンクで/hpss/hado/kotoとしても利用可能です。

 

 

HPSSと Family IDについて

FileSetにはFamily IDが指定されています。 そのFileSetに作成されたファイルには、必ずそのFamilyIDがつきます。 Family IDがついたファイルは、そのFamily IDのテープに格納されます。即ち、同じFileSet内のファイルは、同じFamilyIDなので、同じテープに格納されます。 現在設定されているFileSetFamilyIDは、前述のCOS一覧表(簡易版)を参照ください。

Fileset test_g(マウントポイント:/hpss/test_g )はテスト用領域となっております。ご試用の際はこちらをご利用ください。
なお、test_g 領域では 1ヶ月アクセスのないファイルは削除されます事をご了承ください。

 

HPSSテープの使用状況について

それぞれのFamilyIDごとに購入したテープの本数とその使用状況については、こちらの「テープ使用状況」を参照ください。( KEK 内のみ参照可能で、1時間毎に更新)。

また、KEKCCワークサーバ ( login.cc.kek.jp ) でhquotaコマンドを実行することで、同様の「テープ使用状況」が確認できます。

 

【注】
 購入したテープの残容量が少なくなるとグループ代表者に警告のメイルが送付されます。テープ追加あるいは不要なファイルの削除をお願いします。

 

 

テープ媒体 3590-K, 3592-JA, 3592-JBについて

COS毎に利用できるテープ媒体の種類については、前述のCOS一覧表(簡易版)の「tape 型」をご覧ください。

 

新旧テープの仕様は下記のとおりです。

 

3590-K

(今は無い)

3592-JA

(J1A書式)

3592-JA

(E06書式)

3592-JB

(E06書式)

このサイトでの利用期間

2001年〜2008年

2006年〜

今後はread-only

2009年〜今後

2009年〜今後

非圧縮容量[GB/1巻]

40

300

660

1000

典型的な圧縮容量*1 [GB/1巻]

50*

400*

まだ実績なし

同左

最大速度[MB/sec]

14

40

100

160

*1 このサイトでの実績値

 

 

3590-Kについて

       2001年〜2005年作成のFileSet(/hpss/acc/kekb, /hpss/ps, /hpss/ce/cc, /hpss/ce/cc_x)に 含まれるデータは、当初3590-Kテープ媒体に格納されていましたが、テープ装置が置き換えられたので3592-JAテープ媒体(J1A書式)へデータ移行されました。現在は3592-JAテープ媒体にて、read-only(書き込みはできないが、読むことが可能、さらに削除も可能)で利用可能です。

3592-JAについて

  • 2006年〜2008年作成のFileSet(/hpss/acc_g, /hpss/ce_g, /hpss/ilc_g, /hpss/ps/klea_g, /hpss/test_g)に含まれるデータは、3592-JAテープ媒体(J1A書式)に格納されています。

o        その容量は300GB(非圧縮)でした。

o        2009年の新システムで読み取り可能、かつ新書式3592-JAテープ媒体(E06書式)へ変換可能です。

o        新テープ装置3592-E06のE06書式に変換することにより、3592-JAテープ媒体(E06書式)の容量は 660GB(非圧縮)に増えます。

3592-JBについて

  •    2009年開始の新システムでは、さらに新しい3592-JBテープ媒体も利用可能です。容量は1TB (非圧縮)です。

 

 

pftpKerberos-ftpの使用方法

KEKCC システムで使用できる ftp コマンドには、Kerberos 認証を使用する pftp と Kerberos-ftpがあります。
2010年8月までは kerberosを利用しない通常のftp が利用可能でしたが、セキュリティ上問題がある(平文のパスワードがネットワーク上に流れる)ため、2010年8月に提供を停止しました。2010年9月以降は pftp または Kerberos-ftp を使用してください。

pftp の利用方法

以下のように、pftp コマンドを使用します。

#> pftp
※ このコマンドpftpは、/etc/profile.d/hpss.{sh|csh} 内のalias 設定により、 /opt/hpss/bin/pftp_client  hco01.cc.kek.jp 4021と設定されています。

[使用例]
#> pftp
Connected to hco01.cc.kek.jp.
220 hco01 FTP server (HPSS PFTPD V1.0.0 Thu Sep 16 09:24:41 MST 2004) ready.
334 Using authentication type GSSAPI; ADAT must follow
GSSAPI accepted as authentication type
GSSAPI authentication succeeded
Preauthenticated FTP to hco01.cc.kek.jp as ibm-yoko:
232 GSSAPI user test_usr@CC.KEK.JP is authorized as test_usr@CC.KEK.JP
230-No directory! Logging in with home=/
230 User test_usr@CC.KEK.JP logged in as test_usr@CC.KEK.JP
Remote system type is UNIX.
Using binary mode to transfer files.
Pwidth set to default(1).
Multinode is Disabled.
ftp>

Kerberos-ftp の利用方法

HPSS 6.2まではkftpへ与える第二引数が4020でしたが、HPSS 7.3から6021へ変更になりました。 

変更前 /usr/Kerberos/bin/ftp hco01.cc.kek.jp 4020

変更後 /usr/Kerberos/bin/ftp hco01.cc.kek.jp 6021

 

以下のように、Kerberos-ftp コマンドを使用します。

#> kftp
※このコマンドkftpは、KEKCC システムの/etc/profile.d/hpss.{sh,csh} の alias 設定により、/usr/Kerberos/bin/ftp hco01.cc.kek.jp 6021 と設定されています。

お手元のLINUXのOSのkerberosによっては/usr/kerberos/bin/ftpでは無い場合がありますので、その場合には、適切なKerberos-ftpコマンドで置き換えてください。

[使用例]
#> kftp
Connected to hco01.cc.kek.jp.
220 hco01 FTP server (HPSS PFTPD V1.0.0 Thu Sep 16 09:24:41 MST 2004) ready.
334 Using authentication type GSSAPI; ADAT must follow
GSSAPI accepted as authentication type
GSSAPI authentication succeeded
Name (hco01.cc.kek.jp:ibm-yoko):
ftp>

通常のFTPは、認証パスワードがプレーンテキストでネットワークを流れるので、お勧めしません。したがいまして、2010年9月に提供を停止しました。
 

ClientAPI

ClientAPIは、POSIX CのI/O Callモデルに似た使い勝手の関数群で、Cのプログラムからこれらの関数をコールして利用します。
CプログラムからHPSS領域に直接アクセスすることが可能で、HPSS領域との高速データ転送能力を十分生かすように設計されています。
プログラム作成・コンパイル

ClientAPI を使用する C プログラムを作成する場合、以下の点を考慮します。

    コンパイル時・リンク時のオプションは、/opt/hpss/kek/examples/Makefileを参照ください。

    コーディングの例としては、/opt/hpss/kek/examples/hpssls.cなどのサンプルプログラムを参考にしてください。

    提供される関数やAPIの仕様については、こちらの「HPSS Programmer's Reference Guide」 を参照ください。

    互換性

Ø       HPSS4.5からHPSS6.2へ移植する場合には、「こちらのHPSS 4.5とHPSS 6.2のソース変更ガイド」を参照ください。

Ø       HPSS6.2からHPSS7.3へ移植する場合には、こちらの「HPSS6.2とHPSS7.3の変更点」を参照ください。

 より高速化を希望される場合にはこちらの「HPSS WrapperGuide」を参照ください。

 64bit 版に含まれる 32bit 版 ClientAPI の利用方法は、こちらの「32bit HPSS client API ご利用の手引き」を参照してください。
(32bit 版で提供されている ClientAPI のAPI仕様・文法は、64bit 版と同様ですが、64bitOS上で32bitプログラム実行させるための環境変数が異なります。)

 

HPSSツール

HPSSツールは、HPSS上のファイルを直接操作できるツールです。
これらは、内部でClientAPIを使用しています。
コマンドへのパス( /opt/hpss/kek/examples )は KEKCC システムで既に設定されていますので、次のように実行できます。
( "HPSS領域" とは /hpss 以下、"HPSS領域ファイル名" とは /hpss から始まるファイルへのパスを意味しています)

hpssls

HPSS領域のファイルの名前・日付・permissionなどを標準出力に表示します。Unixのlsコマンドに類似します。

#> hpssls ”HPSSディレクトリ名またはファイル名”↓

#> hpssls ”HPSSのFileSetMountPoint名の場合に後ろに/.をつける”↓

例:hpssls -la /hpss/ps/klea_g/.

(上記はMountPoint名なので、後ろに/.をつけます)

 

hpsscat

HPSS領域のファイルを標準出力に表示します(引数へは 1ファイルのみ指定可能です)。

#> hpsscat ”HPSSファイル名”↓

hpssput

UNIXファイル、または標準入力をHPSS領域のファイルとしてコピーします。標準入力から読み取る場合、第2引数に -(ハイフン)をご指定ください。

#> hpssput  -c “COS名” ”dst_HPSSファイル名” [”src_UNIXファイル名”]↓

 

hpsscp

HPSS領域のファイルを別のHPSSファイルへコピーします。

#> hpsscp  -cosid  “COS名”   ”src_HPSSファイル名   dst_HPSSファイル名”↓

 

hpsslevel

HPSSファイルがディスク上にあるのかテープ上にあるのかを表示します。(引数へは 1ファイルのみ指定可能)

#> hpsslevel ”HPSSファイル名”↓

 

hpssstage

ディスク上になくテープ上にあるHPSSファイルがを、ディスク上にstageさせます。例えば、明日使いたいファイルがある場合、今日のうちにstageしておくと、明日のHPSSファイルアクセスが高速になります。

#> hpssstage ”HPSSファイル名(複数指定可能)”↓

 

hpssツールの応用

以上ご紹介したHPSSツールを応用すると、以下のような便利な使い方ができます。

UNIX 領域のファイル等をアーカイブし、このファイルをHPSS領域に転送する。

#> tar -cvf - ”UNIXパス” | hpssput ”HPSS領域ファイル名”↓

HPSS領域のアーカイブを UNIX 領域に展開する。

#> hpsscat ”HPSS領域ファイル名” | tar -xvf -↓

HPSS 旧領域から新領域へデータをコピーする。

#> hpsscat ”旧 HPSS 領域ファイル名” | hpssput ”新 HPSS 領域ファイル名” -↓

 

HPSS-VFS (VFSインターフェース)

HPSS-VFS(VFSインターフェース)を利用して、HPSSにアクセスすることが可能です。
HPSS-VFSを使用できるサーバは hpss.cc.kek.jp になります(アカウント/パスワードは他ログインサーバと同じ)。
マウントポイントはこちらの「COS一覧表(簡易版)」をご覧ください。
サブグループ名直下のディレクトリは、サブグループリーダによって作成されます。
HPSSを利用する場合、ユーザは書き込み権限のあるディレクトリをサブグループリーダに作成してもらいます。
ls コマンド等でファイルの情報を確認する際、正確な情報が表示されるまで若干時間がかかる場合があります事をご留意ください。

 

留意事項

HPSSには、テープのリパックという機能があります。
ファイルを消去したり修正して虫食い状態になったテープを、ガーベージコレクションする機能です。
この機能があるため、必要ないファイルを消去してもかまいません。
Repackに必要な時間は、虫食い率50%の場合テープ一本あたり2時間以内と見積もられています。
本システムでは次のような方針でRepackを実施しています。

  • End Of Media のテープで虫食い率 70% 以上のテープに対して HPSS 管理者により実施。
  • ワークグループ管理者またはサブグループ管理者から依頼があった場合で、HPSS 管理者が Repack に妥当であると判断した場合実施。

ディスクキャッシュの利用率がHigh Water Mark(あらかじめ設定されたディスクキャッシュ利用率の上限の値) に達すると、古いファイルから順番にPurgeされます。
この時、ディスクキャッシュ上のファイルは既にテープに転送済みなので、ファイルは直ちにディスクキャッシュから消去されます。

HPSSでは、同じFileSet内のファイルの移動はデータ転送を必要としません。
従って、この場合ファイルの移動はほとんど時間がかかりません。

 

 

機構内クライアントからのHPSSの利用

利用条件

機構ネットワークに接続されたクライアントホストであれば、HPSS に直接アクセスすることが出来ます。
動作検証済みのクライアントプラットフォームはこちらの「HPSS Regresstion Test Platform」に記載のLinuxディストリビューションです。

各クライアントプラットフォームで利用可能なインターフェースは、以下のものです。

インターフェース

クライアントプラットフォーム

Linux

pftp

○※1

ClientAPI

○※1

HPSSツール

○※1

Kerberos ftp

○※2

Normal ftp

×※3

scp

○※2


※1 各自導入をお願いいたします。
※2 各OS固有のものをご利用ください。

3 2010年8月に提供を終了しました。

LinuxからのHPSSの利用

前提条件

使用するLinuxの前提条件を、以下に示します。

  • scpを利用の場合

o        KEK機構内DNSサーバを参照可能でcw103.cc.kek.jpと cw104.cc.kek.jpを名前解決可能なこと。

o        OS固有のscpが導入されていること

  • Kerberos-ftpの場合

o        KEK機構内DNSサーバを参照可能でaua01.cc.ke.jpとaua02.cc.kek.jp を名前解決可能なこと。

o        Kerberosサーバaua01.cc.kek.jp と通信可能であり、そのKerberosクライアントになれること。(設定手順後述)

o        OS固有のKerberos (/usr/Kerberos/bin/ftp を含む)が導入されていること

o        時刻サーバと時刻同期していること

  • pftpまたはHPSS client APIまたはHPSS toolの場合

o        KEK機構内DNSサーバを参照可能で aua01.cc.ke.jp〜aua02.cc.kek.jp, hco01.cc.kek.jp, hms01.cc.kek.jp〜hms05.cc.kek.jpを名前解決可能なこと。

o        Kerberosサーバaua01.cc.kek.jp と通信可能であり、そのKerberosクライアントになれること

o        時刻サーバと時刻同期していること

o        こちらの「HPSS Regresstion Test Platform」に記載された稼働検証済み OSであること。(これ以外のLinuxOSでは、ご自身の責任でご利用ください。)

o        自ホストの名前解決と逆引きが、KEK機構内DNSサーバの名前解決とその逆引きと同一であること

§                                 KEK機構内DNS登録されていないホストからは利用出来ません。

§                                 例えば、myhostというホストの /etc/hostsに 127.0.0.1  myhost  localhost.localdomain  localhost などの行がある場合、myhostの逆引きが127.0.0.1になってしまうので、 HPSSとの通信はできません。

o        HPSSパッケージがインストールされていること。(Kerberos-ftpまたはscpを使用する場合はこの限りではありません。)

o        そのマシンでhco01 (short-name)が名前解決可能であること。即ち、/etc/hostsに 下記の行があること

§                                 202.13.197.60 hco01.cc.kek.jp hco01

 

インストール (pftpまたはclient APIまたはHPSS toolの導入)

  • Linux用HPSSパッケージのインストールは、用意されたインストールパッケージを展開して行います。
  • /etc/krb5.confファイルが存在する場合、あらかじめバックアップを取得しておいてください。
    • 例: # cp –p /etc/krb5.conf /etc/krb5.conf.2010_0811
      • 上記の 2010_0811は日付の例

 

使用前準備

HPSSクライアントインターフェースを使用するには、以下の事前準備が必要です。

  • KerberosTGT取得
    以下コマンドで、KerberosのTGTを取得する。
    #> kinit ”共通計算機(KEKCC)システムのアカウント名”↓
  • 設定ファイル読み込み
    ksh,bash をご使用の方は、設定ファイル”/var/hpss/kek/hpss.sh” を読み込みます。
    csh,tcsh をご使用の方は、設定ファイル”/var/hpss/kek/hpss.csh” を読み込みます。

o        環境変数”HPSS_API_HOSTNAME”の設定
上記のファイル中の環境変数”HPSS_API_HOSTNAME”にはhostnameが設定されています。コマンドhostnameの返り値が HPSSとの通信経路に一致する場合はそのままでOKです。異なる場合には、その通信経路のグローバルIPアドレスを設定します。

[使用例]
ユーザtest_usrがbashを使用している場合。
#> kinit test_usr
Password for test_usr@cc.kek.jp:password
#> . /var/hpss/kek/hpss.sh

ftpの使用方法

2010年8月に提供を終了しました。

HPSS ClientAPI Wrapper

Linuxで HPSS ClientAPI Wrapper の利用方法は、こちら「HPSS WrapperGuide」を参照してください。

HPSSツール

前述のHPSS ツールの使用方法と同じです。そちらを参照してください。

 

 

 

階層型ファイルシステムご利用のヒント

HPSSの単語 – Migration, Purge, Stage

Migration

HPSS ファイルは、新規に書き込まれると、まずディスクに書き込まれます。しばらくたつと、自動的にテープに書き込まれます。テープに書き込むことを、 migrationと呼びます。

Purge

そして、しばらく使われていないと、ディスク上のファイルが自動的に消去されます。ディスクから消すことをpurge と呼びます。このようなファイルはテープ上にしか存在しません。これをpurgeされたファイルと呼びます。

Stage

このようなpurgeされたファイルにアクセスが来ると、テープからディスクに自動的にコピーが発生します。テープからディスクにコピーすることをstageと呼びます。

 

HPSSのStage には時間がかかります

purge されたファイルを読むと、自動的にテープがmountされて読み取られ、ディスク上にstageされます。しかしながら、それには平均2分程度かかります。Stageが開始されるとプログラムにデータが渡されます。

テープ装置は10台なので、すべて使われている場合にはテープのmountまで長時間待つこともありえます。

 

また、高速アクセスである pftp, client API, HPSS toolに比べると、比較的低速である HPSS VFSなどのアクセスでは転送速度が遅くなります。

さらに、read-onlyのFileSetは、書き込み可能なFileSetに比べ低速な傾向があります。

 

VFSの代わりにhpsscatを使うと高速です

hpsscatHPSS VFSアクセスより高速なので、ワークサーバでファイル転送を行う場合にhpsscatをご利用ください。

利用例:

tar –xvf hpssfile.tar

の代わりに下記を利用する。

hpsscat hpssfile.tar | tar –xvf -

 

HPSSファイル利用に先立ちあらかじめstageするとアクセスが高速になります

次に使う予定のファイルを、前もってhpssstageによりstageしておけば、直ちにHPSSファイルの読み込みができます。ただし staging 領域に限りがありますので適度にご利用ください。

特にread-only なFileSetの場合には事前のstageをお勧めします。

 

HPSSのFAQ

こちらのHPSSのFAQもあわせて参照ください。

 

更新履歴

日付

変更内容

2009/02/27

2009年新システム更改に伴い更新しました。

2009/04/22

COS指定方法を別ファイルに分離しました。

2009/10/21

HPSS テープ使用状況について」を新設し、hquota コマンドについて記載しました。

2010/08/20

HPSS 7.3へのupgradeに伴い、修正しました。

2010/08/25

kftpの第二引数を4020から6021へ変更しました。