バッチキュー一覧

各ワークグループのバッチキュー

構成説明slhp (*1)z
DESCRIPTIONキューの説明実行時間6時間以下のジョブ実行時間48時間以下のジョブ重いジョブMPI/OpenMPジョブ理論計算 登録制
PRIORITYキューの優先順位度120100100100100
NICEUNIXスケジューリング順位55555
QJOB_LIMITキューに対するジョブスロット制限-----
HJOB_LIMITホストあたりのジョブ実行数10285283
UJOB_LIMITユーザあたりの使用可能スロット数10001000400--
PROCLIMITジョブあたりの使用スロット制限11124-
RES_REQ有効なホストを決定するためのリソース要件-----
CPULIMITCPU時間制限3:0024:00168:001152:00-
RUNLIMIT実行時間制限6:0048:00240:0072:00-
MEMLIMITプロセスあたりの物理メモリ制限(MB)4096409640964096 (*5)4096
SWAPLIMITプロセスあたりのSWAP領域制限(MB)-----
PROCESSLIMITジョブあたりのプロセス数制限 (*7)202020-20
FAIRSHAREキューレベルのフェアシェアUSER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
FAIRSHARE_QUEUESクロスキューフェアシェアにおけるスレーブキューfairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)
RERUNNABLEジョブの自動再実行YESYESYESYESYES
PRE_EXECジョブ投入前実行シェル-----
USERSジョブ投入可能ユーザallallallpermitted usersall
HOSTSジョブ投入ホストcalccomputeT1,T2calccomputeT1,T2calccomputeT1calccomputeT1calccomputeT1
REQUEUE_EXIT_VALUESジョブのキューへの自動再登録101101101101101
SLOT_RESERVEキューのプロセッサ予約を有効にし、予約時間を指定---MAX_RESERVE_TIME
[4320]
-
BACKFILLバックフィルスケジューリング有効---y-
CORELIMITプロセスあたりのコアファイルサイズ制限(KB)-----
STACKLIMITプロセスあたりのスタックセグメントサイズ制限(KB)-----
JOB_STARTERジョブを実行する前の環境作成(*2)(*2)(*2)export PSM_SHAREDCONTEXTS_MAX=4(*2)


構成説明sxlxhxpx (*1)zx
DESCRIPTIONキューの説明実行時間6時間以下のジョブ(大メモリ)実行時間48時間以下のジョブ(大メモリ)重いジョブ(大メモリ)MPI/OpenMPジョブ(大メモリ)理論計算 登録制(大メモリ)
PRIORITYキューの優先順位度100100100100100
NICEUNIXスケジューリング順位55555
QJOB_LIMITキューに対するジョブスロット制限-----
HJOB_LIMITホストあたりのジョブ実行数*x キューは、大メモリジョブを投入する必要がある方のみ、ご利用ください

*x キューは大メモリ利用を実現するため、ジョブ実行数に以下の制限があります
- *x キューをまたがって 1ホストあたり 6ジョブまで
- システム全体で 408ジョブまで
実行まで長時間かかる場合があります事をご了承ください
UJOB_LIMITユーザあたりの使用可能スロット数-1000400--
PROCLIMITジョブあたりの使用スロット制限11124-
RES_REQ有効なホストを決定するためのリソース要件-----
CPULIMITCPU時間制限3:0024:00168:001152:00-
RUNLIMIT実行時間制限6:0048:00240:0072:00-
MEMLIMITプロセスあたりの物理メモリ制限(MB)2560025600256002560025600
SWAPLIMITプロセスあたりのSWAP領域制限(MB)-----
PROCESSLIMITジョブあたりのプロセス数制限 (*7)202020-20
FAIRSHAREキューレベルのフェアシェアUSER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
FAIRSHARE_QUEUESクロスキューフェアシェアにおけるスレーブキューfairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)
RERUNNABLEジョブの自動再実行YESYESYESYESYES
PRE_EXECジョブ投入前実行シェル-----
USERSジョブ投入可能ユーザallallallpermitted usersall
HOSTSジョブ投入ホストcalccomputeT2calccomputeT2calccomputeT2calccomputeT2calccomputeT2
REQUEUE_EXIT_VALUESジョブのキューへの自動再登録101101101101101
SLOT_RESERVEキューのプロセッサ予約を有効にし、予約時間を指定---MAX_RESERVE_TIME
[4320]
-
BACKFILLバックフィルスケジューリング有効---y-
CORELIMITプロセスあたりのコアファイルサイズ制限(KB)-----
STACKLIMITプロセスあたりのスタックセグメントサイズ制限(KB)-----
JOB_STARTERジョブを実行する前の環境作成(*2)(*2)(*2)export PSM_SHAREDCONTEXTS_MAX=4(*2)


構成説明P1Pmpib_b (*1)b_indexb_nagoya
DESCRIPTIONキューの説明並列サーバにジョブ投入可能並列サーバにMPIジョブ投入可能Belleユーザ解析ジョブ(72時間)Belleユーザ解析ジョブ( index ファイル用)Belleユーザ解析ジョブ(名古屋大接続用)
PRIORITYキューの優先順位度100100100110110
NICEUNIXスケジューリング順位5551515
QJOB_LIMITキューに対するジョブスロット制限---320-
HJOB_LIMITホストあたりのジョブ実行数2424143-5 (*6)3
UJOB_LIMITユーザあたりの使用可能スロット数---10020
PROCLIMITジョブあたりの使用スロット制限24 24 24 (*8)1441 1 4 (*4)11
RES_REQ有効なホストを決定するためのリソース要件span[hosts=1]-span[hosts=1]--
CPULIMITCPU時間制限--72:00144:00144:00
RUNLIMIT実行時間制限--72:0048:0048:00
MEMLIMITプロセスあたりの物理メモリ制限(MB)--409640964096
SWAPLIMITプロセスあたりのSWAP領域制限(MB)-----
PROCESSLIMITジョブあたりのプロセス数制限 (*7)--303030
FAIRSHAREキューレベルのフェアシェアUSER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
FAIRSHARE_QUEUESクロスキューフェアシェアにおけるスレーブキューfairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)b_index b_nagoya
RERUNNABLEジョブの自動再実行NONOYESYESYES
PRE_EXECジョブ投入前実行シェル-----
USERSジョブ投入可能ユーザallallbelleallbelleallbelleall
HOSTSジョブ投入ホストparallelcomputeparallelcomputecalccomputeT1,T2calccomputeT1,T2calccomputeT1,T2
REQUEUE_EXIT_VALUESジョブのキューへの自動再登録101101---
SLOT_RESERVEキューのプロセッサ予約を有効にし、予約時間を指定--MAX_RESERVE_TIME
[4320]
--
BACKFILLバックフィルスケジューリング有効--y--
CORELIMITプロセスあたりのコアファイルサイズ制限(KB)00---
STACKLIMITプロセスあたりのスタックセグメントサイズ制限(KB)--409640964096
JOB_STARTERジョブを実行する前の環境作成--(*2)(*2)(*2)


構成説明koto_prodth (*1)cmb_pcmb_pxa
DESCRIPTIONキューの説明had_kotoユーザ解析ジョブtheoryユーザ解析ジョブCMB用CMB用(大メモリ)最低 リソース保証 (GRA)
PRIORITYキューの優先順位度100100100100100
NICEUNIXスケジューリング順位55555
QJOB_LIMITキューに対するジョブスロット制限100----
HJOB_LIMITホストあたりのジョブ実行数1428282828
UJOB_LIMITユーザあたりの使用可能スロット数-501441442
PROCLIMITジョブあたりの使用スロット制限11 1 12 (*4)48241
RES_REQ有効なホストを決定するためのリソース要件-span[hosts=1]---
CPULIMITCPU時間制限1:00480:001152:001152:0024:00
RUNLIMIT実行時間制限2:00480:0072:0072:0048:00
MEMLIMITプロセスあたりの物理メモリ制限(MB)409640964096256004096
SWAPLIMITプロセスあたりのSWAP領域制限(MB)-----
PROCESSLIMITジョブあたりのプロセス数制限 (*7)2020--20
FAIRSHAREキューレベルのフェアシェアUSER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
USER_SHARES
[default, 1]
-
FAIRSHARE_QUEUESクロスキューフェアシェアにおけるスレーブキューfairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)fairshare_grp1 (*3)-
RERUNNABLEジョブの自動再実行YESYESYESYESYES
PRE_EXECジョブ投入前実行シェル-----
USERSジョブ投入可能ユーザhad_kotopermitted usersallallall
HOSTSジョブ投入ホストcalccomputeT1,T2calccomputeT1calccomputeT1calccomputeT2calccomputeT1,T2
REQUEUE_EXIT_VALUESジョブのキューへの自動再登録101---101
SLOT_RESERVEキューのプロセッサ予約を有効にし、予約時間を指定-MAX_RESERVE_TIME
[4320]
---
BACKFILLバックフィルスケジューリング有効-y---
CORELIMITプロセスあたりのコアファイルサイズ制限(KB)-----
STACKLIMITプロセスあたりのスタックセグメントサイズ制限(KB)-----
JOB_STARTERジョブを実行する前の環境作成(*2)(*2)---

(*1) キュー p, px、及びキュー b_b, th のジョブは、待ち状態になった場合、ジョブ投入時点で空いているジョブスロットを自身の実行のために予約します 予約されたジョブスロットは、予約されている間、ジョブは実行されません 予約は並列ジョブが要求するジョブスロット数に達するか、最初の予約から24時間経過するまで維持されます

(*2) ジョブ実行前に以下の環境変数設定スクリプトを実行します LSB_DJOB_NUMPROC は bsub オプション -n で指定した値が入ります ( -n 無指定の場合は PROCLIMIT デフォルト値が入ります)

if [ -z "${OMP_NUM_THREADS}" ]; then
	if [ -z "${LSB_DJOB_NUMPROC}" ]; then
		export OMP_NUM_THREADS=1
	else
		export OMP_NUM_THREADS=${LSB_DJOB_NUMPROC}
	fi
fi
if [[ -z "${LSB_DJOB_NUMPROC}" ]] || [[ ${LSB_DJOB_NUMPROC} -eq 1 ]]; then
	export BASF_NPROCESS=0
else
	export BASF_NPROCESS=${LSB_DJOB_NUMPROC}
fi

(*3) クロスキューのグループ分けについては、クロスキューフェアシェアグループ を参照してください

(*4) キュー b_b, th では使用する CPU 数が変更可能です PROCLIMIT 欄の 3つの値は、左から [最小値] [デフォルト値] [最大値] を意味しています bsub オプション -n で [最小値] から [最大値] の間で CPU 数を指定することができます 指定しない場合、[デフォルト値] が使用されます。

(*5) キュー p の MEMLIMIT は最大並列数 24 プロセス実行時96GBです

(*6) キュー b_index の HJOB_LIMIT は以下のとおりです

cb001 - cb270 ... HJOB_LIMIT = 3
cb501 - cb568 ... HJOB_LIMIT = 5

(*7) LSF の制限とは別に、OS の設定で各ユーザ単位で 1500 プロセスまでの制限がかかっています

(*8) キュー P1 では 1ジョブ 1ノード占有のため、ジョブあたりの使用 SLOTS 数が 24 固定となっています

ジョブ実行ホストグループ

ホストグループノード 
calccomputeT1cb001 - cb270
calccomputeT2cb501 - cb568
parallelcomputecp01 - cp06

クロスキューフェアシェアグループ

本システムでは、複数のキューに同時に適用されるフェアシェアポリシーを定義しています(クロスキューフェアシェア)。 ユーザが複数のキューにジョブを投入した場合、ユーザの優先順位は、そのユーザが下表のグループで定義されているキューに投入したすべてのジョブを考慮に入れて計算されます。

グループキュー
fairshare_grp1s, sx, l, h, p, z, lx, hx, px, zx, P1, Pmpi, b_b, cmb_p, cmb_px, th, koto_prod, gridshort, gridbelle_short, gridilc_short, gridg4med_short, gridmiddle, gridlong, gridbelle_middle, gridbelle_long gridbelle_heavy, gridilc_middle gridilc_long, gridilc_heavy, gridg4med_middle, gridg4med_long, gridg4med_heavy, gridops

利用上の注意

上記のキューの他に、以下のようなキューもあります。これらは、Gridシステムからの実行のみを想定したキューですので、一般ユーザでのジョブ投入はできません

  • gridshort
  • gridmiddle
  • gridlong
  • gridbelle_short
  • gridbelle_middle
  • gridbelle_long
  • gridbelle_heavy
  • gridilc_short
  • gridilc_middle
  • gridilc_long
  • gridilc_heavy
  • gridg4med_short
  • gridg4med_middle
  • gridg4med_long
  • gridg4med_heavy
  • gridops

Last-modified: 2019-06-10 (月) 09:17:53 (8m)