バッチキュー一覧

バッチキュー一覧

各ワークグループのバッチキュー

構成 説明 s l h p1 z
DESCRIPTION キューの説明 実行時間6時間以下のジョブ 実行時間48時間以下のジョブ 重いジョブ MPI/OpenMPジョブ 理論計算 登録制
PRIORITY キューの優先順位度 120 100 100 100 100
NICE UNIXスケジューリング順位 5 5 5 5 5
QJOB_LIMIT キューに対するジョブスロット制限 4000 - 1500 1500 -
HJOB_LIMIT ホストあたりのジョブ実行数 - - - - -
UJOB_LIMIT ユーザあたりの使用可能スロット数 1000 1500 300 300 100
TASKLIMIT タスクあたりの使用可能スロット数 1 1 1 24 -
RES_REQ 有効なホストを決定するためのリソース要件 affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core]
CPULIMIT CPU時間制限 3:00 24:00 168:00 576:00 -
RUNLIMIT 実行時間制限 6:00 48:00 240:00 48:00 -
MEMLIMIT プロセスあたりの物理メモリ制限(MB) 4096 4096 4096 40965 4096
SWAPLIMIT プロセスあたりのSWAP領域制限(MB) - - - - -
PROCESSLIMIT ジョブあたりのプロセス数制限7 20 20 20 - 20
FAIRSHARE キューレベルのフェアシェア USER_SHARES
[default, 1]		 - - - -
FAIRSHARE_QUEUES クロスキューフェアシェアにおけるスレーブキュー fairshare_grp13 fairshare_grp13 fairshare_grp13 fairshare_grp13 fairshare_grp13
RERUNNABLE ジョブの自動再実行 YES YES YES YES YES
PRE_EXEC ジョブ投入前実行シェル - - - - -
USERS ジョブ投入可能ユーザ all all all all permitted users
HOSTS ジョブ投入ホスト calccomputeT1,T2 calccomputeT1,T2 calccomputeT1 calccomputeT1_nonGRA calccomputeT1
REQUEUE_EXIT_VALUES ジョブのキューへの自動再登録 101 101 101 101 101
SLOT_RESERVE キューのプロセッサ予約を有効にし、予約時間を指定 - - - MAX_RESERVE_TIME[4320] -
BACKFILL バックフィルスケジューリング有効 - - - y -
CORELIMIT プロセスあたりのコアファイルサイズ制限(KB) - - - - -
STACKLIMIT プロセスあたりのスタックセグメントサイズ制限(KB) - - - - -
JOB_STARTER ジョブを実行する前の環境作成 2 2 2 export PSM_SHAREDCONTEXTS_MAX=4 2
構成 説明 sx lx hx px1 zx
DESCRIPTION キューの説明 実行時間6時間以下のジョブ(大メモリ) 実行時間48時間以下のジョブ(大メモリ) 重いジョブ(大メモリ) MPI/OpenMPジョブ(大メモリ) 理論計算 登録制(大メモリ)
PRIORITY キューの優先順位度 100 100 100 100 100
NICE UNIXスケジューリング順位 5 5 5 5 5
QJOB_LIMIT キューに対するジョブスロット制限 - - 300 - -
HJOB_LIMIT ホストあたりのジョブ実行数 - - - - -
UJOB_LIMIT ユーザあたりの使用可能スロット数 200 200 60 100 20
TASKLIMIT タスクあたりの使用可能スロット数 6 6 6 24 6
RES_REQ 有効なホストを決定するためのリソース要件 affinity[core(1):cpubind=core] span[hosts=1] affinity[core(1):cpubind=core] span[hosts=1] affinity[core(1):cpubind=core] span[hosts=1] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] span[hosts=1]
CPULIMIT CPU時間制限 3:00 24:00 168:00 576:00 -
RUNLIMIT 実行時間制限 6:00 48:00 240:00 48:00 -
MEMLIMIT プロセスあたりの物理メモリ制限(MB) 8192 8192 8192 8192 8192
SWAPLIMIT プロセスあたりのSWAP領域制限(MB) - - - - -
PROCESSLIMIT ジョブあたりのプロセス数制限7 20 20 20 - 20
FAIRSHARE キューレベルのフェアシェア - - - - -
FAIRSHARE_QUEUES クロスキューフェアシェアにおけるスレーブキュー fairshare_grp13 fairshare_grp13 fairshare_grp13 fairshare_grp13 fairshare_grp13
RERUNNABLE ジョブの自動再実行 YES YES YES YES YES
PRE_EXEC ジョブ投入前実行シェル - - - - -
USERS ジョブ投入可能ユーザ all all all all permitted users
HOSTS ジョブ投入ホスト calccomputeT2 calccomputeT2 calccomputeT2 calccomputeT2 calccomputeT2
REQUEUE_EXIT_VALUES ジョブのキューへの自動再登録 101 101 101 101 101
SLOT_RESERVE キューのプロセッサ予約を有効にし、予約時間を指定 - - - MAX_RESERVE_TIME[4320] -
BACKFILL バックフィルスケジューリング有効 - - - y -
CORELIMIT プロセスあたりのコアファイルサイズ制限(KB) - - - - -
STACKLIMIT プロセスあたりのスタックセグメントサイズ制限(KB) - - - - -
JOB_STARTER ジョブを実行する前の環境作成 2 2 2 export PSM_SHAREDCONTEXTS_MAX=4 2
構成 説明 P1 Pmpi b_b1 b_index b_nagoya
DESCRIPTION キューの説明 並列サーバにジョブ投入可能 並列サーバにMPIジョブ投入可能 Belleユーザ解析ジョブ(72時間) Belleユーザ解析ジョブ(index ファイル用) Belleユーザ解析ジョブ(名古屋大接続用)
PRIORITY キューの優先順位度 100 100 100 110 110
NICE UNIXスケジューリング順位 5 5 5 5 5
QJOB_LIMIT キューに対するジョブスロット制限 - - - 600 600
HJOB_LIMIT ホストあたりのジョブ実行数 - - - - -
UJOB_LIMIT ユーザあたりの使用可能スロット数 - - 1000 100 100
TASKLIMIT タスクあたりの使用可能スロット数 40 40 407 240 1 1 44 1 1
RES_REQ 有効なホストを決定するためのリソース要件 span[hosts=1] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] span[hosts=1] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core]
CPULIMIT CPU時間制限 - - 96:00 48:00 48:00
RUNLIMIT 実行時間制限 - - 48:00 48:00 48:00
MEMLIMIT プロセスあたりの物理メモリ制限(MB) - - 4096 4096 4096
SWAPLIMIT プロセスあたりのSWAP領域制限(MB) - - - - -
PROCESSLIMIT ジョブあたりのプロセス数制限7 - - 30 30 30
FAIRSHARE キューレベルのフェアシェア - - - USER_SHARES
[default, 1]		 -
FAIRSHARE_QUEUES クロスキューフェアシェアにおけるスレーブキュー fairshare_grp13 fairshare_grp13 fairshare_grp13 b_nagoya -
RERUNNABLE ジョブの自動再実行 NO NO YES YES YES
PRE_EXEC ジョブ投入前実行シェル - - - - -
USERS ジョブ投入可能ユーザ parallelcompute users only parallelcompute users only belleall belleall belleall
HOSTS ジョブ投入ホスト parallelcompute parallelcompute calccomputeT1,T2 calccomputeT1 calccomputeT1
REQUEUE_EXIT_VALUES ジョブのキューへの自動再登録 101 101 - - -
SLOT_RESERVE キューのプロセッサ予約を有効にし、予約時間を指定 - - MAX_RESERVE_TIME[4320] - -
BACKFILL バックフィルスケジューリング有効 - - y - -
CORELIMIT プロセスあたりのコアファイルサイズ制限(KB) 0 0 - - -
STACKLIMIT プロセスあたりのスタックセグメントサイズ制限(KB) - - 4096 4096 4096
JOB_STARTER ジョブを実行する前の環境作成 - - 2 2 2
構成 説明 koto_prod th1 cmb_p cmb_px a p4001
DESCRIPTION キューの説明 had_kotoユーザ解析ジョブ theoryユーザ解析ジョブ CMB用 CMB用(大メモリ) 最低リソース保証(GRA) MPI/OpenMP(400並列)
PRIORITY キューの優先順位度 100 100 100 100 100 100
NICE UNIXスケジューリング順位 5 5 5 5 5 5
QJOB_LIMIT キューに対するジョブスロット制限 300 - - - - -
HJOB_LIMIT ホストあたりのジョブ実行数 - - - 10 - -
UJOB_LIMIT ユーザあたりの使用可能スロット数 - 300 300 100 4 800
TASKLIMIT タスクあたりの使用可能スロット数 1 1 1 244 48 24 1 400
RES_REQ 有効なホストを決定するためのリソース要件 - span[hosts=1] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core]
CPULIMIT CPU時間制限 1:00 1152:00 2304:00 1152:00 24:00 19224:00
RUNLIMIT 実行時間制限 2:00 480:00 48:00 48:00 48:00 48:00
MEMLIMIT プロセスあたりの物理メモリ制限(MB) 4096 4096 4096 24567 4096 4096
SWAPLIMIT プロセスあたりのSWAP領域制限(MB) - - - - - -
PROCESSLIMIT ジョブあたりのプロセス数制限7 20 20 - - 20 -
FAIRSHARE キューレベルのフェアシェア - - - - - -
FAIRSHARE_QUEUES クロスキューフェアシェアにおけるスレーブキュー - fairshare_grp13 fairshare_grp13 fairshare_grp13 - -
RERUNNABLE ジョブの自動再実行 YES YES YES YES YES YES
PRE_EXEC ジョブ投入前実行シェル - - - - - -
USERS ジョブ投入可能ユーザ had_koto permittedusers cmb cmb all permitted users
HOSTS ジョブ投入ホスト calccomputeT1,T2 calccomputeT1 calccomputeT1 calccomputeT2 calccomputeT1_GRA calccomputeT1_nonGRA
REQUEUE_EXIT_VALUES ジョブのキューへの自動再登録 101 - - - 101 101
SLOT_RESERVE キューのプロセッサ予約を有効にし、予約時間を指定 - MAX_RESERVE_TIME[4320] - - - MAX_RESERVE_TIME[4320]
BACKFILL バックフィルスケジューリング有効 - y - - - y
CORELIMIT プロセスあたりのコアファイルサイズ制限(KB) - - - - - -
STACKLIMIT プロセスあたりのスタックセグメントサイズ制限(KB) - - - - - -
JOB_STARTER ジョブを実行する前の環境作成 2 2 - - - -
構成 説明 b2_a b2_beast b2_fei b2_prod b_prod dc_generic ph t2k
DESCRIPTION キューの説明 belle2ユーザ用 長時間ジョブ用 長時間ジョブ用 belle2 extra productionキュー belleユーザ用（テストキュー） OpenStackジョブ用 長時間並列ジョブ用 (computeT1) t2kユーザ用
PRIORITY キューの優先順位度 100 130 110 110 110 100 100 100
NICE UNIXスケジューリング順位 5 5 5 5 5 - 5 5
QJOB_LIMIT キューに対するジョブスロット制限 - 200 100 400 1000 - - 500
HJOB_LIMIT ホストあたりのジョブ実行数 - - - - - - - -
UJOB_LIMIT ユーザあたりの使用可能スロット数 - - - - - - 100 -
TASKLIMIT タスクあたりの使用可能スロット数 1 4 44 1 - 1 1 - 48 1
RES_REQ 有効なホストを決定するためのリソース要件 span[hosts=1] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] affinity[core(1):cpubind=core] span[hosts=1] affinity[core(1):cpubind=core]a - affinity[core(1):cpubind=core] affinity[core(1):cpubind=core]
CPULIMIT CPU時間制限 96:00 3:00 48:00 24:00 168:00 - 2304:00 3:00
RUNLIMIT 実行時間制限 48:00 6:00 96:00 48:00 168:00 - 480:00 6:00
MEMLIMIT プロセスあたりの物理メモリ制限(MB) 4096 4096 4096 4096 4096 - 4096 4096
SWAPLIMIT プロセスあたりのSWAP領域制限(MB) - - - - - - - -
PROCESSLIMIT ジョブあたりのプロセス数制限7 30 20 20 100 30 - - 20
FAIRSHARE キューレベルのフェアシェア - - - - - - - -
FAIRSHARE_QUEUES クロスキューフェアシェアにおけるスレーブキュー - - - - - - - -
RERUNNABLE ジョブの自動再実行 YES YES YES YES NO - YES YES
PRE_EXEC ジョブ投入前実行シェル - - - - - - - -
USERS ジョブ投入可能ユーザ permittedusers permittedusers permittedusers permittedusers permittedusers - permitted users t2k
HOSTS ジョブ投入ホスト calccomputeT1,T2 calccomputeT1,T2 calccomputeT1,T2 calccomputeT1,T2 calccomputeT1,T2 - calccomputeT1_nonGRA calccomputeT1,T2
REQUEUE_EXIT_VALUES ジョブのキューへの自動再登録 101 101 - - - - - 101
SLOT_RESERVE キューのプロセッサ予約を有効にし、予約時間を指定 - - - - MAX_RESERVE_TIME[4320] - MAX_RESERVE_TIME[4320] -
BACKFILL バックフィルスケジューリング有効 y - - - y - y -
CORELIMIT プロセスあたりのコアファイルサイズ制限(KB) - - - - - - - -
STACKLIMIT プロセスあたりのスタックセグメントサイズ制限(KB) 4096 - - - 4096 - - -
JOB_STARTER ジョブを実行する前の環境作成 2 2 2 2 2 - export PSM_SHAREDCONTEXTS_MAX=4 2

ジョブ実行ホストグループ

ホストグループ ノード
calccomputeT1 ccb001 - ccb292
calccomputeIO ccb293 - ccb294
calccomputeT2 ccb501 - ccb572
calccomputeT1_GRA calccomputeT1の前半と後半から16づつ、計32ノード
calccomputeT1_nonGRA calccomputeT1_GRA以外のT1
parallelcompute ccp01 - ccp06

クロスキューフェアシェアグループ

本システムでは、複数のキューに同時に適用されるフェアシェアポリシーを定義しています(クロスキューフェアシェア)。ユーザが複数のキューにジョブを投入した場合、ユーザの優先順位は、そのユーザが下表のグループで定義されているキューに投入したすべてのジョブを考慮に入れて計算されます。

グループ キュー
fairshare_grp1 sx, l, h, p, z, lx, hx, px, zx, P1, Pmpi, b_b, b2_a, cmb_p, cmb_px, t2k, koto_prod, th, gridshort, gridbelle_short, gridilc_short, gridg4med_short, gridmiddle, gridlong, gridbelle_middle, gridbelle_long, gridbelle_heavy, gridbelle_mergejob, gridilc_middle, gridilc_long, gridilc_heavy, gridg4med_middle, gridg4med_long, gridg4med_heavy, gridops, p400, ph

利用上の注意

上記のキューの他に、以下のようなキューもあります。これらは、Gridシステムからの実行のみを想定したキューですので、一般ユーザでのジョブ投入はできません。

  • gridshort
  • gridmiddle
  • gridlong
  • gridbelle_short
  • gridbelle_middle
  • gridbelle_long
  • gridbelle_heavy
  • gridilc_short
  • gridilc_middle
  • gridilc_long
  • gridilc_heavy
  • gridg4med_short
  • gridg4med_middle
  • gridg4med_long
  • gridg4med_heavy
  • gridops

  1. キュー p, px, p400, ph、及びキュー b_b, th のジョブは、待ち状態になった場合、ジョブ投入時点で空いているジョブスロットを自身の実行のために予約します。予約されたジョブスロットは、予約されている間、ジョブは実行されません。予約は並列ジョブが要求するジョブスロット数に達するか、最初の予約から24時間経過するまで維持されます。 ↩↩↩↩↩

  2. ジョブ実行前に以下の環境変数設定スクリプトを実行します。LSB_DJOB_NUMPROC は bsub オプション -n で指定した値が入ります。( -n 無指定の場合は PROCLIMIT デフォルト値が入ります)
    if [ -z "${OMP_NUM_THREADS}" ]; then if [ -z "${LSB_DJOB_NUMPROC}" ]; then export OMP_NUM_THREADS=1 else export OMP_NUM_THREADS=${LSB_DJOB_NUMPROC} fi fi if [[ -z "${LSB_DJOB_NUMPROC}" ]] || [[ ${LSB_DJOB_NUMPROC} -eq 1 ]]; then export BASF_NPROCESS=0 else export BASF_NPROCESS=${LSB_DJOB_NUMPROC} fi ↩↩↩↩↩↩↩↩↩↩↩↩↩↩↩↩↩↩↩

  3. クロスキューのグループ分けについては、クロスキューフェアシェアグループをご参照ください。 ↩↩↩↩↩↩↩↩↩↩↩↩↩↩↩↩

  4. キュー b_b, th では使用する CPU 数が変更可能です。PROCLIMIT 欄の3つの値は、左から [最小値] [デフォルト値] [最大値] を意味しています。bsub オプション -n で [最小値] から [最大値] の間で CPU 数を指定することができます。指定しない場合、[デフォルト値] が使用されます。 ↩↩↩

  5. キュー p の MEMLIMIT は最大並列数 24 プロセス実行時96GBです。 ↩

  6. キュー b_index の HJOB_LIMIT は以下のとおりです。
    cb001 - cb267 ... HJOB_LIMIT = 3 cb501 - cb568 ... HJOB_LIMIT = 5 ↩

  7. LSF の制限とは別に、OS の設定で各ユーザ単位で 1500 プロセスまでの制限がかかっています。 ↩↩↩↩↩↩

  8. キュー P1 では 1ジョブ 1ノード占有のため、ジョブあたりの使用 SLOTS 数が 24 固定となっています。 ↩