<div dir="ltr">Dear Sir or Madam,<div><br></div><div>I have problem with submission of jobs on Cray XC30 in CFCA NAOJ.</div><div>I used script which is similar to edison cluster (also XC30).</div><div>Unfortunately, I have a problem   </div><div><br></div><div>if I submit the job</div><div><div>ET/Cactus&gt; simfactory/bin/sim run cir_1 --configuration whisky_15 --parfile=par/Collapsar.par --procs=48 --machine=cfca_intel</div><div><br></div><div>I got the diagnostic:</div><div><br></div><div><b>Simulation name: cir_1</b></div><div><b>Assigned restart id: 0 </b></div><div><b>Running simulation cir_1</b></div><div><b>ModuleCmd_Switch.c(172):ERROR:152: Module &#39;PrgEnv-cray&#39; is currently not loaded</b></div><div><b>Preparing:</b></div><div><b>+ set -e</b></div><div><b>+ cd /work/barkovmm/ET_simulations/cir_1/output-0000-active</b></div><div><b>+ module list</b></div><div><b>++ /opt/modules/<a href="http://3.2.6.7/bin/modulecmd">3.2.6.7/bin/modulecmd</a> bash list</b></div><div><b>Currently Loaded Modulefiles:</b></div><div><b>  1) modules/<a href="http://3.2.6.7">3.2.6.7</a>                      10) cray-libsci/13.0.1                   19) alps/5.2.1-2.0502.8712.10.32.ari</b></div><div><b>  2) eswrap/1.1.0-1.020200.1130.0         11) udreg/2.3.2-1.0502.8763.1.11.ari     20) rca/1.0.0-2.0502.51491.3.92.ari</b></div><div><b>  3) switch/1.0-1.0502.51632.2.84.ari     12) ugni/5.0-1.0502.9037.7.26.ari        21) atp/1.7.5</b></div><div><b>  4) craype-network-aries                 13) pmi/5.0.5-1.0000.10300.134.8.ari     22) PrgEnv-intel/5.2.25</b></div><div><b>  5) craype/2.2.0                         14) dmapp/7.0.1-1.0502.9080.9.32.ari     23) cray-hdf5/1.8.13</b></div><div><b>  6) pbs/12.2.3.141156                    15) gni-headers/3.0-1.0502.9038.7.4.ari  24) cray-petsc/<a href="http://3.5.1.0">3.5.1.0</a></b></div><div><b>  7) craype-haswell                       16) xpmem/0.1-2.0502.51169.1.11.ari      25) fftw/<a href="http://3.3.4.0">3.3.4.0</a></b></div><div><b>  8) cray-mpich/7.0.3                     17) job/1.5.5-0.1_2.0502.52111.3.39.ari  26) gsl/115</b></div><div><b>  9) intel/<a href="http://15.0.0.090">15.0.0.090</a>                     18) csa/3.0.0-1_2.0502.51200.1.108.ari   27) papi/5.3.2</b></div><div><b>+ eval</b></div><div><b>+ echo Checking:</b></div><div><b>Checking:</b></div><div><b>+ pwd</b></div><div><b>/work/barkovmm/ET_simulations/cir_1/output-0000-active</b></div><div><b>+ hostname</b></div><div><b>xc01</b></div><div><b>+ date</b></div><div><b>2015年  4月 20日 月曜日 16:01:23 JST</b></div><div><b>+ echo Environment:</b></div><div><b>Environment:</b></div><div><b>+ export CACTUS_NUM_PROCS=4</b></div><div><b>+ CACTUS_NUM_PROCS=4</b></div><div><b>+ export CACTUS_NUM_THREADS=12</b></div><div><b>+ CACTUS_NUM_THREADS=12</b></div><div><b>+ export GMON_OUT_PREFIX=gmon.out</b></div><div><b>+ GMON_OUT_PREFIX=gmon.out</b></div><div><b>+ export OMP_NUM_THREADS=12</b></div><div><b>+ OMP_NUM_THREADS=12</b></div><div><b>+ env</b></div><div><b>+ sort</b></div><div><b>+ export &#39;NODE_PROCS=-N 2&#39;</b></div><div><b>+ NODE_PROCS=&#39;-N 2&#39;</b></div><div><b>+ export &#39;SOCKET_PROCS=-S 1&#39;</b></div><div><b>+ SOCKET_PROCS=&#39;-S 1&#39;</b></div><div><b>+ export CORE_PROCS=</b></div><div><b>+ CORE_PROCS=</b></div><div><b>+ echo Starting:</b></div><div><b>Starting:</b></div><div><b>++ date +%s</b></div><div><b>+ export CACTUS_STARTTIME=1429513283</b></div><div><b>+ CACTUS_STARTTIME=1429513283</b></div><div><b>+ aprun -cc numa_node -n 4 -d 12 -N 2 -S 1 /work/barkovmm/ET_simulations/cir_1/SIMFACTORY/exe/cactus_whisky_15 -L 3 /work/barkovmm/ET_simulations/cir_1/output-0000/Collapsar.par</b></div><div><b>/work/barkovmm/ET_simulations/cir_1/output-0000/SIMFACTORY/RunScript: line 39: aprun: command not found</b></div><div><b>2015年  4月 20日 月曜日 16:01:23 JST</b></div><div><b>Simfactory Done at date: 0</b></div></div><div><br></div><div>As I understand, Runscript is launched not through qsub system.</div><div>grep command can&#39;t find qsub word in the current configuration</div><div>grep -irn qsub ./config/whisky_15/.</div><div><br></div><div>In the machine configuration file I have:</div><div><div><i>submit          = qsub @SCRIPTFILE@</i></div><div><i>getstatus       = qstat @JOB_ID@</i></div><div><i>stop            = qdel @JOB_ID@</i></div><div><i>submitpattern   = (\d+)[.]</i></div><div><i>statuspattern   = ^@JOB_ID@[. ]</i></div><div><i>queuedpattern   = &quot; Q &quot;</i></div><div><i>runningpattern  = &quot; R &quot;</i></div><div><i>holdingpattern  = &quot; H &quot;</i></div><div><i>scratchbasedir   = /work/@USER@</i></div><div><i>exechost        = qstat -f @JOB_ID@</i></div></div><div><i><br></i></div><div>Which additional information I can supply?</div><div>Thank you in advance,</div><div>Maxim Barkov.</div><div><br></div><div><br></div></div>