<div dir="ltr">Hello,<div><br></div><div>Some network configurations were recently changed on SDSC&#39;s </div><div>Expanse and I wanted to update the Simfactory entry to add an env </div><div>variable (as recommended by XSEDE&#39;s help desk).</div><div><br></div><div>I did so and ran the tests and found numerous failures. According to an</div><div>expanse_2_64.log file I have on my computer, these tests did not fail in </div><div>the past. The tests fail only for 2 MPI processes. </div><div><br></div><div>An example of a test that fails is rnsA2, and this is the the tail of the log</div><div>file:</div><div><br></div><div><font face="monospace">INFO (Carpet): MPI is enabled<br>INFO (Carpet): Carpet is running on 2 processes<br>WARNING level 0 from host <a href="http://exp-4-26.expanse.sdsc.edu">exp-4-26.expanse.sdsc.edu</a> process 0<br>  in thorn Carpet, file /home/sbozzolo/Cactus/arrangements/Carpet/Carpet/src/SetupGH.cc:148:<br>  -&gt; The environment variable CACTUS_NUM_PROCS is set to 1, but there are 2 MPI processes. This may indicate a severe problem with the MPI startup mechanism.<br>Rank 0 with PID 1194507 received signal 6<br>cactus_sim: /home/sbozzolo/Cactus/arrangements/Carpet/Carpet/src/helpers.cc:275: int Carpet::Abort(const cGH*, int): Assertion `0&#39; failed.<br>Writing backtrace to rnsA2/backtrace.0.txt<br>Rank 1 with PID 1194508 received signal 6<br>Writing backtrace to rnsA2/backtrace.1.txt<br>srun: error: exp-4-26: tasks 0-1: Aborted (core dumped)<br>IBRUN:  launch command: srun -n 2 --ntasks-per-node 2 /expanse/lustre/projects/uic383/sbozzolo/ettests_2proc/SIMFACTORY/exe/cactus_sim -L 3 /expanse/lustre/projects/uic383/sbozzolo/ettests_2proc/output-0000/arrangements/EinsteinInitialData/Hydro_RNSID/test/rnsA2.par <br>IBRUN:  MPI job exited with code: 134 </font><br></div><div><br></div><div>Other tests behave similarly, e.g. Vaidya2:</div><div><br></div><div><font face="monospace">INFO (Carpet): MPI is enabled<br>INFO (Carpet): Carpet is running on 2 processes<br>WARNING level 0 from host <a href="http://exp-4-26.expanse.sdsc.edu">exp-4-26.expanse.sdsc.edu</a> process 0<br>  in thorn Carpet, file /home/sbozzolo/Cactus/arrangements/Carpet/Carpet/src/SetupGH.cc:148:<br>  -&gt; The environment variable CACTUS_NUM_PROCS is set to 1, but there are 2 MPI processes. This may indicate a severe problem with the MPI startup mechanism.<br>Rank 0 with PID 1183519 received signal 6<br>Writing backtrace to Vaidya2/backtrace.0.txt<br>cactus_sim: /home/sbozzolo/Cactus/arrangements/Carpet/Carpet/src/helpers.cc:275: int Carpet::Abort(const cGH*, int): Assertion `0&#39; failed.<br>Rank 1 with PID 1183520 received signal 6<br>Writing backtrace to Vaidya2/backtrace.1.txt<br>srun: error: exp-4-26: tasks 0-1: Aborted (core dumped)<br>IBRUN:  launch command: srun -n 2 --ntasks-per-node 2 /expanse/lustre/projects/uic383/sbozzolo/ettests_2proc/SIMFACTORY/exe/cactus_sim -L 3 /expanse/lustre/projects/uic383/sbozzolo/ettests_2proc/output-0000/arrangements/EinsteinExact/EinsteinExact_Test/test/Vaidya2.par <br>IBRUN:  MPI job exited with code: 134 </font><br></div><div><br></div><div>Given that I see in the testsuite_results repo the same failing tests</div><div>(as run by Roland), I can exclude that the new env variable that I</div><div>added is the reason for the failures.</div><div><br></div><div>Any idea of what is going on? </div><div><br></div><div>Thanks,</div><div>Gabriele</div></div>