<div dir="ltr">Hello,<div><br></div><div>Reverting to srun fixes the problem. I updated the master branches for the testsuite </div><div>results and simfactory.</div><div><br></div><div>Gabriele</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jun 2, 2022 at 9:12 AM Gabriele Bozzola &lt;<a href="mailto:bozzola.gabriele@gmail.com">bozzola.gabriele@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Roland,<div><br></div><div>That sounds reasonable. I think I was originally using srun, but was recommended</div><div>to move to ibrun. I will try with srun to see if it works, in which case I will update the</div><div>simfactory entry and the testsuite results.</div><div><br></div><div>Gabrieel</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jun 2, 2022 at 8:03 AM Roland Haas &lt;<a href="mailto:rhaas@illinois.edu" target="_blank">rhaas@illinois.edu</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello Gabriele,<br>
<br>
ok, I can at least partially answer this. Indeed RNS&#39;s A2 test is code<br>
to use only 1 MPI rank:<br>
<br>
TEST rnsA2<br>
{<br>
  PROCS 1<br>
}<br>
<br>
and thus the most likely reason is that ibrun just pulls the number of<br>
MPI ranks from SLURM rather than from whatever simfactory tries to use.<br>
<br>
Since ibrun is no longer documented on the SDSC page (at least I do not<br>
see it on <a href="https://www.sdsc.edu/support/user_guides/expanse.html" rel="noreferrer" target="_blank">https://www.sdsc.edu/support/user_guides/expanse.html</a>), maybe<br>
the easiest fix is to remove it and use the srun command they document<br>
now?<br>
<br>
Yours,<br>
Roland<br>
<br>
&gt; Hello Gabriele,<br>
&gt; <br>
&gt; hmm.<br>
&gt; <br>
&gt; &gt; /home/sbozzolo/Cactus/arrangements/Carpet/Carpet/src/SetupGH.cc:148:  <br>
&gt; &gt;   -&gt; The environment variable CACTUS_NUM_PROCS is set to 1, but there are 2    <br>
&gt; &gt; MPI processes. This may indicate a severe problem with the MPI startup<br>
&gt; &gt; mechanism.  <br>
&gt; <br>
&gt; &gt; IBRUN:  launch command: srun -n 2 --ntasks-per-node 2<br>
&gt; &gt; /expanse/lustre/projects/uic383/sbozzolo/ettests_2proc/SIMFACTORY/exe/cactus_sim  <br>
&gt; <br>
&gt; Looking at these, I would have expected that CACTUS_NUM_PROCS is set to<br>
&gt; 2 given that -n is 2 (being the number of MPI ranks). <br>
&gt; <br>
&gt; The current submitscript uses ibrun though current documentation uses<br>
&gt; srun. Maybe changing to srun helps? Though the srun command does seem<br>
&gt; to have 2 MPI procs in the way you expect to.<br>
&gt; <br>
&gt; Can you check (in the RunScript in<br>
&gt; simulations/foo/output-0000/SIMFACTORY) what CACTUS_NUM_PROCS is set to?<br>
&gt; <br>
&gt; If this works with &quot;regular&quot; runs but fails with the testsuite using<br>
&gt; --testsuite then the issue is most likely related to the complicated<br>
&gt; method simfactory has to use to set the number of MPI ranks.<br>
&gt; <br>
&gt; I would check if the failing test is actually runnable only on 1 MPI<br>
&gt; rank (set in test.ccl). In that case, Cactus will try to run in it in a<br>
&gt; 2 MPI rank test suite but use only 1 MPI rank. Possibly ibrun ignores<br>
&gt; Cactus&#39; request and uses only information provided by SLURM.<br>
&gt; <br>
&gt; Yours,<br>
&gt; Roland<br>
&gt; <br>
<br>
-- <br>
My email is as private as my paper mail. I therefore support encrypting<br>
and signing email messages. Get my PGP key from <a href="http://pgp.mit.edu" rel="noreferrer" target="_blank">http://pgp.mit.edu</a> .<br>
</blockquote></div>
</blockquote></div>