<div dir="ltr"><div>Hi, <br></div><div><br></div><div>I am currently trying to find what the optimal number of MPI processes is for my purposes. <br></div><div>I have managed to change the number of MPI processes when restarting a simulation from a checkpoint - but using the bare executable, not simfactory.</div><div><br></div><div>Now, I would like to learn how to do it in simfactory.<br><br></div><div>I have learned that to successfully steer the number of threads per 1 MPI process (which, combined with a total number of threads requested, yields the total number of MPI processes), I change the num-thread variable in the machine.ini file.<br></div><div>This is probably (certainly?) suboptimal, so if there&#39;s a proper way, I&#39;d like to learn it. <br><br></div><div>I submit/recover simulations via .<br>/simfactory/bin/sim submit &lt;sim_name&gt; --parfile &lt;parfile_name&gt;  --recover  --procs NUM_PROCS  --machine=okeanos --configuration=okeanos<br><br></div><div>If I don&#39;t use the --machine option specifying my cluster, it will default to some config with max nodes = 1 (generic?). Which is why I steer MPI processes via num-thread.<br></div><div><br></div><div>Trying to recover a simulation via simfactory with a new machine file (with num-thread changed) yields an error message:<br><br>INFO (Carpet): MPI is enabled<br>INFO (Carpet): Carpet is running on 4 processes<br>WARNING level 0 from host nid00392 process 0<br>  in thorn Carpet, file /lustre/tetyda/home/topolski/Cactus/arrangements/Carpet/Carpet/src/SetupGH.cc:148:<br>  -&gt; The environment variable CACTUS_NUM_PROCS is set to 96, but there are 4 MPI processes. This may indicate a severe problem with the MPI startup mechanism.<br><br></div><div>What can I do to recover a simulation via simfactory and use a different number of MPI processes?<br><br></div><div>While I&#39;m at it, can I also change parameters such as the number of refinement levels or make new guesses for AHFinderDirect, in case the previously-used parameters did not provide high enough resolution for a successful find? <br><br></div><div>Best regards <br></div><div>Konrad Topolski<br></div><div><br><br></div><div><br><br><br></div></div>