<div dir="ltr"><p style="color:rgb(0,0,0)">Hi Panayotis,</p><p style="color:rgb(0,0,0)">Can you try specifying<span class="gmail-Apple-converted-space"> </span><code>--procs</code>,<span class="gmail-Apple-converted-space"> </span><code>--num-threads</code>, and<span class="gmail-Apple-converted-space"> </span><code>--ppn-used</code><span class="gmail-Apple-converted-space"> </span>at the same time? It looks like your machine defaulted to<span class="gmail-Apple-converted-space"> </span><code>--ppn-used=112</code>, which is not what you want, so you may need to overwrite it.</p><p style="color:rgb(0,0,0)">You can check your allocation details in<span class="gmail-Apple-converted-space"> </span><code>/output-000x/SIMFACTORY/properties.ini. </code>A useful strategy is to verify whether the allocation matches these relations:</p><pre class="gmail-overflow-visible!" style="color:rgb(0,0,0)"><div class="gmail-contain-inline-size gmail-rounded-2xl gmail-relative gmail-bg-token-sidebar-surface-primary"><div class="gmail-sticky gmail-top-9"><div class="gmail-absolute end-0 gmail-bottom-0 gmail-flex gmail-h-9 gmail-items-center gmail-pe-2"><div class="gmail-bg-token-bg-elevated-secondary gmail-text-token-text-secondary gmail-flex gmail-items-center gmail-gap-4 gmail-rounded-sm gmail-px-2 gmail-font-sans gmail-text-xs"></div></div></div><div class="gmail-overflow-y-auto gmail-p-4" dir="ltr"><code class="gmail-whitespace-pre!"><span class="gmail-hljs-attr">ppn-used</span>   = numthreads * nodeprocs
<span class="gmail-hljs-attr">procs</span>      = numthreads * numprocs = nodes * ppn-used
</code></div></div></pre><p style="color:rgb(0,0,0)">Below is my understanding (I personally use<span class="gmail-Apple-converted-space"> </span><code>numsmt=1</code>, so threads = cores in my case). Please correct me if I’m wrong on them:</p><span style="color:rgb(0,0,0)">nodes</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= number of nodes</span><br><span style="color:rgb(0,0,0)">procsrequested</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= total number of cores requested (may not all be used, but you still occupy them on the HPC)</span><br><span style="color:rgb(0,0,0)">ppn</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= number of cores per node requested (may not all be used)</span><br><span style="color:rgb(0,0,0)">numprocs</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= total number of MPI ranks actually used</span><br><span style="color:rgb(0,0,0)">nodeprocs</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= number of MPI ranks per node actually used</span><br><span style="color:rgb(0,0,0)">procs</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= total number of cores actually used</span><br><span style="color:rgb(0,0,0)">numthreads</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= number of OpenMP threads per MPI rank actually used</span><br><span style="color:rgb(0,0,0)">ppnused</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= number of cores per node actually used</span><br><span style="color:rgb(0,0,0)">numsmt</span><span class="gmail-Apple-converted-space" style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">= number of threads per physical core</span><br><p style="color:rgb(0,0,0)">Best,<br>Wei</p><div><br></div></div>