<div dir="ltr">Hello,<div><br></div><div>Last week I opened a PR to add the configuration files </div><div>for Expanse to simfactory. Expanse is an example of</div><div>the new generation of AMD supercomputers. Others are</div><div>Anvil, one of the other new XSEDE machines, or Puma, </div><div>the newest cluster at The University of Arizona.</div><div><br></div><div>I have some experience with Puma and Expanse and</div><div>I would like to share some thoughts, some of which come</div><div>from interacting with the admins of Expanse. The problem</div><div>is that I am finding terrible multi-node performance on both </div><div>these machines, and I don&#39;t know if this will be a common</div><div>thread among new AMD clusters. </div><div><br></div><div>These supercomputers have similar characteristics.<br></div><div><br></div><div>First, they have very high cores/node count (typically </div><div>128/node) but low memory per core (typically 2 GB / core).</div><div>In these conditions, it is very easy to have a job killed by </div><div>the OOM daemon. My suspicion is that it is rank 0 that </div><div>goes out of memory, and the entire run is aborted.</div><div><br></div><div>Second, depending on the MPI implementation, MPI collective</div><div>operations can be extremely expensive. I was told that</div><div>the best implementation is mvapich 2.3.6 (at the moment).</div><div>This seems to be due to the high core count.</div><div><br></div><div>I found that the code does not scale well. This is possibly </div><div>related to the previous point. If your job can fit on a single node, </div><div>it will run wonderfully. However, when you perform the same </div><div>simulation on two nodes, the code will actually be slower. </div><div>This indicates that there&#39;s no strong scaling at all from </div><div>1 node to 2 (128 to 256 cores, or 32 to 64 MPI ranks).</div><div>Using mvapich 2.3.6 improves the situation, but it is still</div><div>faster to use fewer nodes. </div><div><br></div><div>(My benchmark is a par file I&#39;ve tested extensively on Frontera)<br></div><div><br></div><div>I am working with Expanse&#39;s support staff to see what we can</div><div>do, but I wonder if anyone has had a positive experience with </div><div>this architecture and has some tips to share.</div><div><div><br></div></div><div>Gabriele</div><div><br></div></div>