<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
Hi Roland,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
Thank you so much.&nbsp; The compute nodes are able to be used for compilation, and the directories match what is listed in make.MPI.defn.&nbsp; When doing the 'hello' example you linked to, it was unable to compile due to a linker error<i> (/usr/bin/ld: cannot find
 -lmpi_cxx).&nbsp; </i>I re-ran it in verbose mode and found the directory it was searching did exist and did have lmpi but not lmpi_cxx.&nbsp; The admins said they had had some issues installing openmpi (couldn't recall exactly what), and recommended mpavich (since
 that does have lmpicxx installed and is their preferred implementation).&nbsp; However, they reinstalled openmpi in an effort to get that to work and it did allow the 'hello' script to compile, but when executed it produced:<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<i><br>
</i></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<i>--------------------------------------------------------------------------</i></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<div><i>No OpenFabrics connection schemes reported that they were able to be</i></div>
<div><i>used on a specific port. &nbsp;As such, the openib BTL (OpenFabrics</i></div>
<div><i>support) will be disabled for this port.</i></div>
<div><i><br>
</i></div>
<div><i>&nbsp; Local host: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; h1</i></div>
<div><i>&nbsp; Local device: &nbsp; &nbsp; &nbsp; &nbsp; mlx5_0</i></div>
<div><i>&nbsp; Local port: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1</i></div>
<div><i>&nbsp; CPCs attempted: &nbsp; &nbsp; &nbsp; rdmacm, udcm</i></div>
<div><i>--------------------------------------------------------------------------</i></div>
<i>Hello world from processor h1.quartz.uits.iu.edu, rank 0 out of 1 processors</i></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
Similarly, doing the TOV job via sbatch, after the srun command it gave the same OpenFabrics message (for each MPI rank) and then the same segmentation faults as before.&nbsp; I've contacted the admins about this and am waiting to hear back.&nbsp; Do you have any recommendations
 - perhaps it would be easier to try switching over to mvapich?&nbsp; If so, could you point me to some resources on how to reconfigure?<br>
</div>
<div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
Thank you,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
Jessica<br>
</div>
<div id="Signature">
<div>
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:; margin:0">
<div><b><br>
</b></div>
</div>
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:; margin:0">
<b>Dr. Jessica S. Warren</b> </div>
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:; margin:0">
<div>Physics Lecturer</div>
<div>Indiana University Northwest</div>
<div>warrenjs@iun.edu</div>
</div>
</div>
</div>
</div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Roland Haas &lt;rhaas@illinois.edu&gt;<br>
<b>Sent:</b> Tuesday, August 9, 2022 9:48 AM<br>
<b>To:</b> Warren, Jessica Sawyer &lt;warrenjs@iun.edu&gt;<br>
<b>Cc:</b> users@einsteintoolkit.org &lt;users@einsteintoolkit.org&gt;<br>
<b>Subject:</b> [External] Re: [Users] Running with SLURM</font>
<div>&nbsp;</div>
</div>
<div class="BodyFragment"><font size="2"><span style="font-size:11pt;">
<div class="PlainText">Hello Jessica,<br>
<br>
You may also find something useful in the setting up a new machine<br>
seminar presentation:<br>
<br>
<a href="https://www.einsteintoolkit.org/seminars/2022_02_24/index.html">https://www.einsteintoolkit.org/seminars/2022_02_24/index.html</a><br>
<br>
Yours,<br>
Roland<br>
<br>
-- <br>
My email is as private as my paper mail. I therefore support encrypting<br>
and signing email messages. Get my PGP key from <a href="http://pgp.mit.edu">http://pgp.mit.edu</a> .<br>
</div>
</span></font></div>
</body>
</html>