<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>
</head>
<body dir="ltr">
<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Helvetica,sans-serif;" dir="ltr">
<p style="margin-top:0;margin-bottom:0">Roland,</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">Removing OpenMPI worked for me&nbsp;and I was able to run qc0 to completion. For anyone else who runs into this issue I am operating on Ubuntu through WSL.</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">Thank you so much for your help!</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<div id="Signature">
<div id="divtagdefaultwrapper" dir="ltr" style="font-size: 12pt; color: rgb(0, 0, 0); font-family: Calibri, Helvetica, sans-serif, EmojiFont, &quot;Apple Color Emoji&quot;, &quot;Segoe UI Emoji&quot;, NotoColorEmoji, &quot;Segoe UI Symbol&quot;, &quot;Android Emoji&quot;, EmojiSymbols; --darkreader-inline-color:#e9e3d5;" data-darkreader-inline-color="">
<p style="margin-top:0; margin-bottom:0"></p>
<span id="ms-rterangepaste-start"></span>
<div class="gs" style="margin: 0px; padding: 0px 0px 20px; width: 1032px; color: rgb(34, 34, 34); font-family: Roboto, RobotoDraft, Helvetica, Arial, sans-serif; --darkreader-inline-color:#ded7c7;" data-darkreader-inline-color="">
<div class="">
<div id=":iz" class="ii gt" style="font-size:12.8px; direction:ltr; margin:8px 0px 0px; padding:0px">
<div id=":j0" class="a3s aXjCH " style="overflow:hidden; font-size:small; line-height:1.5; font-family:Arial,Helvetica,sans-serif">
<div dir="ltr"><span class="HOEnZb adL"><font color="#888888" data-darkreader-inline-color="" style="--darkreader-inline-color:#c3b49e;">--&nbsp;<br>
<div dir="ltr" class="m_-5904819280567275100gmail_signature">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr"><br>
</div>
<div dir="ltr">Chad Henshaw<br>
Georgia Institute of Technology - Physics<br>
</div>
<div><br>
</div>
</div>
</div>
</div>
</div>
</font></span></div>
<div class="adL"></div>
</div>
</div>
<div class="hi" style="border-bottom-left-radius: 1px; border-bottom-right-radius: 1px; padding: 0px; width: auto; background: rgb(242, 242, 242); margin: 0px; --darkreader-inline-bgimage: initial; --darkreader-inline-bgcolor:#25252a;" data-darkreader-inline-bgimagedata-darkreader-inline-bgcolor="">
</div>
</div>
</div>
<span id="ms-rterangepaste-end"></span>
<p style="margin-top:0; margin-bottom:0"></p>
</div>
</div>
</div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Roland Haas &lt;rhaas@illinois.edu&gt;<br>
<b>Sent:</b> Friday, October 5, 2018 11:57:43 AM<br>
<b>To:</b> Gomard-Henshaw, Chad<br>
<b>Cc:</b> ian.hinder@aei.mpg.de; Einstein Toolkit Users<br>
<b>Subject:</b> Re: [Users] Issue running the default qc0-mclachlan.par</font>
<div>&nbsp;</div>
</div>
<div class="BodyFragment"><font size="2"><span style="font-size:11pt;">
<div class="PlainText">Hello Chad,<br>
<br>
thank you for the files. <br>
<br>
Assuming that you have already tried compiling from scratch (ie running<br>
&quot;rm -rf configs/sim&quot; before simfactory/bin/sim build) to make sure the<br>
issue is not between an MPI stack installed by your package manager and<br>
the copy of OpenMPI that Cactus can compile itself from the source code<br>
in arrangements/ExternalLibraries/MPI if it does not detect an<br>
installed MPI stack then you can check for which ones are installed<br>
using your system's package manager.<br>
<br>
Basically on<br>
<br>
Ubuntu/Debian/Mint:<br>
<br>
dpkg --list | grep -i mpi | grep -iv compil<br>
<br>
Centos/Fedora/RedHat/OpenSUSE:<br>
<br>
rpm -qa |&nbsp; grep -i mpi | grep -iv compil<br>
<br>
which show all installed packages whose name contains &quot;mpi&quot; but not<br>
&quot;compil&quot; (ignore case). If in there you find more than one of:<br>
<br>
* OpenMPI<br>
* Mpich<br>
* mvapich<br>
* impi<br>
<br>
then you have multiple stacks installed and should uninstall (using<br>
apt-get, yum, zypper or whatever the package manager is called) all but<br>
one.<br>
<br>
Yours,<br>
Roland<br>
<br>
&gt; Hi Roland,<br>
&gt; <br>
&gt; My apologies regarding the screenshots. I've tried running the simulation using the submit command as you suggested (I'm running on a regular workstation). Here is the complete text:<br>
&gt; <br>
&gt; <br>
&gt; ./simfactory/bin/sim submit qc00-submit1 \<br>
&gt; &gt;&nbsp;&nbsp; --parfile=par/qc0-mclachlan.par --procs=2 --num-threads=1 --ppn-used=2&nbsp; <br>
&gt; Warning: simulation &quot;qc00-submit1&quot; does not exist or is not readable<br>
&gt; Parameter file: /home/henshaw/Cactus/par/qc0-mclachlan.par<br>
&gt; Skeleton Created<br>
&gt; Job directory: &quot;/home/henshaw/simulations/qc00-submit1&quot;<br>
&gt; Executable: &quot;/home/henshaw/Cactus/exe/cactus_sim&quot;<br>
&gt; Option list: &quot;/home/henshaw/simulations/qc00-submit1/SIMFACTORY/cfg/OptionList&quot;<br>
&gt; Submit script: &quot;/home/henshaw/simulations/qc00-submit1/SIMFACTORY/run/SubmitScript&quot;<br>
&gt; Run script: &quot;/home/henshaw/simulations/qc00-submit1/SIMFACTORY/run/RunScript&quot;<br>
&gt; Parameter file: &quot;/home/henshaw/simulations/qc00-submit1/SIMFACTORY/par/qc0-mclachlan.par&quot;<br>
&gt; Assigned restart id: 0<br>
&gt; Executing submit command: exec nohup /home/henshaw/simulations/qc00-submit1/output-0000/SIMFACTORY/SubmitScript &lt; /dev/null &gt; /dev/null 2&gt; /dev/null &amp; echo $!<br>
&gt; Submit finished, job id is 39<br>
&gt; <br>
&gt; <br>
&gt; <br>
&gt; Attached are the .out , .err, and backtrace files, it looks like I'm getting the same error as before. I don't quite understand your comment about multiple MPI stacks being installed - how would I know if this is the case?<br>
&gt; <br>
&gt; <br>
&gt; Thanks for your help.<br>
&gt; <br>
&gt; <br>
&gt; --<br>
&gt; <br>
&gt; Chad Henshaw<br>
&gt; Georgia Institute of Technology - Physics<br>
&gt; <br>
&gt; <br>
&gt; ________________________________<br>
&gt; From: Roland Haas &lt;rhaas@illinois.edu&gt;<br>
&gt; Sent: Tuesday, October 2, 2018 8:27:23 PM<br>
&gt; To: Gomard-Henshaw, Chad<br>
&gt; Cc: ian.hinder@aei.mpg.de; Einstein Toolkit Users<br>
&gt; Subject: Re: [Users] Issue running the default qc0-mclachlan.par<br>
&gt; <br>
&gt; Hello Chad,<br>
&gt; <br>
&gt; please do not just provide the error messages as a screenshot since<br>
&gt; this shows only last couple of lines and makes it very hard to read<br>
&gt; the error messages. Instead please copy and paste the actual text into<br>
&gt; the email.<br>
&gt; <br>
&gt; Ideally even provide the *.out and *.err files in the output-XXXX<br>
&gt; directory (if they exist) as attachments to the email.<br>
&gt; <br>
&gt; The error you are observing can be caused by a faulty MPI stack in<br>
&gt; particular if the code is compiled with one MPI library but run with<br>
&gt; another.<br>
&gt; <br>
&gt; You can often determine that by looking at the output of the *.err and<br>
&gt; *.out files and checking whether the output is duplicated. In your case<br>
&gt; since you used create-run no such file was created so that is not quite<br>
&gt; possible.<br>
&gt; <br>
&gt; Looking at the output there are for example two &quot;Writing backtrace to<br>
&gt; qc0-mchlachlan/backtrace.0.txt&quot; (hope I typed in this path correctly)<br>
&gt; lines while there should be only one since the text is output<br>
&gt; in ./repos/carpet/CarpetLib/src/backtrace.cc only once.<br>
&gt; <br>
&gt; I would try using the more commonly used &quot;submit&quot; command to start the<br>
&gt; simulation then check the out and err files ie:<br>
&gt; <br>
&gt; ./simfactory/bin/sim submit qc00-submit1 \<br>
&gt;&nbsp;&nbsp; --parfile=par/qc0-mclachlan.par --procs=2 --num-threads=1 --ppn-used=2<br>
&gt; <br>
&gt; I would also check if perhaps more than one MPI stack has been<br>
&gt; installed (eg MPICH and OpenMPI). This machine is your<br>
&gt; laptop/workstation or is this a cluster?<br>
&gt; <br>
&gt; Yours,<br>
&gt; Roland<br>
&gt; <br>
&gt; &gt; Hi Roland,<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; Thanks for the reply. I completely re-installed and compiled ETK and tried to run qc0 using this command:<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; ./simfactory/bin/sim create-run qc0 \<br>
&gt; &gt;&nbsp;&nbsp; --parfile=par/qc0-mclachlan.par --procs=2 --num-threads=1 --ppn-used=2<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; The program runs only for a moment before I get a new error (attached). I'm not sure how to interpret this, could you take a look?<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; Much appreciated!<br>
&gt; &gt;<br>
&gt; &gt; --<br>
&gt; &gt;<br>
&gt; &gt; Chad Henshaw<br>
&gt; &gt; Georgia Institute of Technology - Physics<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; ________________________________<br>
&gt; &gt; From: Roland Haas &lt;rhaas@illinois.edu&gt;<br>
&gt; &gt; Sent: Tuesday, October 2, 2018 8:20:02 AM<br>
&gt; &gt; To: Gomard-Henshaw, Chad<br>
&gt; &gt; Cc: ian.hinder@aei.mpg.de; Einstein Toolkit Users<br>
&gt; &gt; Subject: Re: [Users] Issue running the default qc0-mclachlan.par<br>
&gt; &gt;<br>
&gt; &gt; Hello Chad,<br>
&gt; &gt;<br>
&gt; &gt; that information can be read out of eg the RunScript that you can find<br>
&gt; &gt; in simulations/XXX/output-0000/SIMFACTORY/RunScript or (the default<br>
&gt; &gt; value anyway) from<br>
&gt; &gt;<br>
&gt; &gt; simfactory/bin/sim print-mdb-entry $(simfactory/bin/sim whoami | awk '{print $NF}') | grep threads<br>
&gt; &gt; max-num-threads = 12<br>
&gt; &gt; num-threads&nbsp;&nbsp;&nbsp;&nbsp; = 6<br>
&gt; &gt;<br>
&gt; &gt; You can also force the issue by using:<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; ./simfactory/bin/sim create-run static_tov&nbsp; --parfile=par/static_tov_small_short.par --procs=2 --num-threads=1 --ppn-used=2&nbsp; --walltime=8:0:0<br>
&gt; &gt;<br>
&gt; &gt; which uses 2 threads in total (procs=2) with 1 thread per MPI rank (num-threads=1) and makes simfactory believe that there are 2 cores present (ppn-used=2). This results in 2 MPI ranks with 1 thread each.<br>
&gt; &gt;<br>
&gt; &gt; Yours,<br>
&gt; &gt; Roland<br>
&gt; &gt;&nbsp; <br>
&gt; &gt; &gt; Hi Ian,<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Thanks for replying. This didn't work for me, but I understand your logic. Is there a way that I can determine how many threads per process my simfactory is configured for? That way I should be able to specify the exact # of procs right?<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Thanks!<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; --<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Chad Henshaw<br>
&gt; &gt; &gt; Georgia Institute of Technology - Physics<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; ________________________________<br>
&gt; &gt; &gt; From: ian.hinder@aei.mpg.de &lt;ian.hinder@aei.mpg.de&gt;<br>
&gt; &gt; &gt; Sent: Monday, October 1, 2018 5:06:24 PM<br>
&gt; &gt; &gt; To: Gomard-Henshaw, Chad<br>
&gt; &gt; &gt; Cc: Einstein Toolkit Users<br>
&gt; &gt; &gt; Subject: Re: [Users] Issue running the default qc0-mclachlan.par<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; On 28 Sep 2018, at 18:48, Gomard-Henshaw, Chad &lt;cgomard@gatech.edu&lt;mailto:cgomard@gatech.edu&gt;&gt; wrote:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Hello,<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; When running the default qc0 simulation, I get an error (see attached). This was run using the following command in the windows linux subshell:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; ./simfactory/bin/sim create-run qc05 \<br>
&gt; &gt; &gt;&nbsp;&nbsp; --parfile=par/qc0-mclachlan.par<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; The simulation runs for about an hour before aborting; I get partial output files but only with two data points. Can you please advise on how to address this issue?<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Hi,<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; We should have a FAQ...&nbsp; You need to run on at least two processes, due to internal limitations in the code. So add<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;&nbsp; --procs 2<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; to your create-run command line.<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; [I don't know exactly how your machine is configured in simfactory; if it is configured to use more than one thread per process, then you need to use enough &quot;--procs&quot; (which really means &quot;threads&quot;) that at least two MPI processes are used.]<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; --<br>
&gt; &gt; &gt; Ian Hinder<br>
&gt; &gt; &gt; <a href="https://ianhinder.net">https://ianhinder.net</a><br>
&gt; &gt; &gt;&nbsp; <br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; --<br>
&gt; &gt; My email is as private as my paper mail. I therefore support encrypting<br>
&gt; &gt; and signing email messages. Get my PGP key from <a href="http://pgp.mit.edu">
http://pgp.mit.edu</a> .&nbsp; <br>
&gt; <br>
&gt; <br>
&gt; <br>
&gt; --<br>
&gt; My email is as private as my paper mail. I therefore support encrypting<br>
&gt; and signing email messages. Get my PGP key from <a href="http://keys.gnupg.net">
http://keys.gnupg.net</a>.<br>
<br>
<br>
<br>
-- <br>
My email is as private as my paper mail. I therefore support encrypting<br>
and signing email messages. Get my PGP key from <a href="http://pgp.mit.edu">http://pgp.mit.edu</a> .<br>
</div>
</span></font></div>
</body>
</html>