<div dir="ltr"><div dir="ltr">Hi Erik,</div><div dir="ltr"><br></div><div>Thank you for your comments. <br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
This is not how Simfactory is supposed to behave. It seems that<br>
Simfactory is not correctly set up for your cluster. The mechanism<br>
you&#39;re describing is the one that&#39;s useful on a workstation or laptop.</blockquote><div><br></div><div>Yes, that seems to be the case. It works as expected on both my PC and my cluster&#39;s front end machine.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
I think you want &quot;recover = auto&quot; instead; that&#39;s the generally useful setting.<br></blockquote><div><br></div><div>Thanks, I agree, I changed it to auto and set the directory and file location as needed, but I get a new set of errors related to simfactory : </div><div><br></div><div>----------------------------------------------------------------------------------------------------------------------------------------------------------------</div><div></div><div>Traceback (most recent call last):<br>  File &quot;./simfactory/bin/../lib/sim.py&quot;, line 148, in &lt;module&gt;<br>    main()<br>  File &quot;./simfactory/bin/../lib/sim.py&quot;, line 144, in main<br>    CommandDispatch()<br>  File &quot;./simfactory/bin/../lib/sim.py&quot;, line 106, in CommandDispatch<br>    module.main()<br>  File &quot;...ET_Mayer/Cactus/repos/simfactory2/lib/sim-manage.py&quot;, line 396, in main<br>    CommandDispatch()<br>  File &quot;

...ET_Mayer/Cactus/repos/simfactory2/lib/sim-manage.py&quot;, line 375, in CommandDispatch<br>    exec(&quot;command_%s()&quot; % command)<br>  File &quot;&lt;string&gt;&quot;, line 1, in &lt;module&gt;<br>  File &quot;

...ET_Mayer/Cactus/repos/simfactory2/lib/sim-manage.py&quot;, line 206, in command_run<br>    simulationName = simenv.OptionsManager.args.pop(0)<br>IndexError: pop from empty list<br></div><div> </div><div>----------------------------------------------------------------------------------------------------------------------------------------------------------------<br></div><div><br></div><div>Would you or someone know what might be going wrong here?</div><div><br></div><div>Best Regards,</div><div>Atul</div><div><br></div><div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"> -erik<br>
<br>
&gt; thank you,<br>
&gt; best regards,<br>
&gt; Atul<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt; &gt; Warning: job status is U<br>
&gt;&gt; &gt; Warning: Job chaining requested but job id 999999 is not in the queue. Its status is U. Aborting submission.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I guess the issue is with the &quot;status is U&quot; part now.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Best regards,<br>
&gt;&gt; &gt; Atul.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; On Sat, Aug 15, 2020 at 8:57 PM Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Atul<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &quot;sim run&quot; starts a simulation right away. Have you tried &quot;sim submit&quot;<br>
&gt;&gt; &gt;&gt; instead? This should check whether the simulation is still active, and<br>
&gt;&gt; &gt;&gt; if so, deactivate it before running the next restart.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; -erik<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Sat, Aug 15, 2020 at 7:54 PM Atul Kedia &lt;<a href="mailto:akedia@nd.edu" target="_blank">akedia@nd.edu</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Hello,<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; I want to restart a simulation to make it run for longer. It currently stopped at the time it was asked it at my par file. It has checkpoints enabled in the par file.<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; I have increased the time in the par file at &lt;sim_name&gt;/output-0000/ and at  &lt;sim_name&gt;/SIMFACTORY/par and I tried the commands :<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; simfactory/bin/sim cleanup &lt;sim_name&gt;<br>
&gt;&gt; &gt;&gt; &gt; followed by<br>
&gt;&gt; &gt;&gt; &gt; simfactory/bin/sim run &lt;sim_name&gt;<br>
&gt;&gt; &gt;&gt; &gt; and set the added a line &quot;jobid = 999999&quot; as suggested at : <a href="http://lists.einsteintoolkit.org/pipermail/users/2018-September/006528.html" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/pipermail/users/2018-September/006528.html</a><br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; and I get the error message :<br>
&gt;&gt; &gt;&gt; &gt; &quot;Error: Internal error: Cannot submit simulation &lt;sim_name&gt; because it is already active&quot;<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Another email thread I used for reference was this one: <a href="http://lists.einsteintoolkit.org/pipermail/users/2018-May/006281.html" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/pipermail/users/2018-May/006281.html</a><br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; I am using ET_Mayer with the default simfactory that it comes with (simfactory 2, I think).<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Any help would be really appreciated.<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Thank you,<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; --<br>
&gt;&gt; &gt;&gt; &gt; Atul Kedia<br>
&gt;&gt; &gt;&gt; &gt; PhD student,<br>
&gt;&gt; &gt;&gt; &gt; Physics department,<br>
&gt;&gt; &gt;&gt; &gt; University of Notre Dame.<br>
&gt;&gt; &gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt;&gt; &gt; Users mailing list<br>
&gt;&gt; &gt;&gt; &gt; <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
&gt;&gt; &gt;&gt; &gt; <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; --<br>
&gt;&gt; &gt;&gt; Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
&gt;&gt; &gt;&gt; <a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; --<br>
&gt;&gt; &gt; Atul Kedia<br>
&gt;&gt; &gt; PhD student,<br>
&gt;&gt; &gt; Physics department,<br>
&gt;&gt; &gt; University of Notre Dame.<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
&gt;&gt; <a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
<br>
<br>
<br>
-- <br>
Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
<a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
</blockquote></div></div>