<div dir="ltr"><div dir="ltr">Hi Erik,<div><br></div><div>Thanks for your comments. </div><div><br></div><div>I ran a few tests last week and found that the &quot;sim submit&quot; command actually works on my cluster but in a weird way. The 

&quot;nohup&quot; error I shared earlier  is just the screen output and the simulation continues to run in the background. This is not convenient though because it doesn&#39;t reflect as a running job through my cluster, but shows up as running only when I look for the simulations using ./simfactory/bin/sim list-simulations. So I will have to continue using the &#39;run&#39; command. </div><div><br></div></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
If that is true, then I would create a new simulation (i.e. use a<br>
different name for the simulation), and modify the parameter file to<br>
point to the checkpoint files in the old simulations as restart files.<br>
The respective parameters are provided by the &quot;IOUtil&quot; thorn. This<br>
way, you sidestep Simfactory&#39;s automatic restart mechanism, and you<br>
are only using the &quot;sim run&quot; command you already know is working for<br>
your machine. The disadvantage is that you need to modify the<br>
parameter file each time you restart to point to the checkpoint files<br>
written by the previous run.<br><br></blockquote><div>I am working on this method now and trying to figure out which parameters would need to be changed. </div><div><br></div><div>I am working on this method now, and as far as I can gather, I should only be changing the recover mode to &#39;manual&#39; and specify the path and file name to the checkpoint. I will let you know if I make some progress on it.

</div><div><br></div><div>thank you,</div><div>best regards,</div><div>Atul</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
&gt; Warning: job status is U<br>
&gt; Warning: Job chaining requested but job id 999999 is not in the queue. Its status is U. Aborting submission.<br>
&gt;<br>
&gt; I guess the issue is with the &quot;status is U&quot; part now.<br>
&gt;<br>
&gt; Best regards,<br>
&gt; Atul.<br>
&gt;<br>
&gt; On Sat, Aug 15, 2020 at 8:57 PM Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; Atul<br>
&gt;&gt;<br>
&gt;&gt; &quot;sim run&quot; starts a simulation right away. Have you tried &quot;sim submit&quot;<br>
&gt;&gt; instead? This should check whether the simulation is still active, and<br>
&gt;&gt; if so, deactivate it before running the next restart.<br>
&gt;&gt;<br>
&gt;&gt; -erik<br>
&gt;&gt;<br>
&gt;&gt; On Sat, Aug 15, 2020 at 7:54 PM Atul Kedia &lt;<a href="mailto:akedia@nd.edu" target="_blank">akedia@nd.edu</a>&gt; wrote:<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Hello,<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I want to restart a simulation to make it run for longer. It currently stopped at the time it was asked it at my par file. It has checkpoints enabled in the par file.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I have increased the time in the par file at &lt;sim_name&gt;/output-0000/ and at  &lt;sim_name&gt;/SIMFACTORY/par and I tried the commands :<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; simfactory/bin/sim cleanup &lt;sim_name&gt;<br>
&gt;&gt; &gt; followed by<br>
&gt;&gt; &gt; simfactory/bin/sim run &lt;sim_name&gt;<br>
&gt;&gt; &gt; and set the added a line &quot;jobid = 999999&quot; as suggested at : <a href="http://lists.einsteintoolkit.org/pipermail/users/2018-September/006528.html" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/pipermail/users/2018-September/006528.html</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; and I get the error message :<br>
&gt;&gt; &gt; &quot;Error: Internal error: Cannot submit simulation &lt;sim_name&gt; because it is already active&quot;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Another email thread I used for reference was this one: <a href="http://lists.einsteintoolkit.org/pipermail/users/2018-May/006281.html" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/pipermail/users/2018-May/006281.html</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I am using ET_Mayer with the default simfactory that it comes with (simfactory 2, I think).<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Any help would be really appreciated.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Thank you,<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; --<br>
&gt;&gt; &gt; Atul Kedia<br>
&gt;&gt; &gt; PhD student,<br>
&gt;&gt; &gt; Physics department,<br>
&gt;&gt; &gt; University of Notre Dame.<br>
&gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt; Users mailing list<br>
&gt;&gt; &gt; <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
&gt;&gt; &gt; <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
&gt;&gt; <a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Atul Kedia<br>
&gt; PhD student,<br>
&gt; Physics department,<br>
&gt; University of Notre Dame.<br>
<br>
<br>
<br>
-- <br>
Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
<a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
</blockquote></div></div>