<div dir="ltr"><div class="gmail_default" style="color:#000000">Hello Roland,</div><div class="gmail_default" style="color:#000000"><br></div><div class="gmail_default" style="color:#000000">Thanks for pointing me to the links. I'll check out the resources.</div><div class="gmail_default" style="color:#000000"><br></div><div class="gmail_default" style="color:#000000">Regards</div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font color="#666666">Shamim Haque</font></div><div dir="ltr"><font color="#666666">Senior Research Fellow (SRF)<br></font><div><font color="#666666">Department of Physics</font></div><div><font color="#666666">IISER Bhopal</font></div></div></div></div></div></div></div></div></div></div><br></div><div hspace="streak-pt-mark" style="max-height:1px"><img alt="" style="width:0px;max-height:0px;overflow:hidden" src="https://mailfoogae.appspot.com/t?sender=ac2hhbWltc0BpaXNlcmIuYWMuaW4%3D&type=zerocontent&guid=3557d6a3-26ee-4064-bba5-05ec74335775"><font color="#ffffff" size="1">ᐧ</font></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jun 2, 2023 at 3:24 AM Roland Haas <<a href="mailto:rhaas@illinois.edu">rhaas@illinois.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello Shamim Haque,<br>
<br>
"the grid structure inconsistent. Impossible to continue" is a fairly<br>
generic error that Carpet outputs if it detects that the grid structure<br>
has become inconsistent and it is impossible to continue the<br>
simulation. <br>
<br>
This condition is detected by a low level routine in Carpet that no<br>
longer has access to the higher level information that was passed to<br>
Carpet and that is actually the cause for the inconsistent grid<br>
structure.<br>
<br>
The mailing list has a couple of similar reports that you could take a<br>
look at and that may point to a possible solution.<br>
<br>
For this sort of error, more details would be needed to do any useful<br>
diagnosis. At least the full log file (stdout and stderr) of the<br>
simulation up to the point when it aborted would be needed along with<br>
possibly some more log files that record the grid structure.<br>
<br>
Here are some possible relevant email threads:<br>
<br>
<a href="https://lists.einsteintoolkit.org/pipermail/users/2023-March/008881.html" rel="noreferrer" target="_blank">https://lists.einsteintoolkit.org/pipermail/users/2023-March/008881.html</a><br>
<br>
<a href="https://lists.einsteintoolkit.org/pipermail/users/2021-February/007792.html" rel="noreferrer" target="_blank">https://lists.einsteintoolkit.org/pipermail/users/2021-February/007792.html</a><br>
<br>
maybe also:<br>
<br>
<a href="https://bitbucket.org/einsteintoolkit/tickets/issues/2599/nsnstohmns-cannot-be-reproduced-using" rel="noreferrer" target="_blank">https://bitbucket.org/einsteintoolkit/tickets/issues/2599/nsnstohmns-cannot-be-reproduced-using</a><br>
<br>
<a href="https://bitbucket.org/einsteintoolkit/tickets/issues/2516/different-simulation-result-with-different" rel="noreferrer" target="_blank">https://bitbucket.org/einsteintoolkit/tickets/issues/2516/different-simulation-result-with-different</a><br>
<br>
Yours,<br>
Roland<br>
<br>
> Dear Steve,<br>
> <br>
> Thank you for your reply. I tried the same simulation with a finer grid,<br>
> and the simulation started working fine, even though very slow (looks like<br>
> due to slow inter-node communication), but it did work out. I could see a<br>
> few iterations towards the final couple of hours from the wall time.<br>
> <br>
> Turns out, a simulation with GRhydro, in such cases (where the grid needs<br>
> to be finer), would end with an error saying, "*the grid structure<br>
> inconsistent. Impossible to continue*". On the other hand, a simulation<br>
> with IllinoisGRMHD stops abruptly during the thorn setup (somewhere around<br>
> the SpaceMask and AHFinderDirect setup).<br>
> <br>
> Later I tried to see if I can pace up the simulation, but looks like the<br>
> inter-node communication is very slow in the HPC, which may be an inherent<br>
> problem with the HPC since it is a very old one.<br>
> <br>
> Regards<br>
> Shamim Haque<br>
> Senior Research Fellow (SRF)<br>
> Department of Physics<br>
> IISER Bhopal<br>
> <br>
> ᐧ<br>
> <br>
> On Tue, May 23, 2023 at 10:08 PM Steven R. Brandt <<a href="mailto:sbrandt@cct.lsu.edu" target="_blank">sbrandt@cct.lsu.edu</a>><br>
> wrote:<br>
> <br>
> > Sorry that no one has replied to you in a while. Are you still<br>
> > experiencing this difficulty?<br>
> ><br>
> > --Steve<br>
> > On 4/4/2023 3:08 AM, Shamim Haque 1910511 wrote:<br>
> ><br>
> > Dear Steven,<br>
> ><br>
> > I assure you that I submitted the simulation for the first time only. I<br>
> > used "sim create-submit" to submit the simulation, which would not submit<br>
> > the job if the same name was executed earlier.<br>
> ><br>
> > Secondly, I found this same message appearing in the output files from<br>
> > debug queue (1 node, with GRHydro) and high memory node (3 nodes, with<br>
> > IllinoisGRMHD), here the simulation ran successfully. I have attached the<br>
> > output files for reference.<br>
> ><br>
> > Regards<br>
> > Shamim Haque<br>
> > Senior Research Fellow (SRF)<br>
> > Department of Physics<br>
> > IISER Bhopal<br>
> ><br>
> > ᐧ<br>
> ><br>
> > On Tue, Apr 4, 2023 at 12:35 AM Steven R. Brandt <<a href="mailto:sbrandt@cct.lsu.edu" target="_blank">sbrandt@cct.lsu.edu</a>><br>
> > wrote:<br>
> >  <br>
> >> I see this error message in your output:<br>
> >>  <br>
> >>   -> [0m No HDF5 checkpoint files with basefilename 'checkpoint.chkpt'  <br>
> >> and file extension '.h5' found in recovery directory<br>
> >> 'nsns_toy1.2_DDME2BPS_quark_1.2vs1.6M_40km_g25'<br>
> >><br>
> >> I suspect you did a "sim submit" for a job, got a failure, and did a<br>
> >> second "sim submit" without purging. That immediately triggered the error.<br>
> >> Then, for some reason, MPI didn't shut down cleanly and the processes hung<br>
> >> doing nothing until they used up the walltime.<br>
> >><br>
> >> --Steve<br>
> >> On 4/2/2023 5:16 AM, Shamim Haque 1910511 wrote:<br>
> >><br>
> >> Hello,<br>
> >><br>
> >> I am trying to run BNSM using IllinoisGRMHD on HPC Kanad at IISER Bhopal.<br>
> >> While I have tested the parfile to be running fine on debug queue (1 node)<br>
> >> and high memory queue (3 nodes), I am unable to run the simulation in a<br>
> >> queue with 9 nodes (144 cores).<br>
> >><br>
> >> The output file suggests that the setup of listed thorns is not complete<br>
> >> within 24 hours, which is the max walltime for this queue.<br>
> >><br>
> >> Is there a way to sort out this issue? I have attached the parfile and<br>
> >> outfile for reference.<br>
> >><br>
> >> Regards<br>
> >> Shamim Haque<br>
> >> Senior Research Fellow (SRF)<br>
> >> Department of Physics<br>
> >> IISER Bhopal<br>
> >> ᐧ<br>
> >><br>
> >> _______________________________________________<br>
> >> Users mailing listUsers@einsteintoolkit.orghttp://<a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
> >><br>
> >> _______________________________________________<br>
> >> Users mailing list<br>
> >> <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
> >> <a href="https://urldefense.com/v3/__http://lists.einsteintoolkit.org/mailman/listinfo/users__;!!DZ3fjg!_x567GYN6TSCHGzd9qNq7I2vnukVIdWuWrpvklLkBiR2voNBEMX99OkQxtvGmuazb6nd9jcdqRNh8C_eiuyn$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://lists.einsteintoolkit.org/mailman/listinfo/users__;!!DZ3fjg!_x567GYN6TSCHGzd9qNq7I2vnukVIdWuWrpvklLkBiR2voNBEMX99OkQxtvGmuazb6nd9jcdqRNh8C_eiuyn$</a> <br>
> >>  <br>
> >  <br>
<br>
-- <br>
My email is as private as my paper mail. I therefore support encrypting<br>
and signing email messages. Get my PGP key from <a href="http://pgp.mit.edu" rel="noreferrer" target="_blank">http://pgp.mit.edu</a> .<br>
</blockquote></div>