<div dir="ltr">Hi Shamim,<br><br>Thank you for providing additional information on the issue. Let's address your questions one by one:<br><br>* Memory Usage<br>If the error message is about "grid structure consistency," that usually points to an issue setting up the Carpet grids rather than a lack of memory. Maybe Carpet is having a problem breaking up the grids beyond 8 cores? I suggest you submit a ticket to <a href="https://bitbucket.org/einsteintoolkit/tickets/">https://bitbucket.org/einsteintoolkit/tickets/</a> with the full instructions on reproducing the problem.<br><br>* Invalid MIT-MAGIC-COOKIE-1 Key<br>You're correct in your assumption that the Invalid MIT-MAGIC-COOKIE-1 key issue might not be directly causing the problem you're facing with the BNSM runs, especially since the simulations ran successfully despite the warning. However, I'd still recommend addressing this issue to eliminate it as a potential confounding factor.<br><br><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="font-size:12.8px">-Zach</div><div style="font-size:12.8px"><br></div><span style="font-size:12.8px">*     *     *</span><br style="font-size:12.8px"><span style="font-size:12.8px">Zachariah Etienne</span></div><div><span style="font-size:12.8px">Assoc. Prof. of Physics, U. of Idaho</span></div><div><span style="font-size:12.8px">Adjunct Assoc. Prof. of Physics & Astronomy, West Virginia U.</span></div><div dir="ltr"><div><a href="https://etienneresearch.com" target="_blank">https://etienneresearch.com</a></div><div><a href="https://blackholesathome.net/" target="_blank">https://blackholesathome.net</a><br></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Oct 14, 2023 at 6:36 AM Shamim Haque 1910511 <<a href="mailto:shamims@iiserb.ac.in">shamims@iiserb.ac.in</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="color:rgb(0,0,0)"><div class="gmail_default">Hi Zach,</div><div class="gmail_default"><br></div><div class="gmail_default">I retried it on a workstation with fairly good configuration (80 threads, 256 GB RAM), where I ran test BNSM simulations. The problem remains the same. </div><div class="gmail_default"><font color="#000000"><br></font></div><div class="gmail_default"><font color="#000000">I cannot use more than 8 procs (num-threads 1) for this parfile. Otherwise, it says, '</font><span style="color:rgb(34,34,34)">grid structure consistency check failed</span>'. So, I guess this simulation is not demanding too much memory. But is there a better way to check how much memory is expected?</div><div style="color:rgb(34,34,34)"><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br></div></div></div></div></div></div></div></div><div class="gmail_default">Secondly, I checked the error files from my old BNSM runs, those files also contain the following lines indicating Invalid MIT-MAGIC-COOKIE-1 key:</div><div class="gmail_default" style="color:rgb(34,34,34)"><font color="#a64d79"><br></font></div><div class="gmail_default" style="color:rgb(34,34,34)"><i><font size="1" color="#a64d79">+ mpirun --use-hwthread-cpus -np 10 /home/astro208/simulations/t1.4_had_1.4M/SIMFACTORY/exe/cactus_sim -L 3 /home/astro208/simulations/t1.4_had_1.4M/output-0000/t1.4_had_1.4M.par<br>Invalid MIT-MAGIC-COOKIE-1 key--------------------------------------------------------------------------<br>WARNING: No preset parameters were found for the device that Open MPI<br>detected:<br>  Local host:            astro<br>  Device name:           irdma0<br>  Device vendor ID:      0x8086<br>  Device vendor part ID: 14289<br>Default device parameters will be used, which may result in lower<br>performance.  You can edit any of the files specified by the<br>btl_openib_device_param_files MCA parameter to set values for your<br>device.<br>NOTE: You can turn off this warning by setting the MCA parameter<br>      btl_openib_warn_no_device_params_found to 0.<br>--------------------------------------------------------------------------<br>No OpenFabrics connection schemes reported that they were able to be<br>used on a specific port.  As such, the openib BTL (OpenFabrics<br>support) will be disabled for this port.<br><br>  Local host:           astro<br>  Local device:         irdma1<br>  Local port:           1<br>  CPCs attempted:       udcm<br>--------------------------------------------------------------------------<br>Open MPI failed an OFI Libfabric library call (fi_endpoint).  This is highly<br>unusual; your job may behave unpredictably (and/or abort) after this.<br>  Local host: astro<br>  Location: mtl_ofi_component.c:629<br>  Error: Unspecified error (256)<br>--------------------------------------------------------------------------</font></i><br></div><div class="gmail_default" style="color:rgb(34,34,34)"><i><font size="1" color="#a64d79"><br></font></i></div><div class="gmail_default" style="color:rgb(34,34,34)"><font color="#000000">These simulations ran successfully. Even though Invalid-MAGIC-COOKIE could be a separate issue, it may not be the source of this particular problem, but I could be totally wrong here. </font></div><div class="gmail_default" style="color:rgb(34,34,34)"><font color="#000000"><br></font></div><div class="gmail_default" style="color:rgb(34,34,34)"><font color="#000000">Please let me know your thoughts on this.</font></div><div class="gmail_default" style="color:rgb(34,34,34)"><font color="#000000"><br></font></div><div class="gmail_default" style="color:rgb(34,34,34)"><font color="#000000">Regards</font></div><div class="gmail_default" style="color:rgb(34,34,34)"><span style="color:rgb(102,102,102)">Shamim Haque</span><br></div><div style="color:rgb(34,34,34)"><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font color="#666666">Senior Research Fellow (SRF)<br></font><div><font color="#666666">Department of Physics</font></div><div><font color="#666666">IISER Bhopal</font></div></div></div></div></div></div></div></div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font color="#666666">Shamim Haque</font></div><div dir="ltr"><font color="#666666">Senior Research Fellow (SRF)<br></font><div><font color="#666666">Department of Physics</font></div><div><font color="#666666">IISER Bhopal</font></div></div></div></div></div></div></div></div></div></div><br></div><div hspace="streak-pt-mark" style="max-height:1px"><img alt="" style="width: 0px; max-height: 0px; overflow: hidden;" src="https://mailfoogae.appspot.com/t?sender=ac2hhbWltc0BpaXNlcmIuYWMuaW4%3D&type=zerocontent&guid=047de247-5f3e-4e63-bd8f-482b15e5eb79"><font color="#ffffff" size="1">ᐧ</font></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 12, 2023 at 8:15 PM Zach Etienne <<a href="mailto:zachetie@gmail.com" target="_blank">zachetie@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Shamim,<div><br></div><div>Invalid MIT-MAGIC-COOKIE-1 key: This is related to X11 forwarding and authentication. The MIT-MAGIC-COOKIE-1 is an authentication scheme used by X11, the Linux windowing system. When you're trying to run a program that requires graphical output on a remote machine, the X11 system uses these "magic cookies" to authenticate the user. If there's a mismatch or the key is invalid, you will be denied permission.<br></div><div><br></div><div>We believe the segmentation fault is probably due to running a parameter file on a computer that doesn't have enough memory. The error file seemed to indicate running on a laptop.</div><div><br clear="all"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="font-size:12.8px">-Zach</div><div style="font-size:12.8px"><br></div><span style="font-size:12.8px">*     *     *</span><br style="font-size:12.8px"><span style="font-size:12.8px">Zachariah Etienne</span></div><div><span style="font-size:12.8px">Assoc. Prof. of Physics, U. of Idaho</span></div><div><span style="font-size:12.8px">Adjunct Assoc. Prof. of Physics & Astronomy, West Virginia U.</span></div><div dir="ltr"><div><a href="https://etienneresearch.com" target="_blank">https://etienneresearch.com</a></div><div><a href="https://blackholesathome.net/" target="_blank">https://blackholesathome.net</a><br></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 12, 2023 at 6:34 AM Shamim Haque 1910511 <<a href="mailto:shamims@iiserb.ac.in" target="_blank">shamims@iiserb.ac.in</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="color:rgb(0,0,0)">Hello all,</div><div class="gmail_default" style="color:rgb(0,0,0)"><br></div><div class="gmail_default" style="color:rgb(0,0,0)">I am trying to use the bbig.par parameter file to extract the metric and thermodynamic information for an isolated star ID from Lorene. This parfile is available in Meudon_Mag_NS/par folder.</div><div class="gmail_default" style="color:rgb(0,0,0)"><br></div><div class="gmail_default" style="color:rgb(0,0,0)">I tried this par file with the given Lorene ID. It is supposed to exit after iter 0 with IO outfiles. However, it does not give the requested outputs upon completion of the simulation. I can see the Lorene information is read correctly in the out file, but I am unable to find out the problem.</div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font color="#666666"><br></font></div><div dir="ltr"><font color="#666666"><span class="gmail_default" style="color:rgb(0,0,0)">I need some help with this. I have attached the parfile, ID, outfile and error file for reference.</span></font></div><div dir="ltr"><font color="#666666"><br></font></div><div dir="ltr"><font color="#666666"><span class="gmail_default" style="color:rgb(0,0,0)">Regards</span></font></div><div dir="ltr"><font color="#666666">Shamim Haque</font></div><div dir="ltr"><font color="#666666">Senior Research Fellow (SRF)<br></font><div><font color="#666666">Department of Physics</font></div><div><font color="#666666">IISER Bhopal</font></div></div></div></div></div></div></div></div></div></div></div><div hspace="streak-pt-mark" style="max-height:1px"><img alt="" style="width: 0px; max-height: 0px; overflow: hidden;" src="https://mailfoogae.appspot.com/t?sender=ac2hhbWltc0BpaXNlcmIuYWMuaW4%3D&type=zerocontent&guid=bd2dce76-7e0b-4584-a6a6-2116994b9456"><font color="#ffffff" size="1">ᐧ</font></div>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
<a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
</blockquote></div>
</blockquote></div>
</blockquote></div>