<div dir="ltr">Thanks for the tip Roland.<div><br></div><div>I have tried it and it seems I'm getting the same efficiency nevertheless.</div><div><br></div><div>I was wondering whether, perhaps, the prolongations of the staggered variables are somehow more expensive/inefficient?</div><div><br></div><div>Thanks a lot. </div><div><br></div><div><br><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font color="#999999">Luciano</font></div></div></div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 1, 2024 at 12:29 PM Roland Haas <<a href="mailto:rhaas@illinois.edu">rhaas@illinois.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello Luciano,<br>
<br>
Given that factor of 3 that you notice, it could be that this is mostly<br>
some latency when doing network communication.<br>
<br>
If your memory usage allows it you can experiment with the option<br>
<br>
CarpetLib::combine_sends = "yes"<br>
<br>
see<br>
<br>
<a href="https://bitbucket.org/eschnett/carpet/src/master/CarpetLib/param.ccl#lines-223" rel="noreferrer" target="_blank">https://bitbucket.org/eschnett/carpet/src/master/CarpetLib/param.ccl#lines-223</a><br>
<br>
and see if that makes things go faster.<br>
<br>
This will send all data to all ranks at once instead of going a bit<br>
slower so may help.<br>
<br>
Yours,<br>
Roland<br>
<br>
> Hi, community,<br>
> <br>
> I was doing some benchmark tests for my version of GRHydro with TimerReport<br>
> and I found that a lot of time in the code is spent in SYNCs for the<br>
> staggered variables. Analogous to IllinoisGRMHD I have the following  lines<br>
> in the schedule.ccl<br>
> <br>
>  {<br>
> >       SYNC:<br>
> > GRHydro::em_Ax,GRHydro::em_Ay,GRHydro::em_Az,GRHydro::em_psi6phi<br>
> >       LANG: C<br>
> >     } "Schedule symmetries -- Actually just a placeholder function to<br>
> > ensure prolongations / processor syncs are done BEFORE outer boundaries are<br>
> > updated."  <br>
> <br>
> <br>
> <br>
> According to the timer, this takes 3 times more than other SYNCs. Is there<br>
> a reason for this? Is it related to the prolongation operators for<br>
> staggered variables?<br>
> <br>
> Thanks for your help!<br>
> <br>
> <br>
> <br>
> *Dr. Luciano Combi*<br>
> Postdoctoral Researcher<br>
> Perimeter Institute for Theoretical Physics<br>
> CITA National Fellow (U. of Guelph)<br>
> ---<br>
<br>
<br>
-- <br>
My email is as private as my paper mail. I therefore support encrypting<br>
and signing email messages. Get my PGP key from <a href="http://pgp.mit.edu" rel="noreferrer" target="_blank">http://pgp.mit.edu</a> .<br>
</blockquote></div>