<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi Steve,<div><br></div><div>I&#39;m replying to my original post. You can reproduce the crash with NaNs by using the gallery parfile (nsnstohmns.par) and the id of binary neutron star mergers.</div><div><br></div><div>The version of OneAPI is:</div><div><div>/opt/intel/oneapi/mpi/2021.3.0/bin/mpicc</div></div><div><br></div><div>The command used is:</div><div>$ mpiexec.hydra -env OMP_NUM_THREADS 1 -n 48  ./SIMFACTORY/cactus_bns_1api -L 3 nsnstohmns.par<br></div><div><br></div><div>Other than the Nan production, the remaining issues seem to be fixed somehow by tweaking runtime options. If you have any working runtime configurations, please let me know. </div><div><br></div><div>You can find more (minor?) Intel compiler issues below. But please note the failure of Intel-2020. </div><div><br></div><div>Thanks,</div><div><br></div><div>Hee Il</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Aug 7, 2021 at 6:20 PM Hee Il Kim &lt;<a href="mailto:heeilkim@gmail.com">heeilkim@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">Hi,<br clear="all"><div><br></div><div>I&#39;ve encountered various issues from recent Intel compilers. Except for some versions having header file issues, I could manage to build ET executables but actual run stalled at various steps depending on the compiler versions. For example,</div><div><br></div><div>Case 1. Before initial data generation</div><div>...</div><div><div>INFO (CarpetRegrid2): Enforcing grid structure properties, iteration 1</div><div>INFO (CarpetRegrid2): Enforcing grid structure properties, iteration 0</div><div>INFO (CarpetRegrid2): Enforcing grid structure properties, iteration 1</div></div></div></div></blockquote><div><br></div><div>I couldn&#39;t recall when this happened. But as mentioned below, it might be fixed by taking proper runtime options.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div><br></div><div>Case 2. During reading Lorene data (e.g., while reading resu.d)</div></div></div></blockquote><div> </div><div>Seemingly, this is also related to the runtime environment. Broken load-balancing at some point makes the calculation extremely slow. </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div></div><div>Case 3. Evolution started with normal IDs but NaNs produced from the next evolution step.</div><div><br></div><div>I&#39;ve encountered the issues in various combinations of  OneAPI/IntelMPI and OneAPI/OpenMPI on Centos8 (gcc-8.3.1) machines.</div></div></div></blockquote><div><br></div><div>This is the main issue.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div><br></div><div>There had been no issues for OpenMPI/GCC. But I&#39;ve just found Case 1 is produced on an old machine with devtoolset gcc-6.3.1/openmpi-1.8.4. </div></div></div></blockquote><div><br></div><div>Please forget about this. There were some conflicts between shared memory options (sm, vader, kmem etc), which were fixed by taking proper runtime options.</div><div><br></div><div>I didn&#39;t make a lot of effort because the machine was small and temporarily accessible, but here&#39;s the additional note  for the other Intel versions:</div><div><br></div><div><div>- intel 2020 update 2 cluster edition. <br></div><div>- &amp; intel 2019u0 and 2019u5</div><div>runtime error due to CarpetRegrid2: NaNs are produced because of wrong grid setup.</div><div>...</div><div>ERROR from host <a href="http://xeon2.localdomain.com">xeon2.localdomain.com</a> process 5</div><div>  in thorn CarpetRegrid2, file /home/khi/ET/Turing/arrangements/Carpet/CarpetRegrid2/src/regrid.cc:91:</div><div>  -&gt; Region 3 has 8 levels active, which is larger than the maximum number of refinement levels 6</div><div><br></div><div><div>- Intel 2018u1</div><div>failed to find c++11 compilers.  -std=gnu++11, c++11 both failed even for hello.c</div></div><div><br></div><div><br></div><div>- Intel 2017u2 &amp; 2017u8</div><div>checking for M_PI... no</div><div>configure: error: M_PI not defined. Try adding -D_XOPEN_SOURCE to CPPFLAGS.</div><div><br></div></div><div><br></div><div><br></div></div></div></div></div></div></div></div>