<div dir="ltr"><div class="gmail_default" style="color:#000000">Dear Roland, Steve and Frank,</div><div class="gmail_default" style="color:#000000"><br></div><div class="gmail_default" style="color:#000000">I am able to compile ETK properly with GNU compiler 8.3.0. The simulations are also running successfully. </div><div class="gmail_default" style="color:#000000"><br></div><div class="gmail_default" style="color:#000000">For Intel, the licence issue was cleared after using -j1, but there are a few issues with other libraries, so I have stopped exploring this route right now, maybe I'll try it later.</div><div class="gmail_default" style="color:#000000"><br></div><div class="gmail_default" style="color:#000000">Thank you for all the help.</div><div class="gmail_default" style="color:#000000"><br></div><div class="gmail_default" style="color:#000000">Regards</div><div class="gmail_default" style="color:#000000"><span style="color:rgb(102,102,102)">Shamim Haque</span><br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font color="#666666">Senior Research Fellow (SRF)<br></font><div><font color="#666666">Department of Physics</font></div><div><font color="#666666">IISER Bhopal</font></div></div></div></div></div></div></div><br></div><div hspace="streak-pt-mark" style="max-height:1px"><img alt="" style="width:0px;max-height:0px;overflow:hidden" src="https://mailfoogae.appspot.com/t?sender=ac2hhbWltc0BpaXNlcmIuYWMuaW4%3D&type=zerocontent&guid=3d2f25d6-8870-46bf-998c-bb889c0c13a2"><font color="#ffffff" size="1">ᐧ</font></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jun 6, 2023 at 6:56 PM Roland Haas <<a href="mailto:rhaas@illinois.edu">rhaas@illinois.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello Shamim Haque,<br>
<br>
"icpc unable to checkout FLEXlm license" is caused by the compiler<br>
being unable to contact the license server. This is unrelated to the<br>
C++ compilation issue really.<br>
<br>
To be sure:<br>
<br>
* the only thing you did was add<br>
  "-gxx-name=/opt/ohpc/pub/compiler/gcc/8.3.0/bin/g++" was it? In<br>
  particular you did not add / remove any "module load" commands (e.g.,<br>
  added a module load gcc after an existing module load intel)? I am<br>
  asking b/c module load gcc may unload the intel compiler module and<br>
  unset the environment variable that the Intel compiler uses to<br>
  determine how to contact the license server.<br>
<br>
* you may also try to compile with just "make -j1" or<br>
  "simfactory/bin/sim build -j1" to use only a single compiler instance<br>
  in case the number of compiler licenses available is limited or the<br>
  license server overwhelmed by too many concurrent compilations (by<br>
  you or other users of the cluster)<br>
<br>
The issue with fftw3 and using gcc is that fftw3 (you are using a<br>
system provided fftw3? Either from a module or otherwise provided by<br>
the admin) has been compiled with the Intel compiler and thus cannot be<br>
used with the GNU compiler. You an set "FFTW_DIR = BUILD" to make the<br>
Einstein Toolkit build a copy from scratch using an included tar file.<br>
Not that this may be the case for other libraries as well. In<br>
particular you usually need to ensure that the MPI library used was<br>
compiled with the same compiler you use to compile the simulation code.<br>
<br>
Yours,<br>
Roland<br>
<br>
> Hello Roland,<br>
> <br>
> Thank you for the reply.<br>
> <br>
> I pointed -gxx-name to gcc/8.3.0, which resulted in an error related to the<br>
> "icpc unable to checkout FLEXlm license". I also tried to use a<br>
> different intel compiler (and point -gxx-name to gcc/11.1.0) to check if<br>
> the error can go away, but it remains the same. I communicated this to the<br>
> HPC admin and awaiting their response; please let me know if I should fix<br>
> something in my configuration. I have attached the out file<br>
> (intel_compile.out), config log (intel_config.log),<br>
> and optionlist (intel.cfg) for reference.<br>
> <br>
> Meanwhile, I also attempted to configure ET with gcc/11.1.0, which resulted<br>
> in some issues regarding the FFTW3. I have contacted the admins regarding<br>
> this, but please let me know if it is something to be fixed within the<br>
> optionlist. I have attached the out file (gcc_compile.out), config log<br>
> (gcc_config.log), and optionlist (gcc.cfg) for reference.<br>
> <br>
> The error in the output file says the following:<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> *Formaline:  is still running, e.g. the final link stage.)/usr/bin/ld:<br>
> warning: libimf.so, needed by /home/apps/fftw3/fftw3.3.8/lib/libfftw3.so,<br>
> not found (try using -rpath or -rpath-link)/usr/bin/ld: warning:<br>
> libsvml.so, needed by /home/apps/fftw3/fftw3.3.8/lib/libfftw3.so, not found<br>
> (try using -rpath or -rpath-link)/usr/bin/ld: warning: libirng.so, needed<br>
> by /home/apps/fftw3/fftw3.3.8/lib/libfftw3.so, not found (try using -rpath<br>
> or -rpath-link)/usr/bin/ld: warning: libintlc.so.5, needed by<br>
> /home/apps/fftw3/fftw3.3.8/lib/libfftw3.so, not found (try using -rpath or<br>
> -rpath-link)/usr/bin/ld: warning: libgfortran.so.3, needed by<br>
> /lib/../lib64/liblapack.so, may conflict with<br>
> libgfortran.so.5/home/apps/fftw3/fftw3.3.8/lib/libfftw3.so: undefined<br>
> reference to<br>
> `__intel_cpu_features_init_x'/home/apps/fftw3/fftw3.3.8/lib/libfftw3.so:<br>
> undefined reference to<br>
> `__svml_sincos2'/home/apps/fftw3/fftw3.3.8/lib/libfftw3.so: undefined<br>
> reference to<br>
> `_intel_fast_memset'/home/apps/fftw3/fftw3.3.8/lib/libfftw3.so: undefined<br>
> reference to<br>
> `__intel_cpu_feature_indicator_x'/home/apps/fftw3/fftw3.3.8/lib/libfftw3.so:<br>
> undefined reference to<br>
> `_intel_fast_memmove'/home/apps/fftw3/fftw3.3.8/lib/libfftw3.so: undefined<br>
> reference to `_intel_fast_memcpy'*<br>
> <br>
> Thanks in advance for all the help.<br>
> <br>
> Regards<br>
> Shamim<br>
> <br>
> ᐧ<br>
> <br>
> On Fri, Jun 2, 2023 at 1:31 AM Roland Haas <<a href="mailto:rhaas@illinois.edu" target="_blank">rhaas@illinois.edu</a>> wrote:<br>
> <br>
> > Hello Shamim Haque,<br>
> ><br>
> > This most likely is caused by not having a full C++11 software stack<br>
> > enabled.<br>
> ><br>
> > The Intel compiler always uses the C++ STL library of the GNU g++<br>
> > compiler and must be matched up with a compatible g++ compiler's STL<br>
> > to correctly support C++11.<br>
> ><br>
> > This ticket (the last of many, hopefully) contains details:<br>
> ><br>
> ><br>
> > <a href="https://urldefense.com/v3/__https://bitbucket.org/einsteintoolkit/tickets/issues/2663/add-an-notice-about-minimum-intel-gcc__;!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlRGRwlyl$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__https://bitbucket.org/einsteintoolkit/tickets/issues/2663/add-an-notice-about-minimum-intel-gcc__;!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlRGRwlyl$</a> <br>
> ><br>
> > Basically, the fix is to find a gcc compiler at least version 6 on your<br>
> > cluster, then pass the option<br>
> ><br>
> > -gxx-name PATH-TO-GXX<br>
> ><br>
> > to icpc in the CXXFLAGS option list variable (see eg<br>
> ><br>
> > <a href="https://urldefense.com/v3/__https://bitbucket.org/simfactory/simfactory2/src/7e2592d264b1afe9ca2cb54bcab8dd9e4165cf98/mdb/optionlists/smic-openmpi.cfg?at=master*smic-openmpi.cfg-15:16__;Iw!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlSBbGTFf$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__https://bitbucket.org/simfactory/simfactory2/src/7e2592d264b1afe9ca2cb54bcab8dd9e4165cf98/mdb/optionlists/smic-openmpi.cfg?at=master*smic-openmpi.cfg-15:16__;Iw!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlSBbGTFf$</a> <br>
> > ).<br>
> ><br>
> > If there is no gcc compiler version 6 or newer installed in the system,<br>
> > you will have to contact the administrators and ask them about it.<br>
> ><br>
> > The demo code in the description of<br>
> > <a href="https://urldefense.com/v3/__https://bitbucket.org/cactuscode/cactus/pull-requests/152__;!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlUmecdAQ$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__https://bitbucket.org/cactuscode/cactus/pull-requests/152__;!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlUmecdAQ$</a>  may help<br>
> > demonstrate to the admins what the issue is.<br>
> ><br>
> > Yours,<br>
> > Roland<br>
> >  <br>
> > > Hello All,<br>
> > ><br>
> > > I have made little progress on compiling ETK on this cluster, as the  <br>
> > admins  <br>
> > > allowed me to compile ETK on the login node. I am finding new errors and  <br>
> > am  <br>
> > > unable to debug the issue. I am trying to configure ETK using Intel19,  <br>
> > and  <br>
> > > the error says the following:<br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > >  <br>
> > */home/shamims.iiserb/ET_debug/Cactus/arrangements/Carpet/CarpetMask/src/mask_surface.cc(160):  <br>
> > > error: more than one instance of overloaded function "CarpetMask::isnan"<br>
> > > matches the argument list:            function "isnan(double)"<br>
> > > function "std::isnan(double)"            argument types are: (CCTK_REAL8)<br>
> > >             assert(not isnan(phi));              ^compilation aborted for<br>
> > >  <br>
> > /home/shamims.iiserb/ET_debug/Cactus/configs/sim/build/CarpetMask/mask_surface.cc  <br>
> > > (code 2)make[3]: *** [mask_surface.cc.o] Error 2make[2]: ***  <br>
> > [make.checked]  <br>
> > > Error 2make[1]: ***<br>
> > >  <br>
> > [/home/shamims.iiserb/ET_debug/Cactus/configs/sim/lib/libthorn_CarpetMask.a]  <br>
> > > Error 2make: *** [sim] Error 2*<br>
> > ><br>
> > > I have attached the machinefile, optionlist, config log and full output<br>
> > > file for reference. I configured the scripts using the available example<br>
> > > optionlist and machinefile for supermuc_ng and stampede2. Please let me<br>
> > > know if more info is required, and thanks in advance for your help.<br>
> > ><br>
> > > Regards<br>
> > > Shamim Haque<br>
> > > Senior Research Fellow (SRF)<br>
> > > Department of Physics<br>
> > > IISER Bhopal<br>
> > ><br>
> > > ᐧ<br>
> > ><br>
> > > On Fri, May 19, 2023 at 2:32 PM Shamim Haque 1910511 <<br>
> > <a href="mailto:shamims@iiserb.ac.in" target="_blank">shamims@iiserb.ac.in</a>><br>
> > > wrote:<br>
> > >  <br>
> > > > Hello Roland,<br>
> > > ><br>
> > > > Thank you for the reply. Yes, I am trying to compile ETK in the  <br>
> > computing  <br>
> > > > node via sbatch queue. I am in touch with the system admin to resolve<br>
> > > > the issue with the compilers.<br>
> > > ><br>
> > > > Regards<br>
> > > > Shamim Haque<br>
> > > > Senior Research Fellow (SRF)<br>
> > > > Department of Physics<br>
> > > > IISER Bhopal<br>
> > > ><br>
> > > > ᐧ<br>
> > > ><br>
> > > > On Thu, May 18, 2023 at 7:32 PM Roland Haas <<a href="mailto:rhaas@illinois.edu" target="_blank">rhaas@illinois.edu</a>>  <br>
> > wrote:  <br>
> > > >  <br>
> > > >> Hello Shamin,<br>
> > > >><br>
> > > >> A missing math.h would point to a faulty compiler installation. Since<br>
> > > >> you are trying to compile (are you?) ona compute node in a running  <br>
> > job,  <br>
> > > >> my guess would be that the cluster admins are not providing compilers<br>
> > > >> on the compute nodes but only on the login nodes.<br>
> > > >><br>
> > > >> This would be something to contact your cluster's help desk about.<br>
> > > >><br>
> > > >> Yours,<br>
> > > >> Roland<br>
> > > >>  <br>
> > > >> > Hello Roland,<br>
> > > >> ><br>
> > > >> > I did try that fix; the error remains the same. Actually, we landed  <br>
> > on  <br>
> > > >> an  <br>
> > > >> > even more primitive problem, where Steve suggested a basic test,  <br>
> > that  <br>
> > > >> is to  <br>
> > > >> > compile the following code:<br>
> > > >> ><br>
> > > >> ><br>
> > > >> ><br>
> > > >> ><br>
> > > >> ><br>
> > > >> ><br>
> > > >> ><br>
> > > >> > *#include <math.h>#include <stdio.h>int main() {    printf("%f\n",<br>
> > > >> > M_PI);    return 0;}*<br>
> > > >> ><br>
> > > >> > This program compiles just fine in the login node but gives out the<br>
> > > >> > following error while compiling it via jobscript submission in the  <br>
> > > >> sbatch  <br>
> > > >> > queue:<br>
> > > >> ><br>
> > > >> > prog.cpp:1:18: fatal error: math.h: No such file or directory<br>
> > > >> >  #include <math.h><br>
> > > >> >                   ^<br>
> > > >> > compilation terminated.<br>
> > > >> ><br>
> > > >> > ----OR-----<br>
> > > >> ><br>
> > > >> >  <br>
> > > >>  <br>
> > /home/apps/gcc-10.2.0/include/c++/10.2.0/x86_64-pc-linux-gnu/bits/os_defines.h:39:10:<br>
> >  <br>
> > > >> > fatal error: features.h: No such file or directory<br>
> > > >> >    39 | #include <features.h><br>
> > > >> >       |          ^~~~~~~~~~~~<br>
> > > >> > compilation terminated.<br>
> > > >> ><br>
> > > >> > I have reported this problem to the HPC admin and await their  <br>
> > response.  <br>
> > > >> ><br>
> > > >> > Regards<br>
> > > >> > Shamim Haque<br>
> > > >> > Senior Research Fellow (SRF)<br>
> > > >> > Department of Physics<br>
> > > >> > IISER Bhopal<br>
> > > >> ><br>
> > > >> > ᐧ<br>
> > > >> ><br>
> > > >> > On Fri, May 12, 2023 at 12:20 AM Roland Haas <<a href="mailto:rhaas@illinois.edu" target="_blank">rhaas@illinois.edu</a>>  <br>
> > > >> wrote:  <br>
> > > >> >  <br>
> > > >> > > Hello all,<br>
> > > >> > ><br>
> > > >> > > Since the error is a missing M_PI and the configure script already<br>
> > > >> > > gives a suggested fix:<br>
> > > >> > ><br>
> > > >> > > Try adding -D_XOPEN_SOURCE to CPPFLAGS.<br>
> > > >> > ><br>
> > > >> > > have you tried adding:<br>
> > > >> > ><br>
> > > >> > > CPPFLAGS=-D_XOPEN_SOURCE<br>
> > > >> > ><br>
> > > >> > > to your option list file before compiling?<br>
> > > >> > ><br>
> > > >> > > Yours,<br>
> > > >> > > Roland<br>
> > > >> > >  <br>
> > > >> > > > Thanks Steve. I have raised complaint to the admin about this  <br>
> > issue.  <br>
> > > >> > > ><br>
> > > >> > > > On Thu, May 11, 2023, 11:18 PM Steven R. Brandt <  <br>
> > > >> <a href="mailto:sbrandt@cct.lsu.edu" target="_blank">sbrandt@cct.lsu.edu</a>>  <br>
> > > >> > > wrote:  <br>
> > > >> > > >  <br>
> > > >> > > > > I would talk to the system administrators about that. There  <br>
> > is  <br>
> > > >> > > definitely  <br>
> > > >> > > > > something wrong with your compiler install if you can't find  <br>
> > > >> math.h.  <br>
> > > >> > > > ><br>
> > > >> > > > > --Steve<br>
> > > >> > > > > On 5/11/2023 2:02 AM, Shamim Haque 1910511 wrote:<br>
> > > >> > > > ><br>
> > > >> > > > > Dear Steve,<br>
> > > >> > > > ><br>
> > > >> > > > > I just rechecked the cpp program to output M_PI in the  <br>
> > computing  <br>
> > > >> nodes,  <br>
> > > >> > > > > and that is not working right now, which was somehow working  <br>
> > fine  <br>
> > > >> a few  <br>
> > > >> > > > > days ago. I also tried different gcc versions (4.8, 10.2,  <br>
> > 11.1,  <br>
> > > >> > > gnu8/8.3)  <br>
> > > >> > > > > available in the cluster. All report similar issue:<br>
> > > >> > > > ><br>
> > > >> > > > > prog.cpp:1:18: fatal error: math.h: No such file or directory<br>
> > > >> > > > >  #include <math.h><br>
> > > >> > > > >                   ^<br>
> > > >> > > > > compilation terminated.<br>
> > > >> > > > ><br>
> > > >> > > > > ----OR-----<br>
> > > >> > > > ><br>
> > > >> > > > >  <br>
> > > >> > >  <br>
> > > >>  <br>
> > /home/apps/gcc-10.2.0/include/c++/10.2.0/x86_64-pc-linux-gnu/bits/os_defines.h:39:10:  <br>
> > > >>  <br>
> > > >> > > > > fatal error: features.h: No such file or directory<br>
> > > >> > > > >    39 | #include <features.h><br>
> > > >> > > > >       |          ^~~~~~~~~~~~<br>
> > > >> > > > > compilation terminated.<br>
> > > >> > > > ><br>
> > > >> > > > > The cpp code seems to work fine in login node, as it gives  <br>
> > out  <br>
> > > >> the  <br>
> > > >> > > value  <br>
> > > >> > > > > of pi upon execution. I am contacting the hpc admin to  <br>
> > resolve  <br>
> > > >> this  <br>
> > > >> > > issue.  <br>
> > > >> > > > ><br>
> > > >> > > > > I am attaching the test code (prog.cpp), the sbatch  <br>
> > jobscript  <br>
> > > >> (prog.sh)  <br>
> > > >> > > > > and the output file (slurn-117473.out), if you would like to  <br>
> > have  <br>
> > > >> a  <br>
> > > >> > > look at  <br>
> > > >> > > > > it.<br>
> > > >> > > > ><br>
> > > >> > > > > Please let me know if I should try something different to  <br>
> > get  <br>
> > > >> this  <br>
> > > >> > > working.  <br>
> > > >> > > > ><br>
> > > >> > > > > Regards<br>
> > > >> > > > > Shamim Haque<br>
> > > >> > > > > Senior Research Fellow (SRF)<br>
> > > >> > > > > Department of Physics<br>
> > > >> > > > > IISER Bhopal<br>
> > > >> > > > ><br>
> > > >> > > > > ᐧ<br>
> > > >> > > > ><br>
> > > >> > > > > On Mon, May 8, 2023 at 7:25 PM Shamim Haque 1910511 <  <br>
> > > >> > > <a href="mailto:shamims@iiserb.ac.in" target="_blank">shamims@iiserb.ac.in</a>>  <br>
> > > >> > > > > wrote:<br>
> > > >> > > > >  <br>
> > > >> > > > >> Thanks Steve. I'll make the changes and try again. I'll let  <br>
> > you  <br>
> > > >> know  <br>
> > > >> > > the  <br>
> > > >> > > > >> outcome.<br>
> > > >> > > > >><br>
> > > >> > > > >> Regards<br>
> > > >> > > > >> Shamim Haque<br>
> > > >> > > > >> Senior Research Fellow (SRF)<br>
> > > >> > > > >> Department of Physics<br>
> > > >> > > > >> IISER Bhopal<br>
> > > >> > > > >><br>
> > > >> > > > >> ᐧ<br>
> > > >> > > > >><br>
> > > >> > > > >> On Mon, May 8, 2023 at 7:21 PM Steven R. Brandt <  <br>
> > > >> <a href="mailto:sbrandt@cct.lsu.edu" target="_blank">sbrandt@cct.lsu.edu</a>>  <br>
> > > >> > > > >> wrote:<br>
> > > >> > > > >>  <br>
> > > >> > > > >>> That tends to make me think you aren't using the compiler  <br>
> > you  <br>
> > > >> think  <br>
> > > >> > > > >>> you're using. You could put full paths in the .cfg files  <br>
> > and  <br>
> > > >> > > recompile from  <br>
> > > >> > > > >>> scratch.<br>
> > > >> > > > >>><br>
> > > >> > > > >>> i.e.<br>
> > > >> > > > >>><br>
> > > >> > > > >>> CXX = /full/path/to/icc<br>
> > > >> > > > >>><br>
> > > >> > > > >>> --Steve<br>
> > > >> > > > >>> On 5/3/2023 3:26 PM, Shamim Haque 1910511 wrote:<br>
> > > >> > > > >>><br>
> > > >> > > > >>> Yes, this gives the value of Pi successfully, before  <br>
> > starting  <br>
> > > >> the  <br>
> > > >> > > > >>> compilation:<br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>> */home/vkerni.iitr/sam/trial 3.141593 Current machine:  <br>
> > > >> paramganga3  <br>
> > > >> > > Using  <br>
> > > >> > > > >>> configuration: sim Reconfiguring sim Writing configuration  <br>
> > to:  <br>
> > > >> > > > >>>  <br>
> > /home/vkerni.iitr/sam/ET_debug/Cactus/configs/sim/OptionList  <br>
> > > >> Cactus -  <br>
> > > >> > > > >>> version: 4.12.0 Reconfiguring sim. *<br>
> > > >> > > > >>> *.*<br>
> > > >> > > > >>> *.*<br>
> > > >> > > > >>> *.*<br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>> *checking for M_PI... no configure: error: M_PI not  <br>
> > defined.  <br>
> > > >> Try  <br>
> > > >> > > adding  <br>
> > > >> > > > >>> -D_XOPEN_SOURCE to CPPFLAGS. Error reconfiguring  <br>
> > sim-config  <br>
> > > >> make: ***  <br>
> > > >> > > > >>> [sim-config] Error 2 *<br>
> > > >> > > > >>><br>
> > > >> > > > >>><br>
> > > >> > > > >>> Shamim Haque<br>
> > > >> > > > >>> Senior Research Fellow (SRF)<br>
> > > >> > > > >>> Department of Physics<br>
> > > >> > > > >>> IISER Bhopal<br>
> > > >> > > > >>><br>
> > > >> > > > >>> ᐧ<br>
> > > >> > > > >>><br>
> > > >> > > > >>> On Thu, May 4, 2023 at 12:29 AM Steven Brandt <  <br>
> > > >> <a href="mailto:sbrandt@cct.lsu.edu" target="_blank">sbrandt@cct.lsu.edu</a>>  <br>
> > > >> > > > >>> wrote:<br>
> > > >> > > > >>>  <br>
> > > >> > > > >>>> So, sanity check, can you compile the following program  <br>
> > > >> outside of  <br>
> > > >> > > > >>>> Cactus?<br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> #include <math.h><br>
> > > >> > > > >>>> #include <stdio.h><br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> int main() {<br>
> > > >> > > > >>>>     printf("%f\n", M_PI);<br>
> > > >> > > > >>>>     return 0;<br>
> > > >> > > > >>>> }<br>
> > > >> > > > >>>> On 5/3/2023 1:50 PM, Shamim Haque 1910511 wrote:<br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> Dear Steve,<br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> I tried gcc (10 and 11) as well and I am stuck with the  <br>
> > > >> following  <br>
> > > >> > > error:  <br>
> > > >> > > > >>>> *configure: error: M_PI not defined. Try adding  <br>
> > > >> -D_XOPEN_SOURCE to  <br>
> > > >> > > > >>>> CPPFLAGS.*<br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> This also happened for Intel (2020 and 2019). I have  <br>
> > attached  <br>
> > > >> both  <br>
> > > >> > > the  <br>
> > > >> > > > >>>> output files here.<br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> Please ignore the out file in the first email, I have  <br>
> > > >> uploaded  <br>
> > > >> > > another  <br>
> > > >> > > > >>>> out file by mistake. The rest of the files are correct in  <br>
> > the  <br>
> > > >> first  <br>
> > > >> > > mail.  <br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> Regards<br>
> > > >> > > > >>>> Shamim Haque<br>
> > > >> > > > >>>> Senior Research Fellow (SRF)<br>
> > > >> > > > >>>> Department of Physics<br>
> > > >> > > > >>>> IISER Bhopal<br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> ᐧ<br>
> > > >> > > > >>>><br>
> > > >> > > > >>>> On Wed, May 3, 2023 at 8:04 PM Steven Brandt <  <br>
> > > >> <a href="mailto:sbrandt@cct.lsu.edu" target="_blank">sbrandt@cct.lsu.edu</a>>  <br>
> > > >> > > > >>>> wrote:<br>
> > > >> > > > >>>>  <br>
> > > >> > > > >>>>> I notice from the output that your compiler claims  <br>
> > "limits.h"  <br>
> > > >> is  <br>
> > > >> > > > >>>>> missing. Possibly there's something wrong with your icc  <br>
> > > >> setup?  <br>
> > > >> > > Maybe you  <br>
> > > >> > > > >>>>> should try using gcc / gfortran instead.<br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> --Steve<br>
> > > >> > > > >>>>> On 5/3/2023 8:20 AM, Shamim Haque 1910511 wrote:<br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> Dear Frank,<br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> I added the alias pattern for the computing nodes and now  <br>
> > ETK  <br>
> > > >> can  <br>
> > > >> > > > >>>>> detect the cluster (checked by asking "whoami") during  <br>
> > the  <br>
> > > >> batch  <br>
> > > >> > > queuing.  <br>
> > > >> > > > >>>>> I'll get in touch with the admins to include 'patch'.<br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> However, the problem still persists, having assured that  <br>
> > the  <br>
> > > >> > > correct  <br>
> > > >> > > > >>>>> machine file and option list are being used during the  <br>
> > > >> compilation.  <br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> Regards<br>
> > > >> > > > >>>>> Shamim Haque<br>
> > > >> > > > >>>>> Senior Research Fellow (SRF)<br>
> > > >> > > > >>>>> Department of Physics<br>
> > > >> > > > >>>>> IISER Bhopal<br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> ᐧ<br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> On Wed, May 3, 2023 at 3:49 PM Frank Loeffler <<br>
> > > >> > > > >>>>> <a href="mailto:frank.loeffler@uni-jena.de" target="_blank">frank.loeffler@uni-jena.de</a>> wrote:<br>
> > > >> > > > >>>>>  <br>
> > > >> > > > >>>>>> Hi Shamim<br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>> On Wed, May 03, 2023 at 03:11:49PM +0530, Shamim Haque  <br>
> > > >> 1910511  <br>
> > > >> > > wrote:  <br>
> > > >> > > > >>>>>> >We are trying to compile ETK on ParamGanga at IIT  <br>
> > Roorkee.  <br>
> > > >> The  <br>
> > > >> > > > >>>>>> >compilation<br>
> > > >> > > > >>>>>> >stops at a very initial step and gives out the error:<br>
> > > >> > > > >>>>>> ><br>
> > > >> > > > >>>>>> >*checking whether the Fortran compiler (gfortran  )  <br>
> > > >> works...  <br>
> > > >> > > > >>>>>> yeschecking  <br>
> > > >> > > > >>>>>> >whether the Fortran compiler (gfortran  ) is a  <br>
> > > >> > > cross-compiler...  <br>
> > > >> > > > >>>>>> nochecking  <br>
> > > >> > > > >>>>>> >whether the Fortran compiler (gfortran  ) supports  <br>
> > TYPE(*)  <br>
> > > >> for  <br>
> > > >> > > > >>>>>> >CCTK_PointerTo... yeschecking how to run the C  <br>
> > > >> preprocessor...  <br>
> > > >> > > > >>>>>> cppchecking  <br>
> > > >> > > > >>>>>> >for ANSI C header files... nochecking for C99  <br>
> > features...  <br>
> > > >> > > > >>>>>> yeschecking for  <br>
> > > >> > > > >>>>>> >M_PI... noconfigure: error: M_PI not defined. Try  <br>
> > adding  <br>
> > > >> > > > >>>>>> -D_XOPEN_SOURCE to  <br>
> > > >> > > > >>>>>> >CPPFLAGS.*<br>
> > > >> > > > >>>>>> ><br>
> > > >> > > > >>>>>> >We tried adding -D_XOPEN_SOURCE to CPPFLAGS, but it  <br>
> > does  <br>
> > > >> not  <br>
> > > >> > > help.  <br>
> > > >> > > > >>>>>> This  <br>
> > > >> > > > >>>>>> >error is consistent if we set up using Intel Compiler  <br>
> > (2020  <br>
> > > >> or  <br>
> > > >> > > > >>>>>> 2019), or  <br>
> > > >> > > > >>>>>> >gcc (11 or 10). I have attached the outfile, error  <br>
> > file,  <br>
> > > >> > > machine  <br>
> > > >> > > > >>>>>> script,  <br>
> > > >> > > > >>>>>> >and option lists for both cases (Intel and gcc) for  <br>
> > any  <br>
> > > >> > > reference.  <br>
> > > >> > > > >>>>>> ><br>
> > > >> > > > >>>>>> >Secondly, we are not allowed to compile ETK on login  <br>
> > nodes.  <br>
> > > >> So  <br>
> > > >> > > we are  <br>
> > > >> > > > >>>>>> >queuing a job script, which upon execution, enters the  <br>
> > > >> Cactus  <br>
> > > >> > > > >>>>>> directory,  <br>
> > > >> > > > >>>>>> >does "setup-silent", and then executes the build  <br>
> > command.  <br>
> > > >> Is  <br>
> > > >> > > this  <br>
> > > >> > > > >>>>>> the right  <br>
> > > >> > > > >>>>>> >way to compile ETK using the batch script? Or should we  <br>
> > do  <br>
> > > >> > > something  <br>
> > > >> > > > >>>>>> >different? I have attached the shell script  <br>
> > (compile.sh)  <br>
> > > >> used  <br>
> > > >> > > for  <br>
> > > >> > > > >>>>>> sbatch  <br>
> > > >> > > > >>>>>> >queue for reference.  <br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>> I might be wrong, but setup-silent will not use your  <br>
> > machine  <br>
> > > >> file  <br>
> > > >> > > > >>>>>> which<br>
> > > >> > > > >>>>>> contains all the compiler flags, but will setup  <br>
> > something  <br>
> > > >> "from  <br>
> > > >> > > > >>>>>> scratch"<br>
> > > >> > > > >>>>>> instead. According to the logs, this will be, e.g., in<br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>>  <br>
> > > >> > >  <br>
> > > >>  <br>
> > /home/shamims.iiserb/ET_debug/Cactus/repos/simfactory2/mdb/machines/cn139.iitr.ac.in.ini  <br>
> > > >>  <br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>> My guess would be that this misses the compiler flags  <br>
> > > >> necessary to  <br>
> > > >> > > > >>>>>> have<br>
> > > >> > > > >>>>>> M_PI defined. The best way to get this working might be  <br>
> > to  <br>
> > > >> let  <br>
> > > >> > > > >>>>>> simfactory also detect the cluster configuration on the  <br>
> > > >> compute  <br>
> > > >> > > nodes  <br>
> > > >> > > > >>>>>> (where you compile), such that setup-silent is not  <br>
> > needed,  <br>
> > > >> but  <br>
> > > >> > > > >>>>>> instead<br>
> > > >> > > > >>>>>> the correct cluster configuration is found and used  <br>
> > > >> > > automatically. In  <br>
> > > >> > > > >>>>>> order to do that, look at examples of 'aliaspattern' in  <br>
> > the  <br>
> > > >> > > > >>>>>> mdb/machines<br>
> > > >> > > > >>>>>> directory. An alternative would be to tell simfactory  <br>
> > > >> specifically  <br>
> > > >> > > > >>>>>> that<br>
> > > >> > > > >>>>>> you want to use your machine configuration file.<br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>> As a side-note: I noticed the command 'patch' is  <br>
> > missing  <br>
> > > >> too.  <br>
> > > >> > > This is  <br>
> > > >> > > > >>>>>> a<br>
> > > >> > > > >>>>>> tool so common that it should be installed everywhere.  <br>
> > Your  <br>
> > > >> admin  <br>
> > > >> > > is  <br>
> > > >> > > > >>>>>> probably the best person to ask for advise here. It  <br>
> > should  <br>
> > > >> not be  <br>
> > > >> > > too  <br>
> > > >> > > > >>>>>> hard to install yourself, but that should not be  <br>
> > necessary  <br>
> > > >> either,  <br>
> > > >> > > > >>>>>> especially when you are told to compile on compute nodes.<br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>> Frank<br>
> > > >> > > > >>>>>><br>
> > > >> > > > >>>>>>  <br>
> > > >> > > > >>>>> _______________________________________________<br>
> > > >> > > > >>>>> Users mailing listUsers@einsteintoolkit.orghttp://  <br>
> > > >> > > <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">lists.einsteintoolkit.org/mailman/listinfo/users</a>  <br>
> > > >> > > > >>>>><br>
> > > >> > > > >>>>> _______________________________________________<br>
> > > >> > > > >>>>> Users mailing list<br>
> > > >> > > > >>>>> <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
> > > >> > > > >>>>>  <br>
> > > >> > >  <br>
> > > >>  <br>
> > <a href="https://urldefense.com/v3/__http://lists.einsteintoolkit.org/mailman/listinfo/users__;!!DZ3fjg!4xAKSrBYUo_v8jHEbenNg6aQ99Oq9QyeXsjq766lVDVwHAhFJODYjSU6XryKp264bQqDmBcTIA4Srkc4wOCn$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://lists.einsteintoolkit.org/mailman/listinfo/users__;!!DZ3fjg!4xAKSrBYUo_v8jHEbenNg6aQ99Oq9QyeXsjq766lVDVwHAhFJODYjSU6XryKp264bQqDmBcTIA4Srkc4wOCn$</a>  <br>
> > > >>  <br>
> > > >> > > > >>>>>  <br>
> > > >> > > > >>>>  <br>
> > > >> > ><br>
> > > >> > ><br>
> > > >> > > Yours,<br>
> > > >> > > Roland<br>
> > > >> > ><br>
> > > >> > > --<br>
> > > >> > > My email is as private as my paper mail. I therefore support  <br>
> > > >> encrypting  <br>
> > > >> > > and signing email messages. Get my PGP key from  <br>
> > > >>  <br>
> > <a href="https://urldefense.com/v3/__http://pgp.mit.edu__;!!DZ3fjg!5ZGhPGL_16Uj1eN8xbeLFN1po4t2MOETlRoEnO3fr4pBXNdsn_VXBbuywp1tgk0zKYy_oBKphC1Ny-KY0Vh9$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://pgp.mit.edu__;!!DZ3fjg!5ZGhPGL_16Uj1eN8xbeLFN1po4t2MOETlRoEnO3fr4pBXNdsn_VXBbuywp1tgk0zKYy_oBKphC1Ny-KY0Vh9$</a>  <br>
> > > >> .  <br>
> > > >> > >  <br>
> > > >><br>
> > > >> --<br>
> > > >> My email is as private as my paper mail. I therefore support  <br>
> > encrypting  <br>
> > > >> and signing email messages. Get my PGP key from  <br>
> > <a href="https://urldefense.com/v3/__http://pgp.mit.edu__;!!DZ3fjg!9Rc70AgC5_rUJApjF6bdaoR4iJf6WXHxF1UsHWThqJwM8QxTwHKDWcVgn0kphw4Lmahcfk5a8gMIPSpV8TMD$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://pgp.mit.edu__;!!DZ3fjg!9Rc70AgC5_rUJApjF6bdaoR4iJf6WXHxF1UsHWThqJwM8QxTwHKDWcVgn0kphw4Lmahcfk5a8gMIPSpV8TMD$</a><br>
> > .  <br>
> > > >>  <br>
> > > >  <br>
> ><br>
> ><br>
> > --<br>
> > My email is as private as my paper mail. I therefore support encrypting<br>
> > and signing email messages. Get my PGP key from <a href="https://urldefense.com/v3/__http://pgp.mit.edu__;!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlS57nxFF$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://pgp.mit.edu__;!!DZ3fjg!4Z697XBz_Q8JIQSrOykhIqb_thU0tH0XLyTUT1zDMwhZlk1earaaKDJXweGCrJ3LGb2HvWAHbeRBlS57nxFF$</a>  .<br>
> >  <br>
<br>
<br>
Yours,<br>
Roland<br>
<br>
-- <br>
My email is as private as my paper mail. I therefore support encrypting<br>
and signing email messages. Get my PGP key from <a href="http://pgp.mit.edu" rel="noreferrer" target="_blank">http://pgp.mit.edu</a> .<br>
</blockquote></div>