<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>
</head>
<body dir="ltr">
<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Arial,Helvetica,sans-serif;" dir="ltr">
<p><br>
</p>
<meta content="text/html; charset=UTF-8">
<div dir="ltr">
<div id="x_divtagdefaultwrapper" dir="ltr" style="font-size:12pt; color:#000000; font-family:Calibri,Arial,Helvetica,sans-serif">
<p><b><font size="2"><span style="font-size:10pt">Aha, it looks like you have found a bug.&nbsp; Congratulations!&nbsp; A similar problem was discussed in
<a href="https://trac.einsteintoolkit.org/ticket/1936#comment:4" id="LPlnk961436" previewremoved="true">
https://trac.einsteintoolkit.org/ticket/1936#comment:4</a> for the QuasiLocalMeasures thorn.&nbsp; The solution is to merge the multiple tags entries.&nbsp; It's called &quot;development version&quot; for a reason :)&nbsp; There is also a problem with the ADMConstraints thorn.&nbsp; I have
 fixed both of these.&nbsp;</span></font></b></p>
<p><br>
</p>
<p>This is great, thanks a lot Ian. I tested it and the GW150914 now compiles on Stampede-KNL. I will run a test job and see if there are any further issues.
<br>
</p>
<p><br>
</p>
<p><b><font size="2"><span style="font-size: 12pt;"><span style="font-size: 10pt;"></span><span style="font-size: 10pt;">You will need to be more specific about what you mean by &quot;analyse the performance&quot;.&nbsp; What do you want to know?</span></span></font></b></p>
<p><b><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;"><br>
</span></span></font></b></p>
<p><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;">I simply want&nbsp; to compute the wall time taken per iteration, and per coordinate time or roughly the speed of the code. So all I need is to output iteration, coordinate time and walltime
 at that point of simulation. Is there some thorn for that?<br>
</span></span></font></p>
<p><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;"><br>
</span></span></font></p>
<p><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;"><font size="2"><span style="font-size:10pt;"><b>&gt; Lastly, I am still stuck with the BBox error on the GT code. Could you please&nbsp; suggest on how can I resolve this?<br>
<br>
I didn't understand the email that you sent about this.&nbsp; We said that the bug was in the Intel 17 compiler, and that you should be able to fix the problem by using the development version of the toolkit, since a workaround has been added there.&nbsp; It looks like
 you are now using the development version, so the problem shouldn't be there any more.&nbsp; Does the development version still not work?</b><br>
</span></font><br>
</span></span></font></p>
<p><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;">The code of Georgia Tech also uses Cactus interface and I am trying to compile it on Stampede-KNL. I tried using the same machine files and optionlist but ran into the same BBox
 error (<font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;">for the Georgia Tech code</span></span></font>) which I mentioned on the call . Since the ETK development version does not have this issue properly, I tried updating the Cactus
 infrastructure of GT code using this version but again run into some errors. I will first try to test if I can get ETK to work properly on Stampede-KNL and then probably send a more detailed update with the errors I get for this case.
<br>
</span></span></font></p>
<p><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;"><br>
</span></span></font></p>
<p><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;"></span></span></font><font size="2"><span style="font-size:10pt;"><span style="font-size: 12pt;">Thank you so much Ian.</span></span></font></p>
<font size="2"><b><br>
</b></font>
<div id="x_Signature">
<div id="x_divtagdefaultwrapper" dir="ltr" style="font-size:12pt; color:#000000; font-family:Calibri,Arial,Helvetica,sans-serif">
<p><span style="font-family:Calibri,Arial,Helvetica,sans-serif">.............................</span></p>
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span>
<p><span style="font-family:Calibri,Arial,Helvetica,sans-serif">Bhavesh Khamesra</span></p>
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span>
<p><span style="font-family:Calibri,Arial,Helvetica,sans-serif">Graduate Student</span></p>
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span>
<p><span style="font-family:Calibri,Arial,Helvetica,sans-serif">Centre of Relativistic Astrophysics</span></p>
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span>
<p><span style="font-family:Calibri,Arial,Helvetica,sans-serif">Georgia Institute of Technology</span></p>
</div>
</div>
</div>
<hr style="display:inline-block; width:98%" tabindex="-1">
<div id="x_divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>From:</b> Ian Hinder &lt;ian.hinder@aei.mpg.de&gt;<br>
<b>Sent:</b> Thursday, April 13, 2017 6:07:52 AM<br>
<b>To:</b> Khamesra, Bhavesh<br>
<b>Cc:</b> Einstein Toolkit Users<br>
<b>Subject:</b> Re: [Users] GW150914 failing compilation</font>
<div>&nbsp;</div>
</div>
</div>
<font size="2"><span style="font-size:10pt;">
<div class="PlainText"><br>
On 13 Apr 2017, at 06:07, Khamesra, Bhavesh &lt;bhaveshkhamesra@gatech.edu&gt; wrote:<br>
<br>
&gt; Hey everyone, <br>
&gt; <br>
&gt; Continuing the test of the ETK on Stampede-KNL, I ran into some issues. After some modification to optionlist, I was able to compile the einsteintoolkit.ththornlist using the development version. Then, I was trying to compile the GW150914 thornlist but ended
 up this error - <br>
&gt; <br>
&gt; CST Error:<br>
&gt; Repeated element 'tag' in metric_tmp<br>
&gt; Line: 190<br>
&gt; File: /work/04082/tg833814/Cactus_ETK_dev/arrangements/Llama/WaveExtractCPM/interface.ccl<br>
&gt; Repeated item: tags in metric_tmp at /work/04082/tg833814/Cactus_ETK_dev/lib/sbin/interface_parser.pl line 881.<br>
&gt;&nbsp;&nbsp;&nbsp;&nbsp; main::parse_interface_ccl('Llama', 'WaveExtractCPM', 'ARRAY(0x237fd68)', 'Group=HASH(0x28d98a8)', 'HASH(0x23759e0)') called at /work/04082/tg833814/Cactus_ETK_dev/lib/sbin/interface_parser.pl line 103<br>
&gt;&nbsp;&nbsp;&nbsp;&nbsp; main::create_interface_database(3, 'BINDINGS_DIR', '/work/04082/tg833814/Cactus_ETK_dev/configs/GW150914_KNL_test...', 'CONFIG_DIR', '/work/04082/tg833814/Cactus_ETK_dev/configs/GW150914_KNL_test...', 'CCTK_HOME', '/work/04082/tg833814/Cactus_ETK_dev',
 'TwoPunctures', '/work/04082/tg833814/Cactus_ETK_dev/arrangements/EinsteinInit...', ...) called at /work/04082/tg833814/Cactus_ETK_dev/lib/sbin/CST line 135<br>
&gt; <br>
&gt; I get this error even on my local machine (Red Hat 7) I am not sure how to resolve this one? Could someone please help?<br>
<br>
Aha, it looks like you have found a bug.&nbsp; Congratulations!&nbsp; A similar problem was discussed in
<a href="https://trac.einsteintoolkit.org/ticket/1936#comment:4" id="LPlnk14761" previewremoved="true">
https://trac.einsteintoolkit.org/ticket/1936#comment:4</a> for the QuasiLocalMeasures thorn.&nbsp; The solution is to merge the multiple tags entries.&nbsp; It's called &quot;development version&quot; for a reason :)&nbsp; There is also a problem with the ADMConstraints thorn.&nbsp; I have
 fixed both of these.&nbsp; You should be able to update using<br>
<br>
cd Cactus_ETK_dev<br>
repos/CRL/GetComponents --update --root .<br>
<br>
(I don't use GetComponents, so I'm guessing that this is the recommended way to update)<br>
<br>
The reason this is not caught by the automated tests is that the WaveExtractCPM thorn is not part of the toolkit thornlist, so is not tested.&nbsp; It is used in the GW150914 parameter file and thornlist, because I thought it was a useful thing to have, though it
 is by no means essential.&nbsp; The Cactus parser has been rewritten since this was last tested, and the new version is much stricter.&nbsp; This is good, because the old behaviour was to ignore all but the last of repeated tags entries, which is definitely not what
 was intended here!<br>
<br>
I don't think that this bug would affect results; the code will currently ignore the first tags entry specifying the tensor type, but that would only be used for symmetry boundary conditions, which shouldn't be relevant for the metric_tmp gridfunction, since
 it is a temporary variable which is probably only accessed point-wise.<br>
<br>
&gt; Also, is there any way to analyse the performance of the code for various simulations? Is there any thorn for this purpose?<br>
<br>
You will need to be more specific about what you mean by &quot;analyse the performance&quot;.&nbsp; What do you want to know?<br>
<br>
&gt; Lastly, I am still stuck with the BBox error on the GT code. Could you please&nbsp; suggest on how can I resolve this?<br>
<br>
I didn't understand the email that you sent about this.&nbsp; We said that the bug was in the Intel 17 compiler, and that you should be able to fix the problem by using the development version of the toolkit, since a workaround has been added there.&nbsp; It looks like
 you are now using the development version, so the problem shouldn't be there any more.&nbsp; Does the development version still not work?<br>
<br>
-- <br>
Ian Hinder<br>
<a href="http://members.aei.mpg.de/ianhin" id="LPlnk944779" previewremoved="true">http://members.aei.mpg.de/ianhin</a><br>
<br>
</div>
</span></font></div>
</body>
</html>