<div dir="ltr">Erik,<div>  thank you very much for the files. I will try compiling it and then I will come back to you for a possible meeting also with my collaborators.</div><div><br></div><div>Cheers,</div><div>Bruno</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno lun 7 giu 2021 alle ore 21:30 Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu">schnetter@cct.lsu.edu</a>&gt; ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Bruno<br>
<br>
I don&#39;t have any official files to share. I&#39;ll attach my own<br>
configuration files which depend on many self-installed software<br>
packages.<br>
<br>
If you are interested in using GPUs, then we can meet on Zoom (with<br>
your collaborators or students, and others who are interested), and I<br>
can give a brief demonstration.<br>
<br>
-erik<br>
<br>
On Thu, Jun 3, 2021 at 10:39 AM Bruno Giacomazzo<br>
&lt;<a href="mailto:bruno.giacomazzo@unimib.it" target="_blank">bruno.giacomazzo@unimib.it</a>&gt; wrote:<br>
&gt;<br>
&gt; Erik,<br>
&gt;   thanks. Do you have any instructions (or simfactory files) to share if I wanted to try compiling and running it on GPUs?<br>
&gt; I have access to a GPU cluster at CINECA in Italy and I may try running there (each node has 4 x NVIDIA Volta V100 GPUs). The theory group here in Bicocca is also going to buy a server with 4 x NVIDIA A100 GPUs for testing purposes.<br>
&gt;<br>
&gt; I do not have experience with GPUs, but I&#39;m happy to help if needed.<br>
&gt;<br>
&gt; Cheers,<br>
&gt; Bruno<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; Il giorno gio 3 giu 2021 alle ore 15:38 Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt; ha scritto:<br>
&gt;&gt;<br>
&gt;&gt; Bruno<br>
&gt;&gt;<br>
&gt;&gt; GPUs are supported and are working fine. A WaveToy is working, but I<br>
&gt;&gt; haven&#39;t tested it in the past weeks. The Einstein equations require<br>
&gt;&gt; more work to be efficient on GPUs.<br>
&gt;&gt;<br>
&gt;&gt; -erik<br>
&gt;&gt;<br>
&gt;&gt; On Thu, Jun 3, 2021 at 9:29 AM Bruno Giacomazzo<br>
&gt;&gt; &lt;<a href="mailto:bruno.giacomazzo@unimib.it" target="_blank">bruno.giacomazzo@unimib.it</a>&gt; wrote:<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Roland and Erik,<br>
&gt;&gt; &gt;   thanks a lot for the explanation. I saw the release notes with CUDA listed in the larger changes and this is why I asked.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Erik, does CarpetX already support GPU via AMReX or is more work needed?<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Thanks,<br>
&gt;&gt; &gt; Bruno<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Il giorno gio 3 giu 2021 alle ore 14:35 Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt; ha scritto:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; To my knowledge, the improved support means that it is now possible to<br>
&gt;&gt; &gt;&gt; mix CUDA and C++ code in the same source files. That is, you can<br>
&gt;&gt; &gt;&gt; compile C++ code with a CUDA compiler, which will pass on the C++ bits<br>
&gt;&gt; &gt;&gt; to the regular C++ compiler while extracting the CUDA code. This is<br>
&gt;&gt; &gt;&gt; merely a technical improvement of the make system that makes it easier<br>
&gt;&gt; &gt;&gt; to write one version code that can run on both a CPU or a GPU, instead<br>
&gt;&gt; &gt;&gt; of having to write two separate versions of the code.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; The real CUDA-related work happened in CarpetX<br>
&gt;&gt; &gt;&gt; &lt;<a href="https://bitbucket.org/eschnett/cactusamrex/" rel="noreferrer" target="_blank">https://bitbucket.org/eschnett/cactusamrex/</a>&gt;, which is not part of<br>
&gt;&gt; &gt;&gt; the Einstein Toolkit yet. But we&#39;re getting there!<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; -erik<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Thu, Jun 3, 2021 at 3:40 AM Bruno Giacomazzo<br>
&gt;&gt; &gt;&gt; &lt;<a href="mailto:bruno.giacomazzo@unimib.it" target="_blank">bruno.giacomazzo@unimib.it</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; would it be possible to have a (short) summary of the CUDA support introduced in the latest release?<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Thanks,<br>
&gt;&gt; &gt;&gt; &gt; Bruno<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Il giorno gio 3 giu 2021 alle ore 00:15 &lt;<a href="mailto:users@einsteintoolkit.org" target="_blank">users@einsteintoolkit.org</a>&gt; ha scritto:<br>
&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; Hello,<br>
&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; Please consider joining the weekly Einstein Toolkit phone call at<br>
&gt;&gt; &gt;&gt; &gt;&gt; 9:00 am US central time on Thursdays. For details on how to connect<br>
&gt;&gt; &gt;&gt; &gt;&gt; and what agenda items are to be discussed, use the link below.<br>
&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; <a href="https://docs.einsteintoolkit.org/et-docs/Main_Page#Weekly_Users_Call" rel="noreferrer" target="_blank">https://docs.einsteintoolkit.org/et-docs/Main_Page#Weekly_Users_Call</a><br>
&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; --The Maintainers<br>
&gt;&gt; &gt;&gt; &gt;&gt; _______________________________________________<br>
&gt;&gt; &gt;&gt; &gt;&gt; Users mailing list<br>
&gt;&gt; &gt;&gt; &gt;&gt; <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
&gt;&gt; &gt;&gt; &gt;&gt; <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; --<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Prof. Bruno Giacomazzo<br>
&gt;&gt; &gt;&gt; &gt; Department of Physics<br>
&gt;&gt; &gt;&gt; &gt; University of Milano-Bicocca<br>
&gt;&gt; &gt;&gt; &gt; Piazza della Scienza 3<br>
&gt;&gt; &gt;&gt; &gt; 20126 Milano<br>
&gt;&gt; &gt;&gt; &gt; Italy<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; email: <a href="mailto:bruno.giacomazzo@unimib.it" target="_blank">bruno.giacomazzo@unimib.it</a><br>
&gt;&gt; &gt;&gt; &gt; phone: (+39) 02 6448 2321<br>
&gt;&gt; &gt;&gt; &gt; web: <a href="http://www.brunogiacomazzo.org" rel="noreferrer" target="_blank">http://www.brunogiacomazzo.org</a><br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; ----------------------------------------------------------------------<br>
&gt;&gt; &gt;&gt; &gt; There are only 10 types of people in the world:<br>
&gt;&gt; &gt;&gt; &gt; Those who understand binary, and those who don&#39;t<br>
&gt;&gt; &gt;&gt; &gt; ----------------------------------------------------------------------<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt;&gt; &gt; Users mailing list<br>
&gt;&gt; &gt;&gt; &gt; <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
&gt;&gt; &gt;&gt; &gt; <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; --<br>
&gt;&gt; &gt;&gt; Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
&gt;&gt; &gt;&gt; <a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; --<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Prof. Bruno Giacomazzo<br>
&gt;&gt; &gt; Department of Physics<br>
&gt;&gt; &gt; University of Milano-Bicocca<br>
&gt;&gt; &gt; Piazza della Scienza 3<br>
&gt;&gt; &gt; 20126 Milano<br>
&gt;&gt; &gt; Italy<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; email: <a href="mailto:bruno.giacomazzo@unimib.it" target="_blank">bruno.giacomazzo@unimib.it</a><br>
&gt;&gt; &gt; phone: (+39) 02 6448 2321<br>
&gt;&gt; &gt; web: <a href="http://www.brunogiacomazzo.org" rel="noreferrer" target="_blank">http://www.brunogiacomazzo.org</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; ----------------------------------------------------------------------<br>
&gt;&gt; &gt; There are only 10 types of people in the world:<br>
&gt;&gt; &gt; Those who understand binary, and those who don&#39;t<br>
&gt;&gt; &gt; ----------------------------------------------------------------------<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt; Users mailing list<br>
&gt;&gt; &gt; <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
&gt;&gt; &gt; <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
&gt;&gt; <a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt;<br>
&gt; Prof. Bruno Giacomazzo<br>
&gt; Department of Physics<br>
&gt; University of Milano-Bicocca<br>
&gt; Piazza della Scienza 3<br>
&gt; 20126 Milano<br>
&gt; Italy<br>
&gt;<br>
&gt; email: <a href="mailto:bruno.giacomazzo@unimib.it" target="_blank">bruno.giacomazzo@unimib.it</a><br>
&gt; phone: (+39) 02 6448 2321<br>
&gt; web: <a href="http://www.brunogiacomazzo.org" rel="noreferrer" target="_blank">http://www.brunogiacomazzo.org</a><br>
&gt;<br>
&gt; ----------------------------------------------------------------------<br>
&gt; There are only 10 types of people in the world:<br>
&gt; Those who understand binary, and those who don&#39;t<br>
&gt; ----------------------------------------------------------------------<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Users mailing list<br>
&gt; <a href="mailto:Users@einsteintoolkit.org" target="_blank">Users@einsteintoolkit.org</a><br>
&gt; <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.einsteintoolkit.org/mailman/listinfo/users</a><br>
<br>
<br>
<br>
-- <br>
Erik Schnetter &lt;<a href="mailto:schnetter@cct.lsu.edu" target="_blank">schnetter@cct.lsu.edu</a>&gt;<br>
<a href="http://www.perimeterinstitute.ca/personal/eschnetter/" rel="noreferrer" target="_blank">http://www.perimeterinstitute.ca/personal/eschnetter/</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><p><font color="#000000">Pr<font face="arial, sans-serif">of. Bruno Giacomazzo<br>Department of Physics<br>University of Milano-Bicocca<br></font></font><span style="color:rgb(0,0,0)"><font face="arial, sans-serif">Piazza della Scienza 3<br></font></span><span style="color:rgb(0,0,0)"><font face="arial, sans-serif">20126 Milano<br></font></span><span style="font-size:12.8px;color:rgb(0,0,0)">Italy</span></p><p><font color="#000000"><span style="font-size:12.8px">email: </span><span style="font-size:12.8px"><a href="mailto:bruno.giacomazzo@unimib.it" target="_blank">bruno.giacomazzo@unimib.it</a><br></span><span style="font-size:12.8px">phone: (+39) 02 6448 2321</span></font><br><font color="#000000"><span style="font-size:12.8px">web: </span></font><span style="color:rgb(0,0,0);font-size:12.8px"><a href="http://www.brunogiacomazzo.org/" style="font-size:12.8px" target="_blank">http://www.brunogiacomazzo.org</a></span></p><p><font color="#000000">----------------------------------------------------------------------<br><span style="font-size:12.8px">There are only 10 types of people in the world:<br></span><span style="font-size:12.8px">Those who understand binary, and those who don&#39;t<br></span><span style="font-size:12.8px">----------------------------------------------------------------------<br></span></font></p></div></div></div></div></div></div></div>