<html>
<body>
<h1>EinsteinToolkitProposed - Build #520 - Still Unstable</h1>

<p>Check console output at https://build.barrywardell.net/job/EinsteinToolkitProposed/520/ to view the results.</p>

<h2>Changes</h2>

<pre>
[Einstein Toolkit Git Server] Updated submodules:


</pre>

<h2>Regressions (newly-failing tests)</h2>
<pre>
14 tests failed.
REGRESSION:  ML_BSSN_Test.ML_BSSN_MP_O8_bh/2procs

Error Message:
WARNING level 0 in thorn GenericFD processor 1 host build2   (line 478 of /home/jenkins/workspace/EinsteinToolkitProposed/arrangements/KrancNumericalTools/GenericFD/src/GenericFD.c):    -> Error return -3 trying to get group index for group '' cactus_sim: /home/jenkins/workspace/EinsteinToolkitProposed/arrangements/Carpet/Carpet/src/helpers.cc:315: int Carpet::Abort(const cGH*, int): Assertion `0' failed.

Stack Trace:


Backtrace from rank 0 pid 26959:
1. CarpetLib::signal_handler(int)   [/home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(_ZN9CarpetLib14signal_handlerEi+0xea) [0x186feba]]
2. /lib/x86_64-linux-gnu/libc.so.6(+0x364a0) [0x2ac2938f04a0]
3. /lib/x86_64-linux-gnu/libc.so.6(gsignal+0x35) [0x2ac2938f0425]
4. /lib/x86_64-linux-gnu/libc.so.6(abort+0x17b) [0x2ac2938f3b8b]
5. /lib/x86_64-linux-gnu/libc.so.6(+0x2f0ee) [0x2ac2938e90ee]
6. /lib/x86_64-linux-gnu/libc.so.6(+0x2f192) [0x2ac2938e9192]
7. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x185130d]
8. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTK_VWarn+0x489) [0x557039]
9. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(GenericFD_GroupDataPointers+0xd5) [0x1f164d5]
a. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0xc7487c]
b. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(GenericFD_LoopOverEverything+0x38f) [0x1f1490f]
c. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(ML_BSSN_InitGamma+0x1777) [0xc76f37]
d. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTK_CallFunction+0x135) [0x5537b5]
e. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x185d2d0]
f. Carpet::CallFunction(void*, cFunctionData*, void*)   [/home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(_ZN6Carpet12CallFunctionEPvP13cFunctionDataS0_+0x1c13) [0x185fcd3]]
10. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x5532f1]
11. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x558a70]
12. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTKi_DoScheduleTraverse+0x9f) [0x558ccf]
13. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x552e85]
14. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTK_ScheduleTraverse+0x95) [0x554125]
15. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x1810043]
16. Carpet::Initialise(tFleshConfig*)   [/home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(_ZN6Carpet10InitialiseEP12tFleshConfig+0xd0a) [0x18110ba]]
17. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(main+0x33) [0x54c123]
18. /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xed) [0x2ac2938db76d]
19. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x54f41d]

The hexadecimal addresses in this backtrace can also be interpreted
with a debugger (e.g. gdb), or with the 'addr2line' (or 'gaddr2line')
command line tool: 'addr2line -e cactus_sim <address>'.



... and 13 other failed tests.


</pre>

<h2>Failed tests</h2>

<pre>
14 tests failed.
REGRESSION:  ML_BSSN_Test.ML_BSSN_MP_O8_bh/2procs

Error Message:
WARNING level 0 in thorn GenericFD processor 1 host build2   (line 478 of /home/jenkins/workspace/EinsteinToolkitProposed/arrangements/KrancNumericalTools/GenericFD/src/GenericFD.c):    -> Error return -3 trying to get group index for group '' cactus_sim: /home/jenkins/workspace/EinsteinToolkitProposed/arrangements/Carpet/Carpet/src/helpers.cc:315: int Carpet::Abort(const cGH*, int): Assertion `0' failed.

Stack Trace:


Backtrace from rank 0 pid 26959:
1. CarpetLib::signal_handler(int)   [/home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(_ZN9CarpetLib14signal_handlerEi+0xea) [0x186feba]]
2. /lib/x86_64-linux-gnu/libc.so.6(+0x364a0) [0x2ac2938f04a0]
3. /lib/x86_64-linux-gnu/libc.so.6(gsignal+0x35) [0x2ac2938f0425]
4. /lib/x86_64-linux-gnu/libc.so.6(abort+0x17b) [0x2ac2938f3b8b]
5. /lib/x86_64-linux-gnu/libc.so.6(+0x2f0ee) [0x2ac2938e90ee]
6. /lib/x86_64-linux-gnu/libc.so.6(+0x2f192) [0x2ac2938e9192]
7. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x185130d]
8. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTK_VWarn+0x489) [0x557039]
9. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(GenericFD_GroupDataPointers+0xd5) [0x1f164d5]
a. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0xc7487c]
b. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(GenericFD_LoopOverEverything+0x38f) [0x1f1490f]
c. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(ML_BSSN_InitGamma+0x1777) [0xc76f37]
d. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTK_CallFunction+0x135) [0x5537b5]
e. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x185d2d0]
f. Carpet::CallFunction(void*, cFunctionData*, void*)   [/home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(_ZN6Carpet12CallFunctionEPvP13cFunctionDataS0_+0x1c13) [0x185fcd3]]
10. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x5532f1]
11. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x558a70]
12. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTKi_DoScheduleTraverse+0x9f) [0x558ccf]
13. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x552e85]
14. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(CCTK_ScheduleTraverse+0x95) [0x554125]
15. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x1810043]
16. Carpet::Initialise(tFleshConfig*)   [/home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(_ZN6Carpet10InitialiseEP12tFleshConfig+0xd0a) [0x18110ba]]
17. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim(main+0x33) [0x54c123]
18. /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xed) [0x2ac2938db76d]
19. /home/jenkins/workspace/EinsteinToolkitProposed/../simulations/EinsteinToolkitProposed_af0f464ee4f36c7ce7e7e42a8500175ee74a4c97_2/SIMFACTORY/exe/cactus_sim() [0x54f41d]

The hexadecimal addresses in this backtrace can also be interpreted
with a debugger (e.g. gdb), or with the 'addr2line' (or 'gaddr2line')
command line tool: 'addr2line -e cactus_sim <address>'.



FAILED:  CarpetProlongateTest.test_cc_rest_o2/2procs

Error Message:
null

Stack Trace:


   carpetprolongatetest::difference.d.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 14 is 0.00153659042467069
      maximum relative difference in column 14 is 1.10593004601653
   carpetprolongatetest::difference.x.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 14 is 0.0016919024616513
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.y.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 14 is 0.0017018024616533
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.z.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 14 is 0.00148720207565844
      maximum relative difference in column 14 is 1.03555991753257
   carpetprolongatetest::scalar.d.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 13 is 0.00153659042469911
      maximum relative difference in column 13 is 6.3028338182647e-05
   carpetprolongatetest::scalar.x.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 13 is 0.00169190246169926
      maximum relative difference in column 13 is 0.000111435710228941
   carpetprolongatetest::scalar.y.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 13 is 0.00170180246169949
      maximum relative difference in column 13 is 0.000118321991960277
   carpetprolongatetest::scalar.z.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 13 is 0.00148720207570108
      maximum relative difference in column 13 is 6.4775947885075e-05





FAILED:  CarpetProlongateTest.test_cc_rest_o3/2procs

Error Message:
null

Stack Trace:


   carpetprolongatetest::difference.d.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 14 is 0.00493317261644677
      maximum relative difference in column 14 is 1.2105829271133
   carpetprolongatetest::difference.x.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 14 is 0.00588569760566315
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.y.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 14 is 0.00596271318531194
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.z.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 14 is 0.00463755899873775
      maximum relative difference in column 14 is 1.06943075943768
   carpetprolongatetest::scalar.d.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 13 is 0.0049331726164894
      maximum relative difference in column 13 is 4.85255312255453e-05
   carpetprolongatetest::scalar.x.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 13 is 0.00588569760570579
      maximum relative difference in column 13 is 6.79277687939091e-05
   carpetprolongatetest::scalar.y.asc: substantial differences
      significant differences on 20 (out of 318) lines
      maximum absolute difference in column 13 is 0.00596271318529773
      maximum relative difference in column 13 is 6.98890406292085e-05
   carpetprolongatetest::scalar.z.asc: substantial differences
      significant differences on 4 (out of 170) lines
      maximum absolute difference in column 13 is 0.0046375589988088
      maximum relative difference in column 13 is 4.65873408740152e-05





FAILED:  CarpetProlongateTest.test_cc_rest_o4/2procs

Error Message:
null

Stack Trace:


   carpetprolongatetest::difference.d.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 14 is 0.0121548527606024
      maximum relative difference in column 14 is 1.52539174888938
   carpetprolongatetest::difference.x.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 14 is 0.0137208869129495
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.y.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 14 is 0.0139897274398777
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.z.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 14 is 0.0101319998938152
      maximum relative difference in column 14 is 1.16057261832019
   carpetprolongatetest::scalar.d.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 13 is 0.0121548527599771
      maximum relative difference in column 13 is 3.22952516787296e-05
   carpetprolongatetest::scalar.x.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 13 is 0.0137208869130063
      maximum relative difference in column 13 is 3.87060832639323e-05
   carpetprolongatetest::scalar.y.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 13 is 0.0139897274389682
      maximum relative difference in column 13 is 3.96848602451845e-05
   carpetprolongatetest::scalar.z.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 13 is 0.0101319998939857
      maximum relative difference in column 13 is 2.71225233978553e-05





FAILED:  CarpetProlongateTest.test_cc_rest_o5/2procs

Error Message:
null

Stack Trace:


   carpetprolongatetest::difference.d.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 14 is 0.0227207702969281
      maximum relative difference in column 14 is 1.74973783900494
   carpetprolongatetest::difference.x.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 14 is 0.026780965083617
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.y.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 14 is 0.0274607441706394
      maximum relative difference in column 14 is 1
   carpetprolongatetest::difference.z.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 14 is 0.0178465244048311
      maximum relative difference in column 14 is 1.21840201527913
   carpetprolongatetest::scalar.d.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 13 is 0.022720770299884
      maximum relative difference in column 13 is 1.51947853338706e-05
   carpetprolongatetest::scalar.x.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 13 is 0.0267809650799791
      maximum relative difference in column 13 is 1.82767971724979e-05
   carpetprolongatetest::scalar.y.asc: substantial differences
      significant differences on 20 (out of 334) lines
      maximum absolute difference in column 13 is 0.0274607441699573
      maximum relative difference in column 13 is 1.87758096899648e-05
   carpetprolongatetest::scalar.z.asc: substantial differences
      significant differences on 6 (out of 182) lines
      maximum absolute difference in column 13 is 0.0178465244000563
      maximum relative difference in column 13 is 1.19629190426256e-05





FAILED:  Refluxing.no-refluxing/1procs

Error Message:
null

Stack Trace:


   dens.sum.asc: differences below tolerance on 62 lines
   eps.sum.asc: differences below tolerance on 52 lines
   press.sum.asc: differences below tolerance on 78 lines
   rho.sum.asc: differences below tolerance on 66 lines
   scon[0].sum.asc: substantial differences
      significant differences on 6 (out of 101) lines
      maximum absolute difference in column 3 is 1.02602371043758e-11
      maximum relative difference in column 3 is 7.58798438938702e-13
      (insignificant differences on 61 lines)
   tau.sum.asc: differences below tolerance on 75 lines
   vel[0].sum.asc: differences below tolerance on 81 lines





FAILED:  Refluxing.refluxing-shift/1procs

Error Message:
null

Stack Trace:


   dens.sum.asc: differences below tolerance on 5 lines
   eps.sum.asc: differences below tolerance on 62 lines
   press.sum.asc: differences below tolerance on 72 lines
   rho.sum.asc: differences below tolerance on 70 lines
   scon[0].sum.asc: differences below tolerance on 81 lines
   vel[0].sum.asc: substantial differences
      significant differences on 42 (out of 101) lines
      maximum absolute difference in column 3 is 3.1532099847853e-11
      maximum relative difference in column 3 is 9.20157507851077e-10
      (insignificant differences on 51 lines)





FAILED:  Refluxing.refluxing-shift-atboundary/1procs

Error Message:
null

Stack Trace:


   dens.sum.asc: differences below tolerance on 10 lines
   eps.sum.asc: differences below tolerance on 61 lines
   press.sum.asc: differences below tolerance on 66 lines
   rho.sum.asc: differences below tolerance on 61 lines
   scon[0].sum.asc: differences below tolerance on 89 lines
   tau.sum.asc: differences below tolerance on 2 lines
   vel[0].sum.asc: substantial differences
      significant differences on 44 (out of 101) lines
      maximum absolute difference in column 3 is 5.59730040095019e-12
      maximum relative difference in column 3 is 7.71955826558479e-11
      (insignificant differences on 51 lines)





FAILED:  Refluxing.no-refluxing/2procs

Error Message:
null

Stack Trace:


   dens.sum.asc: differences below tolerance on 63 lines
   eps.sum.asc: differences below tolerance on 48 lines
   press.sum.asc: differences below tolerance on 62 lines
   rho.sum.asc: differences below tolerance on 63 lines
   scon[0].sum.asc: substantial differences
      significant differences on 6 (out of 101) lines
      maximum absolute difference in column 3 is 1.02602371043758e-11
      maximum relative difference in column 3 is 7.58798438938702e-13
      (insignificant differences on 61 lines)
   tau.sum.asc: differences below tolerance on 66 lines
   vel[0].sum.asc: differences below tolerance on 82 lines





FAILED:  Refluxing.refluxing-shift/2procs

Error Message:
null

Stack Trace:


   dens.sum.asc: differences below tolerance on 1 lines
   eps.sum.asc: differences below tolerance on 62 lines
   press.sum.asc: differences below tolerance on 87 lines
   rho.sum.asc: differences below tolerance on 66 lines
   scon[0].sum.asc: differences below tolerance on 85 lines
   vel[0].sum.asc: substantial differences
      significant differences on 42 (out of 101) lines
      maximum absolute difference in column 3 is 3.15323010757762e-11
      maximum relative difference in column 3 is 9.20163380006285e-10
      (insignificant differences on 51 lines)





FAILED:  Refluxing.refluxing-shift-atboundary/2procs

Error Message:
null

Stack Trace:


   dens.sum.asc: differences below tolerance on 7 lines
   eps.sum.asc: differences below tolerance on 62 lines
   press.sum.asc: differences below tolerance on 88 lines
   rho.sum.asc: differences below tolerance on 63 lines
   scon[0].sum.asc: differences below tolerance on 92 lines
   tau.sum.asc: differences below tolerance on 3 lines
   vel[0].sum.asc: substantial differences
      significant differences on 44 (out of 101) lines
      maximum absolute difference in column 3 is 5.59739754546484e-12
      maximum relative difference in column 3 is 7.71969224316099e-11
      (insignificant differences on 51 lines)





FAILED:  CarpetIntegrateTest.carpetintegrate/1procs

Error Message:
null

Stack Trace:


   integrand.x.asc: differences below tolerance on 1760 lines
   integrand.y.asc: differences below tolerance on 1760 lines
   integrand.z.asc: differences below tolerance on 875 lines
   weight.average.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 0.00539402173913006
      maximum relative difference in column 3 is 0.00567339399720578
   weight.norm1.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 0.00539402173913006
      maximum relative difference in column 3 is 0.00567339399720578
   weight.norm2.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 0.0042101419114301
      maximum relative difference in column 3 is 0.00437372118396411
   weight.sum.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 251.2265625
      maximum relative difference in column 3 is 0.00567339399720617
   weight.x.asc: substantial differences
      significant differences on 540 (out of 1830) lines
      maximum absolute difference in column 9 is 9.71445146547012e-17
      maximum absolute difference in column 10 is 1.11022302462516e-16
      maximum absolute difference in column 11 is 3.9979955110403e-17
      maximum absolute difference in column 12 is 4.80437087682639e-18
      maximum absolute difference in column 13 is 0.5
      maximum relative difference in column 9 is 2.50871448371439e-15
      maximum relative difference in column 10 is 8.68870193184904e-16
      maximum relative difference in column 11 is 4.00271370420624
      maximum relative difference in column 12 is 1.384765625
      maximum relative difference in column 13 is 0.5
      (insignificant differences on 1220 lines)
   weight.y.asc: substantial differences
      significant differences on 540 (out of 1830) lines
      maximum absolute difference in column 9 is 9.71445146547012e-17
      maximum absolute difference in column 10 is 3.9979955110403e-17
      maximum absolute difference in column 11 is 1.11022302462516e-16
      maximum absolute difference in column 12 is 4.80437087682639e-18
      maximum absolute difference in column 13 is 0.5
      maximum relative difference in column 9 is 2.50871448371439e-15
      maximum relative difference in column 10 is 4.00271370420624
      maximum relative difference in column 11 is 8.68870193184904e-16
      maximum relative difference in column 12 is 1.384765625
      maximum relative difference in column 13 is 0.5
      (insignificant differences on 1220 lines)
   weight.z.asc: substantial differences
      significant differences on 270 (out of 1075) lines
      maximum absolute difference in column 9 is 9.71445146547012e-17
      maximum absolute difference in column 10 is 3.9979955110403e-17
      maximum absolute difference in column 11 is 3.9979955110403e-17
      maximum absolute difference in column 12 is 9.71445146547012e-17
      maximum absolute difference in column 13 is 1
      maximum relative difference in column 9 is 2.50871448371439e-15
      maximum relative difference in column 10 is 4.00271370420624
      maximum relative difference in column 11 is 4.00271370420624
      maximum relative difference in column 12 is 7.14983627858602e-16
      maximum relative difference in column 13 is 1
      (insignificant differences on 625 lines)

   integrand.inorm2.asc: not in thorn archive
   integrand.icount.asc: not in thorn archive
   weight.inorm1.asc: not in thorn archive
   weight.icount.asc: not in thorn archive
   weight.d.asc: not in thorn archive
   integrand.iaverage.asc: not in thorn archive
   integrand.inorm1.asc: not in thorn archive
   weight.inorm2.asc: not in thorn archive
   integrand.d.asc: not in thorn archive
   weight.iaverage.asc: not in thorn archive




FAILED:  CarpetIntegrateTest.carpetintegrate-linear/1procs

Error Message:
null

Stack Trace:


   integrand.average.asc: substantial differences
      significant differences on 16 (out of 20) lines
      maximum absolute difference in column 3 is 4.50017800801561e-12
      maximum relative difference in column 3 is 4.33241466826677e-12
      (insignificant differences on 3 lines)
   integrand.minimum.asc: differences below tolerance on 1 lines
   integrand.norm1.asc: substantial differences
      significant differences on 16 (out of 20) lines
      maximum absolute difference in column 3 is 4.50017800801561e-12
      maximum relative difference in column 3 is 4.33241466826677e-12
      (insignificant differences on 3 lines)
   integrand.norm2.asc: substantial differences
      significant differences on 5 (out of 20) lines
      maximum absolute difference in column 3 is 2.09010586615932e-12
      maximum relative difference in column 3 is 2.01218825047906e-12
      (insignificant differences on 14 lines)
   integrand.sum.asc: substantial differences
      significant differences on 16 (out of 20) lines
      maximum absolute difference in column 3 is 2.09802237804979e-07
      maximum relative difference in column 3 is 4.33668199807183e-12
      (insignificant differences on 3 lines)
   integrand.x.asc: differences below tolerance on 1760 lines
   integrand.y.asc: differences below tolerance on 1760 lines
   integrand.z.asc: differences below tolerance on 875 lines
   weight.average.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 0.00539402173913006
      maximum relative difference in column 3 is 0.00567339399720578
   weight.norm1.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 0.00539402173913006
      maximum relative difference in column 3 is 0.00567339399720578
   weight.norm2.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 0.0042101419114301
      maximum relative difference in column 3 is 0.00437372118396411
   weight.sum.asc: substantial differences
      significant differences on 20 (out of 20) lines
      maximum absolute difference in column 3 is 251.2265625
      maximum relative difference in column 3 is 0.00567339399720617
   weight.x.asc: substantial differences
      significant differences on 540 (out of 1830) lines
      maximum absolute difference in column 9 is 9.71445146547012e-17
      maximum absolute difference in column 10 is 1.11022302462516e-16
      maximum absolute difference in column 11 is 3.9979955110403e-17
      maximum absolute difference in column 12 is 4.80437087682639e-18
      maximum absolute difference in column 13 is 0.5
      maximum relative difference in column 9 is 2.50871448371439e-15
      maximum relative difference in column 10 is 8.68870193184904e-16
      maximum relative difference in column 11 is 4.00271370420624
      maximum relative difference in column 12 is 1.384765625
      maximum relative difference in column 13 is 0.5
      (insignificant differences on 1220 lines)
   weight.y.asc: substantial differences
      significant differences on 540 (out of 1830) lines
      maximum absolute difference in column 9 is 9.71445146547012e-17
      maximum absolute difference in column 10 is 3.9979955110403e-17
      maximum absolute difference in column 11 is 1.11022302462516e-16
      maximum absolute difference in column 12 is 4.80437087682639e-18
      maximum absolute difference in column 13 is 0.5
      maximum relative difference in column 9 is 2.50871448371439e-15
      maximum relative difference in column 10 is 4.00271370420624
      maximum relative difference in column 11 is 8.68870193184904e-16
      maximum relative difference in column 12 is 1.384765625
      maximum relative difference in column 13 is 0.5
      (insignificant differences on 1220 lines)
   weight.z.asc: substantial differences
      significant differences on 270 (out of 1075) lines
      maximum absolute difference in column 9 is 9.71445146547012e-17
      maximum absolute difference in column 10 is 3.9979955110403e-17
      maximum absolute difference in column 11 is 3.9979955110403e-17
      maximum absolute difference in column 12 is 9.71445146547012e-17
      maximum absolute difference in column 13 is 1
      maximum relative difference in column 9 is 2.50871448371439e-15
      maximum relative difference in column 10 is 4.00271370420624
      maximum relative difference in column 11 is 4.00271370420624
      maximum relative difference in column 12 is 7.14983627858602e-16
      maximum relative difference in column 13 is 1
      (insignificant differences on 625 lines)

   integrand.inorm2.asc: not in thorn archive
   integrand.icount.asc: not in thorn archive
   weight.inorm1.asc: not in thorn archive
   weight.icount.asc: not in thorn archive
   weight.d.asc: not in thorn archive
   integrand.iaverage.asc: not in thorn archive
   integrand.inorm1.asc: not in thorn archive
   weight.inorm2.asc: not in thorn archive
   integrand.d.asc: not in thorn archive
   weight.iaverage.asc: not in thorn archive




FAILED:  CarpetProlongateTest.test_interp/1procs

Error Message:
null

Stack Trace:


   carpetprolongatetest::interp_difference.x.asc: substantial differences
      significant differences on 9 (out of 18) lines
      maximum absolute difference in column 13 is 1
      maximum absolute difference in column 16 is 21.78515625
      maximum absolute difference in column 17 is 21.78515625
      maximum absolute difference in column 18 is 1.13686837721616e-13
      maximum relative difference in column 13 is 2
      maximum relative difference in column 16 is 0.0571780084582853
      maximum relative difference in column 17 is 0.0571780084582853
      maximum relative difference in column 18 is 1.13686837721616e-13
   carpetprolongatetest::interp_difference.xyz.asc: substantial differences
      significant differences on 189 (out of 258) lines
      maximum absolute difference in column 13 is 1
      maximum absolute difference in column 14 is 1
      maximum absolute difference in column 15 is 1
      maximum absolute difference in column 16 is 1377.64453125
      maximum absolute difference in column 17 is 1377.64453125
      maximum absolute difference in column 18 is 2.27373675443232e-13
      maximum relative difference in column 13 is 2
      maximum relative difference in column 14 is 2
      maximum relative difference in column 15 is 2
      maximum relative difference in column 16 is 1.38229086440947
      maximum relative difference in column 17 is 1.38229086440947
      maximum relative difference in column 18 is 2.27373675443232e-13
   carpetprolongatetest::interp_difference.y.asc: substantial differences
      significant differences on 9 (out of 18) lines
      maximum absolute difference in column 14 is 1
      maximum absolute difference in column 16 is 32.75390625
      maximum absolute difference in column 17 is 32.75390625
      maximum absolute difference in column 18 is 5.6843418860808e-14
      maximum relative difference in column 14 is 2
      maximum relative difference in column 16 is 0.0859669357939254
      maximum relative difference in column 17 is 0.0859669357939254
      maximum relative difference in column 18 is 5.6843418860808e-14
   carpetprolongatetest::interp_difference.z.asc: substantial differences
      significant differences on 9 (out of 18) lines
      maximum absolute difference in column 15 is 1
      maximum absolute difference in column 16 is 43.72265625
      maximum absolute difference in column 17 is 43.72265625
      maximum absolute difference in column 18 is 5.6843418860808e-14
      maximum relative difference in column 15 is 2
      maximum relative difference in column 16 is 0.114755863129566
      maximum relative difference in column 17 is 0.114755863129566
      maximum relative difference in column 18 is 5.6843418860808e-14
   carpetprolongatetest::interp_errornorm..asc: differences below tolerance on 3 lines
   carpetprolongatetest::scalar.d.asc: differences below tolerance on 2 lines






</pre>

<h2>Log</h2>

<pre>
[...truncated 32968 lines...]
  Processing thorn CactusTest/TestSchedule...
  Running htlatex...
  Processing thorn CactusTest/TestStrings...
  Running htlatex...
  Processing thorn CactusTest/TestTable...
  Running htlatex...
  Processing thorn CactusTest/TestTimers...
  Running htlatex...
  Processing thorn CactusTest/TestTypes...
  Running htlatex...
  Processing thorn CactusUtils/Formaline...
  Running htlatex...
  Processing thorn CactusUtils/NaNChecker...
  Running htlatex...
  Processing thorn CactusUtils/Nice...
  Running htlatex...
  Processing thorn CactusUtils/NoMPI...
  Running htlatex...
  Processing thorn CactusUtils/TerminationTrigger...
  Running htlatex...
  Processing thorn CactusUtils/TimerReport...
  Running htlatex...
  Processing thorn CactusWave/IDScalarWave...
  Running htlatex...
  Processing thorn CactusWave/IDScalarWaveC...
  Running htlatex...
  Processing thorn CactusWave/IDScalarWaveCXX...
  Running htlatex...
  Processing thorn CactusWave/IDScalarWaveElliptic...
  Running htlatex...
  Processing thorn CactusWave/WaveBinarySource...
  Running htlatex...
  Processing thorn CactusWave/WaveToyC...
  Running htlatex...
  Processing thorn CactusWave/WaveToyCXX...
  Running htlatex...
  Processing thorn CactusWave/WaveToyExtra...
  Running htlatex...
  Processing thorn CactusWave/WaveToyF77...
  Running htlatex...
  Processing thorn CactusWave/WaveToyF90...
  Running htlatex...
  Processing thorn CactusWave/WaveToyFreeF90...
  Running htlatex...
  Processing thorn Carpet/CarpetEvolutionMask...
  Running htlatex...
  Processing thorn Carpet/CarpetIOASCII...
  Running htlatex...
  Processing thorn Carpet/CarpetIOBasic...
  Running htlatex...
  Processing thorn Carpet/CarpetIOHDF5...
  Running htlatex...
  Processing thorn Carpet/CarpetIOScalar...
  Running htlatex...
  Processing thorn Carpet/CarpetIOStreamedHDF5...
  Running htlatex...
  Processing thorn Carpet/CarpetInterp...
  Running htlatex...
  Processing thorn Carpet/CarpetMask...
  Running htlatex...
  Processing thorn Carpet/CarpetReduce...
  Running htlatex...
  Processing thorn Carpet/CarpetRegrid2...
  Running htlatex...
  Processing thorn Carpet/CarpetTracker...
  Running htlatex...
  Processing thorn Carpet/LoopControl...
  Running htlatex...
  Processing thorn Carpet/Timers...
  Running htlatex...
  Processing thorn CarpetExtra/AMRToy...
  Running htlatex...
  Processing thorn CarpetExtra/CarpetCCTest...
  Running htlatex...
  Processing thorn CarpetExtra/CarpetProlongateTest...
  Running htlatex...
  Processing thorn CarpetExtra/IDScalarWaveExpl...
  Running htlatex...
  Processing thorn CarpetExtra/IDScalarWaveFO...
  Running htlatex...
  Processing thorn CarpetExtra/IDScalarWaveMoL...
  Running htlatex...
  Processing thorn CarpetExtra/ReductionTest...
  Running htlatex...
  Processing thorn CarpetExtra/ReductionTest2...
  Running htlatex...
  Processing thorn CarpetExtra/ReductionTest3...
  Running htlatex...
  Processing thorn CarpetExtra/RegridSyncTest...
  Running htlatex...
  Processing thorn CarpetExtra/TestBBoxSet2...
  Running htlatex...
  Processing thorn CarpetExtra/TestLoopControl...
  Running htlatex...
  Processing thorn CarpetExtra/WaveToyExpl...
  Running htlatex...
  Processing thorn CarpetExtra/WaveToyFO...
  Running htlatex...
  Processing thorn CarpetExtra/WaveToyMoL...
  Running htlatex...
  Processing thorn EinsteinAnalysis/ADMAnalysis...
  Running htlatex...
  Processing thorn EinsteinAnalysis/ADMConstraints...
  Running htlatex...
  Processing thorn EinsteinAnalysis/AHFinder...
  Converting figures to postscript
  Running htlatex...
  Processing thorn EinsteinAnalysis/AHFinderDirect...
  Converting figures to postscript
  Running htlatex...
  Processing thorn EinsteinAnalysis/CalcK...
  Running htlatex...
  Processing thorn EinsteinAnalysis/EHFinder...
  Converting figures to postscript
  Running htlatex...
  Processing thorn EinsteinAnalysis/Extract...
  Running htlatex...
  Processing thorn EinsteinAnalysis/Hydro_Analysis...
  Running htlatex...
  Processing thorn EinsteinAnalysis/Multipole...
  Running htlatex...
  Processing thorn EinsteinAnalysis/Outflow...
  Running htlatex...
  Processing thorn EinsteinBase/ADMBase...
  Running htlatex...
  Processing thorn EinsteinBase/ADMCoupling...
  Running htlatex...
  Processing thorn EinsteinBase/ADMMacros...
  Running htlatex...
  Processing thorn EinsteinBase/Constants...
  Running htlatex...
  Processing thorn EinsteinBase/CoordGauge...
  Running htlatex...
  Processing thorn EinsteinBase/HydroBase...
  Running htlatex...
  Processing thorn EinsteinBase/StaticConformal...
  Running htlatex...
  Processing thorn EinsteinBase/TmunuBase...
  Running htlatex...
  Processing thorn EinsteinEOS/EOS_Hybrid...
  Running htlatex...
  Processing thorn EinsteinEOS/EOS_Omni...
  Running htlatex...
  Processing thorn EinsteinEOS/EOS_Polytrope...
  Running htlatex...
  Processing thorn EinsteinEvolve/GRHydro...
  Running htlatex...
  Processing thorn EinsteinEvolve/LegoExcision...
  Running htlatex...
  Processing thorn EinsteinEvolve/NewRad...
  Running htlatex...
  Processing thorn EinsteinInitialData/Exact...
  Running htlatex...
  Processing thorn EinsteinInitialData/GRHydro_InitData...
  Running htlatex...
  Processing thorn EinsteinInitialData/Hydro_InitExcision...
  Running htlatex...
  Processing thorn EinsteinInitialData/IDAnalyticBH...
  Converting figures to postscript
  Running htlatex...
  Processing thorn EinsteinInitialData/IDAxiBrillBH...
  Running htlatex...
  Processing thorn EinsteinInitialData/IDBrillData...
  Running htlatex...
  Processing thorn EinsteinInitialData/IDConstraintViolate...
  Running htlatex...
  Processing thorn EinsteinInitialData/IDFileADM...
  Running htlatex...
  Processing thorn EinsteinInitialData/IDLinearWaves...
  Running htlatex...
  Processing thorn EinsteinInitialData/Meudon_Bin_BH...
  Running htlatex...
  Processing thorn EinsteinInitialData/Meudon_Bin_NS...
  Running htlatex...
  Processing thorn EinsteinInitialData/Meudon_Mag_NS...
  Running htlatex...
  Processing thorn EinsteinInitialData/NoExcision...
  Running htlatex...
  Processing thorn EinsteinInitialData/TOVSolver...
  Running htlatex...
  Processing thorn EinsteinInitialData/TwoPunctures...
  Running htlatex...
  Processing thorn EinsteinUtils/SetMask_SphericalSurface...
  Running htlatex...
  Processing thorn ExternalLibraries/HDF5...
  Running htlatex...
  Processing thorn ExternalLibraries/MPI...
  Running htlatex...
  Processing thorn ExternalLibraries/hwloc...
  Running htlatex...
  Processing thorn LSUThorns/PeriodicCarpet...
  Running htlatex...
  Processing thorn LSUThorns/QuasiLocalMeasures...
  Running htlatex...
  Processing thorn LSUThorns/Refluxing...
  Running htlatex...
  Processing thorn LSUThorns/SummationByParts...
  Running htlatex...
  Processing thorn LSUThorns/Vectors...
  Running htlatex...
  Processing thorn Llama/ADMDerivatives...
  Running htlatex...
  Processing thorn Llama/Coordinates...
  Running htlatex...
  Processing thorn Llama/GlobalDerivative...
  Running htlatex...
  Processing thorn Llama/HarmonicDecomposition...
  Running htlatex...
  Processing thorn Llama/Interpolate2...
  Running htlatex...
  Processing thorn Llama/SphericalSlice...
  Converting figures to postscript
  Running htlatex...
  Processing thorn Llama/WaveExtractL...
  Running htlatex...
  Processing thorn Llama/WorldTube...
  Running htlatex...
  Processing thorn PITTNullCode/NullConstr...
  Running htlatex...
  Processing thorn PITTNullCode/NullDecomp...
  Running htlatex...
  Processing thorn PITTNullCode/NullEvolve...
  Running htlatex...
  Processing thorn PITTNullCode/NullExact...
  Running htlatex...
  Processing thorn PITTNullCode/NullPsiInt...
  Running htlatex...
  Processing thorn PITTNullCode/NullSHRExtract...
  Running htlatex...
  Processing thorn PITTNullCode/NullVars...
  Running htlatex...
  Processing thorn PITTNullCode/SphericalHarmonicDecomp...
  Running htlatex...
  Processing thorn PITTNullCode/SphericalHarmonicRecon...
  Running htlatex...
  Processing thorn TAT/TATelliptic...
  Running htlatex...
  Created thorn documentation in doc/HTML/ThornDoc directory.
  Done.

real        10m25.722s
user        7m23.812s
sys        2m34.614s
[WARNINGS] Parsing warnings in console log with parser GNU Compiler 4 (gcc)
Recording test results
Build step 'Publish JUnit test result report' changed build result to UNSTABLE
IRC notifier plugin: Sending notification to: #cactus
Email was triggered for: Regression
Sending email for trigger: Regression

</pre>
</body>
</html>