<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html><head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
    <meta name="generator" content="Osso Notes">
    <title></title></head>
<body>
<p>Hi Yosef,
<br>
<br>I believe the code was reorganised in carpet and this needed the algorithm to change in a way that meant numerical results would change. &#32;I can't check right now, but this should have been mentioned in the announcement of the new version of carpet as well as the ET release notes.
<br>
<br><font color="#999999">-- </font>
<br><font color="#999999">Ian Hinder</font>
<br><font color="#999999"><a href="mailto:ian.hinder@aei.mpg.de">ian.hinder@aei.mpg.de</a></font>
<br><font color="#999999"></font>
<br>
<br>----- Original message -----
<br>&gt; While trying to understand why the results from a BBH run
<br>&gt; differed when using the 2011_05 and 2011_10 version of ET
<br>&gt; I noticed that the two versions gave different results on every
<br>&gt; other point of the buffer region (in a 2 level run) on the 2nd
<br>&gt; time level.
<br>&gt; 
<br>&gt; I reran the test using McLachlan and I found a similar
<br>&gt; behavior, but for fewer points (here, only 3, rather
<br>&gt; than 8) and only the innermost points.
<br>&gt; 
<br>&gt; 
<br>&gt; diff -w -u ~/ET/Old/Cactus/test/mc/gxx.x.asc ~/ET/Develop/Cactus/test/mc 
<br>&gt; | grep "^[+-]2"
<br>&gt; -2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0 0 0 0 26 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;1.8 0 0 5.86163790879802
<br>&gt; +2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0 0 0&nbsp; &nbsp; &#32;26 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;1.8 0 0 5.86163790879801
<br>&gt; -2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0 1 0 0 26 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;1.8 0 0 5.86163790879802
<br>&gt; +2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;1 0 0&nbsp; &nbsp; &#32;26 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;1.8 0 0 5.86163790879801
<br>&gt; -2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0 1 0 0 59 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;5.1 0 0 2.06954055131151
<br>&gt; +2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;1 0 0&nbsp; &nbsp; &#32;59 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;5.1 0 0 2.06940807802512
<br>&gt; -2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0 1 0 0 61 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;5.3 0 0 2.01672019300839
<br>&gt; +2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;1 0 0&nbsp; &nbsp; &#32;61 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;5.3 0 0 2.01674238678588
<br>&gt; -2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0 1 0 0 63 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;5.5 0 0 1.96875965038995
<br>&gt; +2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;1 0 0&nbsp; &nbsp; &#32;63 8 8&nbsp; &#32;0.1&nbsp; &nbsp; &nbsp; &nbsp; &#32;5.5 0 0 1.96875664800624
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; One of the major differences between these two versions of ET is the
<br>&gt; switch from the git to hg version of carpet.
<br>&gt; 
<br>&gt; Here is the full parfile that I used.
<br>&gt; 
<br>&gt; #==============================================================================
<br>&gt; 
<br>&gt; ActiveThorns = "admanalysis admbase admcoupling admmacros coordgauge 
<br>&gt; spacemask StaticConformal&nbsp; &#32;boundary time cartgrid3d ioutil iobasic 
<br>&gt; nanchecker CoordBase aeilocalinterp Slab SphericalSurface LocalReduce 
<br>&gt; MoL Carpet CarpetInterp CarpetIOASCII CarpetLib CarpetReduce CarpetSlab 
<br>&gt; CarpetRegrid2 SphericalSurface CarpetIOHDF5 CarpetIOScalar InitBase 
<br>&gt; SymBase LoopControl GSL ReflectionSymmetry"
<br>&gt; 
<br>&gt; 
<br>&gt; ActiveThorns = "TimerReport"
<br>&gt; 
<br>&gt; TimerReport::out_every&nbsp; &nbsp; &nbsp; &#32;= 512
<br>&gt; TimerReport::out_filename = "TimerReport"
<br>&gt; Carpet::output_timers_every = 512
<br>&gt; #------------------------------------------------------------------------------
<br>&gt; 
<br>&gt; # Run parameters
<br>&gt; #------------------------------------------------------------------------------
<br>&gt; 
<br>&gt; # Grid
<br>&gt; 
<br>&gt; mol::ode_method&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "RK4"
<br>&gt; mol::mol_intermediate_steps&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; mol::mol_num_scratch_levels&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 1
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; CoordBase::domainsize&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "minmax"
<br>&gt; CoordBase::xmin&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 0
<br>&gt; CoordBase::ymin&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 0
<br>&gt; CoordBase::zmin&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 0
<br>&gt; CoordBase::xmax&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 10
<br>&gt; CoordBase::ymax&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 10
<br>&gt; CoordBase::zmax&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 10
<br>&gt; CoordBase::spacing&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "numcells"
<br>&gt; CoordBase::ncells_x&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 50
<br>&gt; CoordBase::ncells_y&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 50
<br>&gt; CoordBase::ncells_z&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 50
<br>&gt; CartGrid3D::type&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "coordbase"
<br>&gt; CartGrid3D::domain&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "full"
<br>&gt; CartGrid3D::bitant_plane&nbsp; &nbsp; &nbsp; &#32;= "xy"
<br>&gt; CartGrid3D::avoid_originx&nbsp; &nbsp; &#32;= no
<br>&gt; CartGrid3D::avoid_originy&nbsp; &nbsp; &#32;= no
<br>&gt; CartGrid3D::avoid_originz&nbsp; &nbsp; &#32;= no
<br>&gt; 
<br>&gt; CoordBase::boundary_size_x_lower&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; CoordBase::boundary_size_y_lower&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; CoordBase::boundary_size_z_lower&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; CoordBase::boundary_shiftout_x_lower&nbsp; &nbsp; &nbsp; &#32;= 1
<br>&gt; CoordBase::boundary_shiftout_y_lower&nbsp; &nbsp; &nbsp; &#32;= 1
<br>&gt; CoordBase::boundary_shiftout_z_lower&nbsp; &nbsp; &nbsp; &#32;= 1
<br>&gt; 
<br>&gt; CoordBase::boundary_size_x_upper&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; CoordBase::boundary_size_y_upper&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; CoordBase::boundary_size_z_upper&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; 
<br>&gt; ReflectionSymmetry::reflection_x = yes
<br>&gt; ReflectionSymmetry::reflection_y = yes
<br>&gt; ReflectionSymmetry::reflection_z = yes
<br>&gt; ReflectionSymmetry::avoid_origin_x = no
<br>&gt; ReflectionSymmetry::avoid_origin_y = no
<br>&gt; ReflectionSymmetry::avoid_origin_z = no
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; driver::ghost_size&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 4
<br>&gt; 
<br>&gt; #---------------------------------------------------------------------------
<br>&gt; 
<br>&gt; cactus::cctk_itlast&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 16
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; time::dtfac&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= .5
<br>&gt; Carpet::domain_from_coordbase&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= yes
<br>&gt; Carpet::prolongation_order_space&nbsp; &nbsp; &#32;= 5
<br>&gt; Carpet::prolongation_order_time&nbsp; &nbsp; &nbsp; &#32;= 2
<br>&gt; Carpet::max_refinement_levels&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 2
<br>&gt; Carpet::use_buffer_zones = yes
<br>&gt; Carpet::verbose&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= no
<br>&gt; Carpet::schedule_barriers = no
<br>&gt; Carpet::veryverbose&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= no
<br>&gt; 
<br>&gt; CarpetLib::output_bboxes&nbsp; &#32;= no
<br>&gt; CarpetLib::check_bboxes&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= no
<br>&gt; CarpetLib::interleave_communications = yes
<br>&gt; CarpetLib::combine_sends&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= yes
<br>&gt; 
<br>&gt; #Carpet::time_refinement_factors = "[1,1,1,1,2,2,4,8,16,32,64]"
<br>&gt; Carpet::init_3_timelevels = "no"
<br>&gt; Carpet::init_each_timelevel = "no"
<br>&gt; Carpet::init_fill_timelevels = "yes"
<br>&gt; Carpet::enable_all_storage&nbsp; &nbsp; &nbsp; &nbsp; &#32;= no
<br>&gt; Carpet::regrid_during_recovery = no
<br>&gt; 
<br>&gt; ActiveThorns="CarpetRegrid2"
<br>&gt; CarpetRegrid2::regrid_every = 16
<br>&gt; CarpetRegrid2::num_centres = 1
<br>&gt; CarpetRegrid2::num_levels_1 = 2
<br>&gt; CarpetRegrid2::radius_1[ 1] = 5
<br>&gt; 
<br>&gt; 
<br>&gt; # MODEL
<br>&gt; ActiveThorns="IDAnalyticBH"
<br>&gt; ADMBase::initial_data="bl_bh"
<br>&gt; IDAnalyticBH::bl_nbh = 2
<br>&gt; IDAnalyticBH::bl_x0_1 = 1.01001
<br>&gt; IDAnalyticBH::bl_y0_1 = 1.01001
<br>&gt; IDAnalyticBH::bl_x0_2 = -1.01001
<br>&gt; IDAnalyticBH::bl_y0_2 = -1.01001
<br>&gt; initbase::initial_data_setup_method = init_some_levels
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; admbase::metric_type&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "Physical"
<br>&gt; #staticconformal::conformal_storage&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "factor+derivs+2nd derivs"
<br>&gt; 
<br>&gt; #--- numerics
<br>&gt; 
<br>&gt; 
<br>&gt; ActiveThorns = "ML_BSSN ML_BSSN_Helper TmunuBase GenericFD"
<br>&gt; 
<br>&gt; ADMBase::evolution_method&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "ML_BSSN"
<br>&gt; ADMBase::lapse_evolution_method = "ML_BSSN"
<br>&gt; ADMBase::shift_evolution_method = "ML_BSSN"
<br>&gt; 
<br>&gt; ML_BSSN::timelevels = 3
<br>&gt; 
<br>&gt; ML_BSSN::harmonicN&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 1&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;# 1+log
<br>&gt; ML_BSSN::harmonicF&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 2.0&nbsp; &nbsp; &nbsp; &#32;# 1+log
<br>&gt; ML_BSSN::ShiftGammaCoeff&nbsp; &nbsp; &nbsp; &nbsp; &#32;= 0.75
<br>&gt; ML_BSSN::BetaDriver&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 1.0
<br>&gt; ML_BSSN::LapseAdvectionCoeff = 1
<br>&gt; ML_BSSN::ShiftAdvectionCoeff = 1
<br>&gt; 
<br>&gt; ML_BSSN::my_boundary_condition = "Minkowski"
<br>&gt; 
<br>&gt; ML_BSSN::ML_log_confac_bound = "none"
<br>&gt; ML_BSSN::ML_metric_bound&nbsp; &nbsp; &nbsp; &nbsp; &#32;= "none"
<br>&gt; ML_BSSN::ML_Gamma_bound&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "none"
<br>&gt; ML_BSSN::ML_trace_curv_bound = "none"
<br>&gt; ML_BSSN::ML_curv_bound&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "none"
<br>&gt; ML_BSSN::ML_lapse_bound&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "none"
<br>&gt; ML_BSSN::ML_dtlapse_bound&nbsp; &nbsp; &nbsp; &#32;= "none"
<br>&gt; ML_BSSN::ML_shift_bound&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "none"
<br>&gt; ML_BSSN::ML_dtshift_bound&nbsp; &nbsp; &nbsp; &#32;= "none"
<br>&gt; 
<br>&gt; admbase::initial_lapse&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "one"
<br>&gt; 
<br>&gt; 
<br>&gt; ADMBase::initial_shift&nbsp; &nbsp; &#32;= "zero"
<br>&gt; ADMBase::initial_dtlapse = "zero"
<br>&gt; ADMBase::initial_dtshift = "zero"
<br>&gt; 
<br>&gt; #------------------------------------------------------------------------------
<br>&gt; # Output
<br>&gt; #------------------------------------------------------------------------------
<br>&gt; IO::out_dir&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= $parfile
<br>&gt; IO::out_fileinfo&nbsp; &nbsp; &#32;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; = "none"
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; 
<br>&gt; CarpetIOASCII::out1D_every&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= 1
<br>&gt; CarpetIOASCII::out1D_vars&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &#32;= "admbase::alp 
<br>&gt; admbase::metric&nbsp; &#32;admbase::curv admbase::shift "
<br>&gt; CarpetIOASCII::out1D_d=no
<br>&gt; _______________________________________________
<br>&gt; Users mailing list
<br>&gt; <a href="mailto:Users@einsteintoolkit.org">Users@einsteintoolkit.org</a>
<br>&gt; <a href="http://lists.einsteintoolkit.org/mailman/listinfo/users">http://lists.einsteintoolkit.org/mailman/listinfo/users</a>
<br><br></p>
</body>
</html>