<div dir="ltr">Very well put Nick, and an important perspective from the world where savings projections are guaranteed.  2 + 2 = 4, but so does 10 - 6<br><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 21, 2018 at 7:13 PM, Nicholas Caton via Equest-users <span dir="ltr"><<a href="mailto:equest-users@lists.onebuilding.org" target="_blank">equest-users@lists.onebuilding.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div lang="EN-US" link="#0563C1" vlink="#954F72">

<div class="m_1979403371695839565WordSection1">

<p class="MsoNormal">As an energy engineer in the performance contracting side of the industry, a defining skillset for my job is creating and then calibrating models to fit historical utility data.  We calibrate our models to a degree of rigor allowing our

 business to guarantee savings projected from those models (and write shortfall checks when we’re wrong).  I don’t generally talk up my background, but I think in this case it helps to know where my voice is coming from to press a nuanced response:<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">It's <u>possible</u> (again, not built-in) to automate iterative model input manipulation to “auto-tune” a building energy simulation to match a set of utility bills.  You can even get the curves to fit extremely tightly over multiple meters. 

 I’ve gone so far as to build some such tools from scratch, and that experience has taught me some very important lessons I didn’t set out to find.  Among them, an “auto-tuned” model where many inputs are guided by randomization and computer logic can in practice

become very difficult to trust for projecting savings, even on a relative “doesn’t need to be seen on the bills” level.

<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">On the other hand, if you careful to bound “auto-tuning” techniques to reasonable input ranges, and specifically to address “unknowable” model inputs which cannot be measured or reasonably estimated/inferred, the results can become much

 more useful, even enlightening.  This “optimal” usage of the likes of monte carlo analysis, with and without machine learning algorithms, is anything but an “easy” button.

<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">I use doe2/eQuest as my primary energy simulation platform, however all of the above advice is platform-agnostic and holds true whether you’re crunching degree-day analyses in excel or wielding rooms of supercomputers in the cloud with

 e+.<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">If calibration <u>matters</u>, and you’re not doing so just to tick some prescriptive box, best practice during model development is to keep mindful track of which inputs are:

<u></u><u></u></p>

<ol style="margin-top:0in" start="1" type="1">

<li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in"><u>Known</u>

<u></u><u></u>

<ol style="margin-top:0in" start="1" type="a">

<li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">General Hierarchy of “Known:”  Design/Construction Documents < As-Builts < RCx reports < Current field measurements & observations<u></u><u></u></li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">Be mindful that construction documents and nameplate data are better than nothing, but commonly do not match reality and may be better considered as “informed estimates.”  Allow some

 room for doubt.  <u></u><u></u></li></ol>

</li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in"><u>Estimated</u>

<u></u><u></u>

<ol style="margin-top:0in" start="1" type="a">

<li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">For existing buildings, this most inputs will be “estimated.” 

<u></u><u></u></li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">If for example you have to define fan power based on scheduled static pressure loss and airflows on the drawings… that’s just aligning your estimate with the designer’s.  Actual is

 probably something different.<u></u><u></u></li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">Software defaults you understand are ready to “own” or explain fall under this category<u></u><u></u></li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">This includes anything “auto-sized”

<u></u><u></u></li></ol>

</li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in"><u>Guesswork</u><u></u><u></u>

<ol style="margin-top:0in" start="1" type="a">

<li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">This includes software defaults that you are relying upon but haven’t yet investigated/understood. 

<u></u><u></u></li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">This includes “known unknowns” for lack of information / resources. 

<u></u><u></u></li><li class="m_1979403371695839565MsoListParagraph" style="margin-left:0in">A pretty common example is envelope constructions where (a) you have no architectural details/specifications to reference all the layers in the middle and (b) you aren’t budgeted/resourced

 to tear up a client’s walls to find out what’s inside.<u></u><u></u></li></ol>

</li></ol>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">Considering the degree of input complexity for something like an eQuest model, I feel there will always be some blend of all if these input categories for every project and every individual modeler.  Experience helps, though as the years

 pile on, for every new topic I get a lock on measuring/estimating, I feel like I learn about two more issues that were previously not on my radar… “the more I see the less I know!”<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">Having rough estimates and unknowns is fine, but the more that you

know or else can reasonably estimate, the better your initial calibration results will turn out, and the quicker the process of iteratively “tuning” a model will go.  When you have a good record kept of which inputs are particularly solid vs.

 estimated/guesswork, you can work your way up the tree, marrying that knowledge to assumed/tested input sensitivity on the results, and plot a course to find your way back to the billed amounts!<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">Hope this is helpful!<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">~Nick<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<div>

<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:#3a7a46"><img width="726" height="9" style="width:7.5625in;height:.0937in" id="m_1979403371695839565Picture_x0020_1" src="cid:image001.png@01D3F0ED.AEBC7CA0"><u></u><u></u></span></p>

<p class="MsoNormal"><b><span style="font-family:"Arial",sans-serif;color:#3a7a46">Nick Caton, P.E., BEMP</span></b><span style="color:#3a7a46"><u></u><u></u></span></p>

<table class="m_1979403371695839565MsoNormalTable" border="0" cellspacing="0" cellpadding="0" width="724" style="width:543.0pt;border-collapse:collapse">

<tbody>

<tr>

<td width="230" valign="top" style="width:172.3pt;padding:0in 0in 0in 0in">

<p class="MsoNormal"><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">  Senior Energy Engineer</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#1f497d"><br>

</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">  Regional Energy Engineering Manager<u></u><u></u></span></p>

<p class="MsoNormal"><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">  Energy and Sustainability Services</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#1f497d"><br>

</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">  Schneider Electric</span><span style="color:#1f497d"><u></u><u></u></span></p>

</td>

<td width="291" valign="top" style="width:218.3pt;padding:0in 0in 0in 0in">

<p class="MsoNormal"><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#57b069">D  </span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">913.564.6361

</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#1f497d"><br>

</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#57b069">M  </span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">785.410.3317

</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#1f497d"><br>

</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#57b069">F  </span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">913.564.6380</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#1f497d"><br>

</span><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#57b069">E  </span><span style="color:#1f497d"><a href="mailto:nicholas.caton@schneider-electric.com" target="_blank"><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">nicholas.caton@schneider-<wbr>electric.com</span></a><u></u><u></u></span></p>

</td>

<td width="203" valign="top" style="width:152.4pt;padding:0in 0in 0in 0in">

<p class="MsoNormal" align="right" style="text-align:right"><span style="font-size:8.0pt;font-family:"Arial",sans-serif;color:#626469">15200 Santa Fe Trail Drive<br>

Suite 204<br>

Lenexa, KS 66219<br>

United States</span><span style="color:#1f497d"><u></u><u></u></span></p>

</td>

</tr>

<tr style="height:4.0pt">

<td width="724" colspan="3" valign="top" style="width:543.0pt;padding:0in 0in 0in 0in;height:4.0pt">

<p class="MsoNormal"><span style="color:#3a7a46"><img border="0" width="722" height="49" style="width:7.5208in;height:.5104in" id="m_1979403371695839565_x0000_i1025" src="cid:image002.png@01D3F0ED.AEBC7CA0"><u></u><u></u></span></p>

</td>

</tr>

</tbody>

</table>

<p class="MsoNormal"><u></u> <u></u></p>

</div>

<p class="MsoNormal"><u></u> <u></u></p>

<div>

<div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="MsoNormal"><b>From:</b> Equest-users [mailto:<a href="mailto:equest-users-bounces@lists.onebuilding.org" target="_blank">equest-users-bounces@<wbr>lists.onebuilding.org</a>]

<b>On Behalf Of </b>David Eldridge via Equest-users<br>

<b>Sent:</b> Saturday, May 19, 2018 2:08 PM<br>

<b>To:</b> <a href="mailto:equest-users@onebuilding.org" target="_blank">equest-users@onebuilding.org</a><br>

<b>Subject:</b> Re: [Equest-users] eQUEST Calculations<u></u><u></u></p>

</div>

</div>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal"><span style="color:#1f497d">If you mean automatically adjusting the parameters of the model inputs to minimize error against the actual utility data by using a basis such as ASHRAE Guideline 14, then no eQUEST does not have that capability

 built in.<u></u><u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d"><u></u> <u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d">You wouldn’t be changing the internal calculations – some review of the inputs and outputs should provide insight into what variables are known and which are assumed and may have a reasonable range of values

 resulting in a better fit to the utility data.<u></u><u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d"><u></u> <u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d">With some on-site data such as what you’d be collecting for energy audits anyway, you can usually get an accurate model to start with, or with few iterations.<u></u><u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d"><u></u> <u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d">There are other code/programs/platforms available that can help optimize, but requires a little more effort up front to either run the programming yourself or using a packaged program to setup the modeling files

 in a different program and tell the optimization program which variables have which range of values to be allowed.<u></u><u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d"><u></u> <u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d">I hope this helps.<u></u><u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d"><u></u> <u></u></span></p>

<p class="MsoNormal"><span style="color:#1f497d">David<u></u><u></u></span></p>

<div>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal"><b><span style="color:#1f497d">David S. Eldridge, Jr.</span><span style="color:#244061">, P</span><span style="color:#1f497d">.</span><span style="color:#244061">E</span><span style="color:#1f497d">.</span><span style="color:#244061">,

 LEED AP BD+C, BEMP, BEAP, HBDP</span></b><u></u><u></u></p>

<p class="MsoNormal"><span style="color:#1f497d">Associate</span><u></u><u></u></p>

<p class="MsoNormal"><span style="font-size:4.0pt;color:#1f497d"> </span><u></u><u></u></p>

<p class="MsoNormal"><span style="color:#365f91">Direct: (847) 316-92</span><span style="color:#1f497d">24</span><span style="color:#365f91"> | Mobile: (</span><span style="color:#1f497d">773</span><span style="color:#365f91">)

</span><span style="color:#1f497d">490</span><span style="color:#365f91">-</span><span style="color:#1f497d">5038</span><u></u><u></u></p>

<p class="MsoNormal"><span style="font-size:10.0pt;color:#1f497d"> </span><u></u><u></u></p>

<p class="MsoNormal"><b><span style="color:#244061">Grumman/Butkus Associates</span></b><span style="color:gray">

</span><span style="color:#365f91">| 820 Davis Street, Suite 300 | Evanston, IL 60201</span><u></u><u></u></p>

<p class="MsoNormal"><span style="font-size:9.0pt;color:gray">Energy Efficiency Consultants and Sustainable Design Engineers</span><u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal"><u><span style="font-size:9.0pt;color:gray"><a href="http://grummanbutkus.com/" target="_blank"><span style="color:gray">grummanbutkus.com</span></a></span></u><span style="font-size:9.0pt;color:gray"> |

<u><a href="http://grummanbutkus.com/blog" target="_blank"><span style="color:gray">Blog</span></a></u> |

<u><a href="https://www.facebook.com/pages/GrummanButkus-Associates/1385285015032526" target="_blank"><span style="color:gray">Facebook</span></a></u> |

<u><a href="https://twitter.com/grummanbutkus" target="_blank"><span style="color:gray">Twitter</span></a></u></span><span style="color:gray"><u></u><u></u></span></p>

</div>

<p class="MsoNormal"><span style="color:#1f497d"><u></u> <u></u></span></p>

<div>

<div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0in 0in 0in">

<p class="MsoNormal"><b>From:</b> Equest-users [<a href="mailto:equest-users-bounces@lists.onebuilding.org" target="_blank">mailto:equest-users-bounces@<wbr>lists.onebuilding.org</a>]

<b>On Behalf Of </b>Tom McGovern via Equest-users<br>

<b>Sent:</b> Friday, May 18, 2018 4:45 PM<br>

<b>To:</b> <a href="mailto:equest-users@lists.onebuilding.org" target="_blank">equest-users@lists.<wbr>onebuilding.org</a><br>

<b>Subject:</b> Re: [Equest-users] eQUEST Calculations<u></u><u></u></p>

</div>

</div>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">Hello, <u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">Have a question regarding the internal calculations performed by eQUEST. Am new to eQUEST and just looking to understand some basics. Trying to figure out if there is some way to modify internal eQUEST calculations so baseline model may

 be adjusted to fit existing utility bills or if there is no way to modify internal eQUEST calculations and we need various end arounds to fit baseline eQUEST model to fit existing utility bills.

<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal">Thanks, <u></u><u></u></p>

<p class="MsoNormal"><br>

Tom McGovern<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<p class="MsoNormal"><u></u> <u></u></p>

<div>

<div>

<div>

<div>

<div>

<p class="MsoNormal"><u></u> <u></u></p>

</div>

</div>

</div>

</div>

</div>

<p class="MsoNormal"><br>

______________________________<wbr>______________________________<wbr>__________<br>

This email has been scanned by the Symantec Email Security.cloud service.<br>

______________________________<wbr>______________________________<wbr>__________<u></u><u></u></p>

</div>

</div>

<br>______________________________<wbr>_________________<br>

Equest-users mailing list<br>

<a href="http://lists.onebuilding.org/listinfo.cgi/equest-users-onebuilding.org" rel="noreferrer" target="_blank">http://lists.onebuilding.org/<wbr>listinfo.cgi/equest-users-<wbr>onebuilding.org</a><br>

To unsubscribe from this mailing list send  a blank message to <a href="mailto:EQUEST-USERS-UNSUBSCRIBE@ONEBUILDING.ORG">EQUEST-USERS-UNSUBSCRIBE@<wbr>ONEBUILDING.ORG</a><br>

<br></blockquote></div><br>

</div></div>