Uncertainty analysis for NOx emissions from Dutch passenger cars in 1998. Applying structured expert elicitation and distinguishing different types of uncertainty

Abstract

In decision-making processes on emission reduction, not only are emission data needed but also information on the uncertainty of these data. Here, structured expert elicitation was used an uncertainty analysis on NOx emissions from Dutch passenger cars in 1998. Experts from several Dutch research institutes were elicited on individual car performance (emission factors) and volumetric (kilometres driven) variables could be obtained with the expert elicitation method. Total population uncertainty was calculated by propagation and aggregation of individual car uncertainty in a Monte Carlo simulation. The calculation process was explicitly geared to variables showing inherent variability (aleatory uncertainty) and variables that are uncertain because of a lack of knowledge (epistemic uncertainty). The smallest 95% uncertainty interval for total population NOx emission was obtained for the TNO-CBS (Statistics Netherlands) expert (-12% to +15%), while the largest interval was obtained for the RIVM expert (-35% to +51%). The combination of experts (called decision-makers [DM]) showed intervals of -30% to +41% (DM before propagation) and -46% to +81% (DM after aggregation). The use of structured expert elicitation was very time consuming, and there is still a lot of discussion on combining expert data. Therefore, the need for structured expert elicitation should be firmly substantiated and focused on sensitive and controversial variables.

Bij besluitvorming over maatregelen op het gebied van emissie-reductie zijn niet alleen gegevens over emissies nodig maar ook over de onzekerheid daarvan. Dit rapport beschrijft een studie naar het gebruik van gestructureerde expertbevraging bij onzekerheidsanalyse van de NOx-emissies uit personenauto's. Experts van verschillende Nederlandse onderzoeksinstituten zijn bevraagd over prestatiegegevens (emissie-factoren) en volumegegevens (kilometrages). De totale populatie onzekerheid is berekend door het opschalen van de onzekerheid van individuele auto's door Monte Carlo simulaties. In de berekening is expliciet onderscheid gemaakt tussen variabelen die inherent variabel zijn (aleatorische onzekerheid) en variabelen die onzeker zijn vanwege een gebrek aan kennis (epistemische onzekerheid). Het kleinste 95% betrouwbaarheidsinterval werd verkregen voor de TNO-CBS expert (-12% tot +15%), en het grootste interval voor de RIVM expert (-35% tot +51%). De combinatie van experts (decision-makers [DM] genoemd in deze methode) kreeg intervallen van -30% tot +41% (DM voor propagatie) en van -46% tot +81% (DM na aggregatie). Het gebruik van expert bevraging bleek arbeidsintensief en er is veel discussie over het wel of niet combineren van expert antwoorden. Het gebruik van deze methode moet daarom goed onderbouwd worden, en moet zich richten op de meest gevoelige en controversiele parameters.