Software to support expert elicitation : An exploratory study of existing software packages

Abstract

Expertschattingen worden gebruikt om opvattingen van experts te verzamelen over onderwerpen waarover nog weinig of geen kennis beschikbaar is. Ze kunnen ook worden ingezet om consensus over controversiële kennis te bereiken. Softwarepakketten kunnen hierbij belangrijke ondersteuning bieden, maar veel onderzoekers zijn daar niet goed van op de hoogte. Het RIVM heeft daarom een overzicht gemaakt van de verschillende mogelijkheden. Voor de inventarisatie is wetenschappelijke literatuur geraadpleegd, aangevuld met bronnen op internet. Dit is gefinancierd vanuit het strategische onderzoeksprogramma (SOR) van het instituut. Er blijken pakketten te bestaan die ondersteunen bij: 1) het samenwerken van experts en het bereiken van consensus over onderwerpen 2) de karakterisering van onzekerheden; 3) de selectie van experts; 4) het ontwerp en de uitvoering van het schattingsproces zelf en; 5) het bijeen brengen en rapporteren van de uitkomsten. Bij het ontwerpen en uitvoeren van het schattingsproces kan software helpen om de conceptuele modellen te ontwikkelen en te analyseren. Daarnaast kunnen ze assisteren bij de beoordeling van scenario's, en bij het schatten van modelparameters. Voor de karakterisering van onzekerheden is slechts één type software beschikbaar, namelijk de software die door het Planbureau voor de Leefomgeving. De ondersteunende software blijkt momenteel vaak nog niet uitgerust om expertschattingen via internet of e-mail te laten verlopen, in plaats van door een groep experts op locatie bijeen te brengen. Omdat het huidige en toekomstige gebruik van expertschattingen op het RIVM onbekend is, kan er niet geadviseerd worden over het gebruik van software in deze specifieke situaties.

Expert elicitations are used to gather the informed opinion of experts on topics about which little or no knowledge is available. They can also be used to build consensus on controversial knowledge. Software packages can provide important support, but a lot of researchers are not well aware of that. The National Institute for Public Health and the Environment (RIVM) therefore made an overview of the different possibilities. For this overview scientific literature has been reviewed, supplemented with sources on the Internet. This has been funded from the strategic research program (SOR) of the institute. There appear to exist software packages that provide support in: 1) the collaboration of experts and building consensus; 2) characterization of uncertainties; 3) selection of experts; 4) design and execution of the process of estimation and; 5) aggregation and reporting about outcomes. When designing and executing the estimation process, software can assist in developing and analysing conceptual models. They can also assist in the assessment of scenarios and the estimation of model parameters. For the characterization of uncertainties only one type of software is available: the software of the Netherlands Environmental Assessment Agency (PBL). Currently, supporting software appears not to be equipped to moderate expert elicitations by mail or by using Internet as an alternative for gathering a group of experts on one specific location. As the exact and future usage of expert elicitation at RIVM is not known, it is not possible to provide specific advice on the use of software in these specific situations.