Abstract
Herhaalbaarheid en reproduceerbaarheid van experimenten zijn centrale begrippen in de wetenschappelijke methode. Fysische experimenten vormden de ruggengraat van wetenschap en techniek. In de huidige ontwikkeling van complexe, technische systemen worden experimenten steeds vaker in-silico uitgevoerd, dat wil zeggen door middel van simulatie. Om inspanningen en kosten te beperken gebruiken ingenieurs (computer)simulaties van "modellen" van complexe systemen om what-if scenario's te onderzoeken en ontwerpfouten eerder te identificeren.
Moderne technische systemen zijn sterk afhankelijk van modellering en simulatie. In de afgelopen decennia is er veel vooruitgang geboekt op het gebied van multi-formalisme, multi-abstractie en multi-view modellering. Deze ontwikkelingen zijn echter niet geëvenaard door vergelijkbare vooruitgang in fundamentele methoden voor het construeren en beheren van simulatie-experimenten, noch in de systematische behandeling van modelvaliditeit.
Zonder precies inzicht in het geldigheidsbereik van een model kunnen geen garanties worden gegeven over de bruikbaarheid van de simulatieresultaten, wat vaak tot kostbare fouten kan leiden. Dit is met name van belang in de context van digitale tweelingen, waar real-time besluitvorming afhankelijk is van de geldigheid van het gesimuleerde model om zijn werkelijke (cyber-fysische) tegenhanger te representeren.
De validiteit van modellen wordt vastgesteld door experimenten in de echte en gesimuleerde wereld uit te voeren en de resultaten te vergelijken. Herhaalbaarheid en repliceerbaarheid zijn zeer wenselijk voor experimenten, om ervoor te zorgen dat de bevindingen robuust blijven voor onafhankelijke proeven en de tand des tijds doorstaan. Bij nader onderzoek werd duidelijk dat herhaalbaarheid en repliceerbaarheid de mogelijkheid vereisen om herbruikbare beschrijvingen/specificaties/modellen van experimenten te maken, beheren en delen. Een algemeen raamwerk om experimenten (echt of virtueel) te modelleren, om te kunnen redeneren over hun eigenschappen zoals herhaalbaarheid en repliceerbaarheid, en uiteindelijk de geldigheid van modellen, ontbreekt op dit moment.
Deze herbruikbare experimentmodellen, die we experimentspecificaties noemen, dienen als basis voor logisch redeneren over de eigenschappen en condities van (validatie)experimenten. Ze maken ook redeneren mogelijk over de contextuele geldigheid van modellen, waarbij de geldigheid van een model niet één enkele universele waarheidswaarde is, maar in plaats daarvan een functie van de experimentele condities uit de experimentspecificatie, een zogenaamd validiteitskader. Verder kunnen herbruikbare experimentspecificaties de efficiëntie verhogen door de noodzaak te verminderen om identieke of vergelijkbare experimenten meerdere keren uit te voeren, waardoor middelen kunnen worden toegewezen aan het onderzoeken van nieuwe experimentele condities.
Dit project ontwikkelt de fundamenten voor specificatie, uitvoer en (her-)gebruik van experiment- en validiteitskaders.
Onderzoeker(s)
Onderzoeksgroep(en)
Project type(s)