Abstract
Sequentiële besluitvorming onder onzekerheid is een fundamenteel probleem in kunstmatige intelligentie (AI) en formele methoden, met toepassingen in robotica, gezondheidszorg en financiën. Partially observable Markov decision processes (POMDPs) zijn het standaard wiskundig model voor het oplossen van dergelijke problemen in gedeeltelijk waarneembare omgevingen. POMDPs zijn zeer expressief, maar computationeel inefficiënt. Bij het modelleren van problemen als POMDPs wordt structuur uit het oorspronkelijke probleem verborgen in het model en blijft deze onbenut, wat de efficiëntie van algoritmen beperkt. In dit project onderzoeken we hoe de beschikbare structuur in POMDPs te identificeren, te benutten en te abstraheren om efficiënte planning en reinforcement learning (RL) methodes te ontwikkelen. We bestuderen subklassen van POMDPs en hoe hun structuur te benutten. In het bijzonder (1) onderzoeken we de computationele complexiteit en construeren we efficiënte algoritmen om dergelijke subklassen op te lossen; (2) ontwikkelen we methoden om de afstand van een gegeven POMDP tot een subklasse-instantie te meten; en (3) bouwen we abstractiemethoden voor planning en RL in POMDPs, gebruikmakend van de subklasse-structuren en afstandsmaten die in (1) en (2) zijn onderzocht, met end-to-end prestatiegaranties. Deze drie onderzoeksrichtingen samen leiden tot efficiëntere planning en RL methoden in gedeeltelijk waarneembare omgevingen met directe toepassingen in de praktijk.
Onderzoeker(s)
Onderzoeksgroep(en)
Financiering
Project type(s)