Suksessieve approximatiemetoden voor Markov beslissingsproblemen met verdiskontering

Dit verslag behelst suksessieve approximatiemetoden voor de oplossing van een Markov-beslissingsprobleem met verdiskonteerde kosten, eindige toestandsruimte en eindige beslissingsruimte, zoals dat bijvoorbeeld beschreven staat in [1] § 1. Er zal een kader gepresenteerd worden waarbinnen de tot dusver bekende oplosmetoden van voornoemde aard, namelijk de metode van Macqueen (zie [1]) en de waardemetode (zie [2]), als speciale gevallen figureren. Hoewel in dit kader de waarde van de beide bekende metoden gerelativeerd wordt, is vooralsnog niet een verwerping van een van beide metoden ten gunste van een andere het resultaat; echter, mede dankzij een door Blackwell gesuggereerde notatie en enkele door Blackwell bewezen stellingen (zie [3]), zullen de beide metoden, geplaatst binnen het kader, aan doorzichtigheid in de bewijsvoering en helderheid in de notatie winnen.