Numerical analysis of Markov decision processes

Kurzfassung: In diese Arbeit werden einige Aspekte der numerische Bewerkung von Markoffschen Entscheidungsprozessen mit Diskontierung diskutiert. Ins besondere wird verzucht die Problemstruktur aus zu nützen um effiziente Algorithmen zu bekommen. Als Beispiele von Spezialstrukturen die ausgenützt werden können, werden Periodizität und umfangreiche Aktionenräume hervorgehoben. Für die letzte Spezialstruktur wird untersucht wie Aggregation und später Disaggregation von Nützen sein können. Abstract: For the numerical analysis of Markov decision processes quite a lot of algorithms have been presented in the literature. Nevertheless, really large problems cannot be solved efficiently by standard algorithms. It remains necessary to exploit the particular structure of the problem and to use these exploitation possibilities as a selection criterion for the type of algorithm. In this paper we proceed with the exploration of this area by investigating the possibilities of exploiting periodicity of demands and the structure of actions in some inventory-management models.