Numerical analysis of Markov decision processes

L.M.M. Veugen, J. Wal, van der, J. Wessels

Research output: Book/ReportReportAcademic

30 Downloads (Pure)

Abstract

Kurzfassung: In diese Arbeit werden einige Aspekte der numerische Bewerkung von Markoffschen Entscheidungsprozessen mit Diskontierung diskutiert. Ins besondere wird verzucht die Problemstruktur aus zu nützen um effiziente Algorithmen zu bekommen. Als Beispiele von Spezialstrukturen die ausgenützt werden können, werden Periodizität und umfangreiche Aktionenräume hervorgehoben. Für die letzte Spezialstruktur wird untersucht wie Aggregation und später Disaggregation von Nützen sein können. Abstract: For the numerical analysis of Markov decision processes quite a lot of algorithms have been presented in the literature. Nevertheless, really large problems cannot be solved efficiently by standard algorithms. It remains necessary to exploit the particular structure of the problem and to use these exploitation possibilities as a selection criterion for the type of algorithm. In this paper we proceed with the exploration of this area by investigating the possibilities of exploiting periodicity of demands and the structure of actions in some inventory-management models.
Original languageEnglish
Place of PublicationEindhoven
PublisherTechnische Hogeschool Eindhoven
Number of pages5
Publication statusPublished - 1981

Publication series

NameMemorandum COSOR
Volume8118
ISSN (Print)0926-4493

Fingerprint

Numerical analysis
Agglomeration

Cite this

Veugen, L. M. M., Wal, van der, J., & Wessels, J. (1981). Numerical analysis of Markov decision processes. (Memorandum COSOR; Vol. 8118). Eindhoven: Technische Hogeschool Eindhoven.
Veugen, L.M.M. ; Wal, van der, J. ; Wessels, J. / Numerical analysis of Markov decision processes. Eindhoven : Technische Hogeschool Eindhoven, 1981. 5 p. (Memorandum COSOR).
@book{2af876476aaa4ba6907b472ae9064548,
title = "Numerical analysis of Markov decision processes",
abstract = "Kurzfassung: In diese Arbeit werden einige Aspekte der numerische Bewerkung von Markoffschen Entscheidungsprozessen mit Diskontierung diskutiert. Ins besondere wird verzucht die Problemstruktur aus zu n{\"u}tzen um effiziente Algorithmen zu bekommen. Als Beispiele von Spezialstrukturen die ausgen{\"u}tzt werden k{\"o}nnen, werden Periodizit{\"a}t und umfangreiche Aktionenr{\"a}ume hervorgehoben. F{\"u}r die letzte Spezialstruktur wird untersucht wie Aggregation und sp{\"a}ter Disaggregation von N{\"u}tzen sein k{\"o}nnen. Abstract: For the numerical analysis of Markov decision processes quite a lot of algorithms have been presented in the literature. Nevertheless, really large problems cannot be solved efficiently by standard algorithms. It remains necessary to exploit the particular structure of the problem and to use these exploitation possibilities as a selection criterion for the type of algorithm. In this paper we proceed with the exploration of this area by investigating the possibilities of exploiting periodicity of demands and the structure of actions in some inventory-management models.",
author = "L.M.M. Veugen and {Wal, van der}, J. and J. Wessels",
year = "1981",
language = "English",
series = "Memorandum COSOR",
publisher = "Technische Hogeschool Eindhoven",

}

Veugen, LMM, Wal, van der, J & Wessels, J 1981, Numerical analysis of Markov decision processes. Memorandum COSOR, vol. 8118, Technische Hogeschool Eindhoven, Eindhoven.

Numerical analysis of Markov decision processes. / Veugen, L.M.M.; Wal, van der, J.; Wessels, J.

Eindhoven : Technische Hogeschool Eindhoven, 1981. 5 p. (Memorandum COSOR; Vol. 8118).

Research output: Book/ReportReportAcademic

TY - BOOK

T1 - Numerical analysis of Markov decision processes

AU - Veugen, L.M.M.

AU - Wal, van der, J.

AU - Wessels, J.

PY - 1981

Y1 - 1981

N2 - Kurzfassung: In diese Arbeit werden einige Aspekte der numerische Bewerkung von Markoffschen Entscheidungsprozessen mit Diskontierung diskutiert. Ins besondere wird verzucht die Problemstruktur aus zu nützen um effiziente Algorithmen zu bekommen. Als Beispiele von Spezialstrukturen die ausgenützt werden können, werden Periodizität und umfangreiche Aktionenräume hervorgehoben. Für die letzte Spezialstruktur wird untersucht wie Aggregation und später Disaggregation von Nützen sein können. Abstract: For the numerical analysis of Markov decision processes quite a lot of algorithms have been presented in the literature. Nevertheless, really large problems cannot be solved efficiently by standard algorithms. It remains necessary to exploit the particular structure of the problem and to use these exploitation possibilities as a selection criterion for the type of algorithm. In this paper we proceed with the exploration of this area by investigating the possibilities of exploiting periodicity of demands and the structure of actions in some inventory-management models.

AB - Kurzfassung: In diese Arbeit werden einige Aspekte der numerische Bewerkung von Markoffschen Entscheidungsprozessen mit Diskontierung diskutiert. Ins besondere wird verzucht die Problemstruktur aus zu nützen um effiziente Algorithmen zu bekommen. Als Beispiele von Spezialstrukturen die ausgenützt werden können, werden Periodizität und umfangreiche Aktionenräume hervorgehoben. Für die letzte Spezialstruktur wird untersucht wie Aggregation und später Disaggregation von Nützen sein können. Abstract: For the numerical analysis of Markov decision processes quite a lot of algorithms have been presented in the literature. Nevertheless, really large problems cannot be solved efficiently by standard algorithms. It remains necessary to exploit the particular structure of the problem and to use these exploitation possibilities as a selection criterion for the type of algorithm. In this paper we proceed with the exploration of this area by investigating the possibilities of exploiting periodicity of demands and the structure of actions in some inventory-management models.

M3 - Report

T3 - Memorandum COSOR

BT - Numerical analysis of Markov decision processes

PB - Technische Hogeschool Eindhoven

CY - Eindhoven

ER -

Veugen LMM, Wal, van der J, Wessels J. Numerical analysis of Markov decision processes. Eindhoven: Technische Hogeschool Eindhoven, 1981. 5 p. (Memorandum COSOR).