Exponential convergence in undiscounted continuous-time Markov decision chains

W.H.M. Zijm

Onderzoeksoutput: Bijdrage aan tijdschriftTijdschriftartikelAcademicpeer review

2 Citaten (Scopus)


In this paper, we analyze the asymptotic behaviour of the value function v(t) of an undiscounted continuous-time Markov decision chain. Both the state space and the action space are assumed to be finite. A new proof of the convergence of v(t) - tg is presented (where g denotes the maximal expected average reward over an infinite time horizon). Moreover, it is shown that this convergence is exponential.
Originele taal-2Engels
Pagina's (van-tot)700-717
TijdschriftMathematics of Operations Research
Nummer van het tijdschrift4
StatusGepubliceerd - 1987


Duik in de onderzoeksthema's van 'Exponential convergence in undiscounted continuous-time Markov decision chains'. Samen vormen ze een unieke vingerafdruk.

Citeer dit