Institute of Information Theory and Automation

You are here

Bibliography

Journal Article

On the Total Reward Variance for Continuous-Time Markov Reward Chains

Sladký Karel, van Dijk N. M.

: Journal of Applied Probability vol.43, 4 (2006), p. 1044-1052

: CEZ:AV0Z10750506

: GA402/05/0115, GA ČR, GA402/04/1294, GA ČR

: continuous-time Markov reward chain, variance of cumulative reward, asymptotic behaviour, uniformization

(eng): As an extension of the discrete-time case, this note investigates the variance of the total cumulative reward for continuous-time Markov reward chains with finite state spaces. The results correspond to discrete-time results. In particular, the variance growth rate is shown to be asymptotically linear in time. Expressions are provided to compute this growth rate.

(cze): V práci se studuje rozptyl celkého kumulativního výnosu ve spojitých markovských procesech s ohodnoceními a konečným stavovým prostorem. Dosažené výsledky dobře odpovídající poznatkům pro modely s diskrétním časem, růst rozptylu celkového výnosu je v čase asymptoticky lineární. Jsou uvedeny vzorce pro výpočet míry růstu celkového rozptylu.

: 12B

: BB

2019-01-07 08:39