Ústav teorie informace a automatizace

Jste zde

Bibliografie

Conference Paper (international conference)

Perturbations and Error Bounds in Discounted Markov Reward Models

Sladký Karel

: Proceedings 15th International Scientific Conference on Mathematical Method in Economics and Industry, p. 158-165 , Eds: Cechlárová Katarína, Halická Margaréta, Borbelová Viera, Lacko Vladimír

: International Scientific Conference on Mathematical Methods in Economics and Industry /15./, (Herĺany, SK, 03.06.2007-07.06.2007)

: CEZ:AV0Z10750506

: GA402/05/0115, GA ČR, GA402/07/1113, GA ČR

: Discrete-time Markov and Markov reward chains, perturbation theory, updating formulas

(eng): This note presents succinct proofs of the basic perturbation formulas for the steady state distributions of finite state discrete-time Markov chains. Perturbation results are then applied to Markov reward chains. For the average reward criterion the respective perturbation formulae follow then immediately. For models with discounting some perturbation formulas are presented and it is shown how the perturbation results for steady state distributions can be employed for obtaining error bounds formulas of total discounted rewards.

(cze): V příspěvku je uvedeno jednoduché odvození základních perturbačních vztahů pro markovské řetězce s diskrétním časem: Tyto vztahy jsou následně použity pro markovské procesy s ohodnoceními. Pro případ kritéria průměrného výnosu perturbační vztahy plynou okamžitě; pro modely s diskontovaním přibližné rovnice dostanememe rozvojem mocnin přechodových matic, přesně vztahy pak transformací diskontovaných modelů na tvar odpovídající modelům s kritériem průměrného výnosu.

: BB

07.01.2019 - 08:39