Presentación | Participantes | Bibliografía (DML-E) | Bibliografía adicional | Enlaces de interés | Otros proyectos DML | Ayuda  
INICIO | 29 de marzo de 2024
  

Calculating the variance in Markov-processes with random reward.

Título inglés Calculating the variance in Markov-processes with random reward.
Título español Cálculo de la varianza en los procesos de Markov con ganancia aleatoria.
Autor/es Benito, Francisco
Organización Inst. Oper. Res. Eidgenös. Tech. Hochsch. Zürich, Zurich, Suiza
Revista 0041-0241
Publicación 1982, 33 (3): 73-85, 4 Ref.
Tipo de documento articulo
Idioma Inglés
Resumen español En este artículo se presenta una generalización de los procesos de decisión markovianos en tiempo discreto: las ganancias en el tránsito de un estado a otro no son deterministas sino aleatorias; de las funciones de distribución se suponen conocidos únicamente los dos primeros momentos.
Se deducen fórmulas para calcular la esperanza matemática y la varianza de la ganancia total del proceso en horizonte finito o infinito y con o sin descuento. Se hacen algunas observaciones sobre la función de distribución de la ganancia total.
Los resultados tienen interés para introducir la noción de riesgo en la búsqueda de políticas óptimas.
Este trabajo corrige y amplía resultados de otros autores, ilustrándolos con un ejemplo numérico.
Resumen inglés In this article we present a generalization of Markov Decision Processes with discreet time where the immediate rewards in every period are not deterministic but random, with the two first moments of the distribution given.
Formulas are developed to calculate the expected value and the variance of the reward of the process, formulas which generalize and partially correct other results. We make some observations about the distribution of rewards for processes with limited or unlimited horizon and with or without discounting.
Application with risk sensitivity policies are possible; this is illustrated in a numerical example where the results are revalidated by simulation.
Clasificación UNESCO 120904
Palabras clave español Programación dinámica ; Procesos de decisión ; Proceso de Markov
Código MathReviews MR0697379
Código Z-Math Zbl 0523.90089
Icono pdf Acceso al artículo completo
Equipo DML-E
Instituto de Ciencias Matemáticas (ICMAT - CSIC)
rmm()icmat.es