Rodrigo Ricardo

Cadena de Markov: definición, aplicaciones y ejemplos

Publicado el 8 diciembre, 2020

Introducción a las cadenas de Markov

Cuando estudiamos un sistema que puede cambiar con el tiempo, necesitamos una forma de realizar un seguimiento de esos cambios. Una cadena de Markov es un modelo particular para realizar un seguimiento de los sistemas que cambian según las probabilidades dadas. Como veremos, una cadena de Markov puede permitir predecir eventos futuros, pero las predicciones se vuelven menos útiles para eventos más lejanos en el futuro (al igual que las predicciones del mercado de valores o del clima).

Esta lección requiere conocimientos previos de aritmética matricial.

Definiciones

Un estado es cualquier situación particular que sea posible en el sistema. Por ejemplo, si estamos estudiando días lluviosos, entonces hay dos estados:

  1. Esta lloviendo hoy.
  2. Hoy no llueve.

El sistema podría tener muchos más de dos estados, pero nos limitaremos a dos para este pequeño ejemplo.

El término cadena de Markov se refiere a cualquier sistema en el que hay un cierto número de estados y probabilidades dadas de que el sistema cambie de un estado a otro.

Eso es mucho para asimilar a la vez, así que ilustremos usando nuestro ejemplo de días lluviosos. Las probabilidades de nuestro sistema podrían ser:

  • Si llueve hoy (R), entonces hay un 40% de probabilidad de que llueva mañana y un 60% de probabilidad de que no llueva.
  • Si no llueve hoy (N), entonces hay un 20% de probabilidad de que llueva mañana y un 80% de probabilidad de que no llueva.

Puede resultar útil organizar estos datos en lo que llamamos diagrama de estado .


El círculo de la izquierda representa lluvia (R) y el de la derecha representa que no llueve (N).
Las flechas indican la probabilidad de cambiar de estado; por ejemplo, la flecha de R a N está etiquetada como 0.6 porque hay un 60% de probabilidad de que si llueve hoy, no lloverá mañana.
Ejemplo de lluvia

La matriz de transición

Si una cadena de Markov consta de k estados, la matriz de transición es la matriz k por k (una tabla de números) cuyas entradas registran la probabilidad de pasar de un estado a otro (en forma decimal, en lugar de porcentaje). Las filas de la matriz corresponden al estado actual y las columnas corresponden al estado siguiente. Por ejemplo, la entrada en la fila 1 y la columna 2 registra la probabilidad de pasar del estado 1 al estado 2. (Tenga en cuenta que la matriz de transición podría definirse al revés, pero las fórmulas también se invertirían).

¡Construyamos juntos una matriz de transición! Primero elegimos un pedido para nuestros estados. Digamos que R siempre viene antes de N. Eso significa que la primera fila y la primera columna se referirán a R, mientras que la segunda fila y la columna se referirán a N. Recuerde, las filas significan “desde” y las columnas significan “hasta”.

La transición de R a R es 0.4, por lo que colocamos 0.4 en la parte superior izquierda de la matriz. La transición de R a N es 0.6 (arriba a la derecha). N a R es 0.2 (abajo a la izquierda) y N a N es 0.8 (abajo a la derecha).


A la izquierda, las probabilidades se muestran en forma de tabla.
A la derecha, se muestran como una matriz de transición.
Tabla y matriz de transición

Vectores estatales

Al comienzo del proceso, es posible que sepamos exactamente en qué estado se encuentra el sistema (con lluvia o sin lluvia), pero a partir del segundo estado y más, solo conocemos las probabilidades de que el sistema esté en un estado determinado. Para realizar un seguimiento de estas probabilidades, usamos un vector de estado.

Un vector de estado es un vector (lista) que registra las probabilidades de que el sistema se encuentre en un estado dado en un paso particular del proceso.

Por ejemplo, si sabemos con certeza que hoy está lloviendo, entonces el vector de estado de hoy será (1, 0). ¡Pero mañana es otro dia! Solo sabemos que hay un 40% de probabilidad de lluvia y un 60% de probabilidad de que no llueva, por lo que el vector de estado de mañana es (0,4, 0,6).

Pero, ¿y pasado mañana? ¿O al día siguiente? Usando aritmética matricial, podemos encontrar el vector de estado para cualquier paso en el proceso de Markov.

Fórmula principal

Si P es la matriz de transición y v 0 es el vector de estado inicial, entonces el vector de estado después de n pasos es:

Fórmula de Markov

Ahora que sabemos lo básico, ¡profundicemos en ese ejemplo de día lluvioso! Supongamos que hoy está lloviendo. Entonces, ¿cuál es la probabilidad de que llueva cada día durante los próximos 5 días?

El vector inicial será (1, 0). Mañana ( n = 1 día después), el vector de estado es:

paso 1

Continúe cada día después de:

Ejemplo de cadena de Markov

Estos resultados se resumen a continuación:

Día n después de hoy Probabilidad de lluvia
0 100%
1 40%
2 28%
3 25,6%
4 25,1%
5 25%

Predicciones a largo plazo

Después de varios pasos, las probabilidades parecen converger en un valor constante independientemente del día. Por ejemplo, en los días 3, 4 y 5 en el ejemplo anterior, la probabilidad de lluvia se acerca al 25%.

¡Puede ser sorprendente que ocurra el mismo comportamiento incluso con un vector de estado inicial diferente! Suponga que hoy no está lloviendo, de modo que v 0 = (0, 1). Ejecutemos los cálculos de nuevo.

Día n después de hoy Probabilidad de lluvia
0 0%
1 20%
2 24%
3 24,8%
4 25%
5 25%

El comportamiento a largo plazo del sistema es: 25% de lluvia, independientemente del estado inicial. Por lo tanto, este modelo puede ser útil solo para predicciones a corto plazo. ¡Mantenga su paraguas a mano!

Resumen de la lección

  • Una cadena de Markov es un sistema que cambia de un estado a otro de acuerdo con probabilidades dadas.
  • La tabla de probabilidades se llama matriz de transición, y la lista de probabilidades de que el sistema se encuentre en un estado determinado después de cierto número de pasos se llama vector de estado.
  • Si P es la matriz de transición y v 0 es el vector de estado inicial, entonces el vector de estado después de n pasos viene dado por la fórmula,
v_n = v_0 P ^ n
  • El comportamiento a largo plazo del sistema no depende del estado inicial (en la mayoría de los casos).

¡Puntúa este artículo!