17. Cadenas de Markov

Las cadenas de Markov son un modelo matemático que se utiliza para describir sistemas que cambian de estado a lo largo del tiempo, donde el estado futuro depende únicamente del estado actual y no del historial previo. A esta propiedad se le llama propiedad de Markov o falta de memoria.

---

Idea principal

Una cadena de Markov responde a la pregunta:

¿Cuál es la probabilidad de pasar de un estado a otro en el siguiente paso?

No importa cómo se llegó al estado actual, solo importa dónde se está ahora.

---

Elementos de una cadena de Markov

1. Estados
   Son las posibles situaciones en las que puede estar el sistema.
   Ejemplo: Soleado, Nublado, Lluvioso.

2. Probabilidades de transición
   Indican la probabilidad de pasar de un estado a otro en un paso de tiempo.

3. Matriz de transición
   Es una tabla que resume todas las probabilidades de cambio entre estados.

---

Propiedad de Markov

Formalmente se expresa como:

$$P(Xt+1∣Xt,Xt−1,…,X0)=P(Xt+1∣Xt)P(X_{t+1} \mid X_t, X_{t-1}, \dots, X_0) = P(X_{t+1} \mid X_t)P(Xt+1​∣Xt​,Xt−1​,…,X0​)=P(Xt+1​∣Xt​)$$

Es decir, el futuro depende solo del presente.

---

Ejemplo: clima diario

Supongamos que el clima de un día puede ser:

• S = Soleado
• N = Nublado
• L = Lluvioso

Las probabilidades de transición son:

• Si hoy está soleado:

  • Mañana será soleado: 0.6
  • Mañana será nublado: 0.3
  • Mañana será lluvioso: 0.1

• Si hoy está nublado:

  • Mañana será soleado: 0.4
  • Mañana será nublado: 0.4
  • Mañana será lluvioso: 0.2

• Si hoy está lluvioso:

  • Mañana será soleado: 0.2
  • Mañana será nublado: 0.3
  • Mañana será lluvioso: 0.5

---

Matriz de transición

P=(0.60.30.10.40.40.20.20.30.5)P = \begin{pmatrix} 0.6 & 0.3 & 0.1 \ 0.4 & 0.4 & 0.2 \ 0.2 & 0.3 & 0.5 \end{pmatrix}P=​0.60.40.2​0.30.40.3​0.10.20.5​​

Cada fila suma 1, porque desde un estado siempre se pasa a algún otro (o al mismo).

---

¿Cómo se usa?

Si hoy está soleado, la matriz nos permite saber:

• La probabilidad del clima de mañana.
• La probabilidad del clima en dos días, tres días, etc. (multiplicando matrices).

---

Ejemplo sencillo de la vida cotidiana

Un semáforo con estados:

• Verde → Amarillo → Rojo

El color siguiente depende solo del color actual, no de cuántas veces ya ha cambiado antes. Eso es una cadena de Markov.

---

Relación con otros temas

• Las cadenas de Markov son la base de:

  • Modelos de predicción
  • Procesos estocásticos
  • Redes Bayesianas dinámicas
  • Algoritmos como PageRank

relatedInteligencia Artificial