Procesos estocásticos · Investigación de operaciones

Cadenas de Markov: Estado Estable y Transiciones

Análisis de procesos estocásticos en tiempo discreto. Calcula probabilidades de transición a n pasos (P^n), distribución de estado estable (vector π), simula la evolución desde un estado inicial y verifica si la cadena es regular.

Distribución de estado estable π

-

Define la matriz P y calcula.

¿Es regular?

-

Existe estado estable único.

Paso n actual

-

Para tabla P^n.

Convergencia

-

Paso aproximado al estable.

Estado más visitado (LP)

-

Mayor π_i.

Tiempo medio retorno

-

m_i = 1/π_i (al más visitado).

Filas válidas

-

Suman 1.

Matriz Pn (probabilidades de transición a n pasos)

Evolución de la distribución desde el estado inicial

Cadenas de Markov en lenguaje claro

La propiedad de Markov
Un proceso es markoviano si el futuro depende solo del presente, no del pasado. Formalmente: P(X_{t+1} = j | X_t = i, X_{t-1}, ...) = P(X_{t+1} = j | X_t = i). El sistema "no tiene memoria" más allá del estado actual.
La matriz de transición P
P[i][j] = probabilidad de pasar del estado i al estado j en un paso. Cada fila debe sumar exactamente 1 (toda la probabilidad de salir de i va a algún estado). Si la fila no suma 1, no es una matriz estocástica válida.
Probabilidades a n pasos
La probabilidad de estar en estado j después de n pasos partiendo de i es Pn[i][j]. Es decir, multiplicas la matriz n veces: P · P · ... · P. Para n grande, esta matriz tiende a las "probabilidades límite" si la cadena es regular.
Distribución de estado estable (π)
Si la cadena es regular, existe un vector π único tal que π · P = π (es un autovector izquierdo asociado al autovalor 1). Esta es la "probabilidad de largo plazo" de estar en cada estado: si dejas el proceso corriendo indefinidamente, la fracción de tiempo en cada estado tiende a π_i.
Cuándo existe estado estable
Se requieren dos propiedades:
  • Irreducible: se puede ir desde cualquier estado a cualquier otro (no hay subconjuntos absorbentes).
  • Aperiódica: no hay ciclos rígidos.
Una cadena regular (donde alguna potencia Pk tiene todas sus entradas positivas) cumple ambas propiedades y garantiza estado estable único.
Tiempo medio de retorno
El tiempo promedio entre dos visitas al estado i es m_i = 1/π_i. Si π_i = 0.25, el sistema vuelve al estado i cada 4 pasos en promedio.
Estados absorbentes
Un estado i es absorbente si P[i][i] = 1 (una vez que entras, no sales). Cadenas con estados absorbentes no tienen estado estable único - el proceso eventualmente queda atrapado en alguno. Para analizar estos casos se usa la forma canónica con submatrices fundamentales.
Aplicaciones reales
  • Marketing: matriz de transición entre marcas. ¿Qué cuota de mercado tendrá cada marca a largo plazo?
  • Recursos humanos: niveles jerárquicos (junior, semi, senior, líder). Movilidad y rotación.
  • Riesgo crediticio: estados de mora (al día, 30 días, 60 días, default). Probabilidades de migración.
  • Tiempo / clima: probabilidad de pasar de soleado a nublado a lluvia.
  • Demografía: movimientos entre ciudades, ocupaciones, niveles de ingreso.
  • Genética: evolución de poblaciones (modelos de Wright-Fisher).
  • PageRank: el algoritmo original de Google es una cadena de Markov en la red de links.
Limitaciones
  • Hipótesis de markovianidad: el supuesto de "sin memoria" puede no cumplirse. Procesos con memoria más larga necesitan modelos de orden mayor.
  • Tiempo discreto: este modelo asume pasos discretos. Procesos en tiempo continuo (CTMC) requieren matrices generadoras.
  • Probabilidades estacionarias: P es constante en el tiempo. Si cambia con el tiempo (no homogénea) los cálculos se complican.
  • Espacio de estados finito: este implementador asume # estados pequeño. Para espacios grandes/infinitos, técnicas distintas.

Curiosidad: el matemático Andrey Markov inventó estas cadenas en 1906 analizando la secuencia de vocales y consonantes en el poema "Eugenio Onegin" de Pushkin. Quería refutar la idea de que la independencia era necesaria para la ley de grandes números.