Determiner l’etat stable d’une chaine de Markov
Créez un compte gratuit pour suivre votre avancement et reprendre où vous avez laissé.
Créer un compteMéthode
La distribution invariante (ou état stable) d'une chaîne de Markov de matrice de transition $P$ est le vecteur ligne $\pi$, à composantes positives de somme $1$, qui vérifie $\pi = \pi \times P$. Pour la déterminer :
- Étape 1 : noter $\pi = \begin{pmatrix} x & y \end{pmatrix}$ (ou $\begin{pmatrix} x & y & z \end{pmatrix}$ à trois états) le vecteur ligne cherché.
- Étape 2 : écrire l'égalité matricielle $\pi = \pi \times P$ et la traduire en un système d'équations, une par composante.
- Étape 3 : simplifier chaque équation. L'une d'elles est toujours redondante (les lignes de $P$ sommant à $1$) ; on peut donc en abandonner une.
- Étape 4 : adjoindre la condition de normalisation : la somme des composantes vaut $1$.
- Étape 5 : résoudre le système formé d'une équation issue de $\pi = \pi P$ et de la condition de somme, puis vérifier que toutes les composantes sont positives.
Remarque
La condition « somme des composantes égale à $1$ » est indispensable : sans elle, le système $\pi = \pi P$ admet une infinité de solutions (toutes proportionnelles). C'est elle qui sélectionne une unique distribution de probabilité.
Chaîne de Markov à 2 états : fidélité à une marque
Chaque mois, un consommateur achète soit la marque $A$, soit la marque $B$. On observe que :
- un acheteur de $A$ rachète $A$ le mois suivant avec la probabilité $0{,}8$ et passe à $B$ avec la probabilité $0{,}2$ ;
- un acheteur de $B$ passe à $A$ avec la probabilité $0{,}6$ et rachète $B$ avec la probabilité $0{,}4$.
En classant les états dans l'ordre $A$, $B$, la matrice de transition est :
Étape 1 : On cherche $\pi = \begin{pmatrix} x & y \end{pmatrix}$.
Étape 2 : L'égalité $\pi = \pi \times P$ s'écrit :
ce qui donne le système :
Étape 3 : La première équation s'écrit $x - 0{,}8\,x = 0{,}6\,y$, soit $0{,}2\,x = 0{,}6\,y$, donc $x = 3y$. (La seconde équation, $0{,}6\,y = 0{,}2\,x$, redonne la même relation : elle est redondante.)
Étape 4 : On adjoint la condition $x + y = 1$.
Étape 5 : En reportant $x = 3y$ dans $x + y = 1$ :
d'où $y = 0{,}25$ puis $x = 3 \times 0{,}25 = 0{,}75$. Les deux composantes sont positives.
La distribution invariante est $\mathbf{\pi}$ = $\mathbf{\begin{pmatrix} 0{,}75 & 0{,}25 \end{pmatrix}}$ : à long terme, $75\,\%$ des achats portent sur la marque $A$ et $25\,\%$ sur la marque $B$.
Chaîne de Markov à 3 états : segments de clientèle
Un magazine classe ses lecteurs chaque année en trois catégories : $A$ (abonné), $O$ (achat occasionnel) et $N$ (non-lecteur). La matrice de transition, dans l'ordre $A$, $O$, $N$, est :
Étape 1 : On cherche $\pi = \begin{pmatrix} x & y & z \end{pmatrix}$.
Étape 2 : L'égalité $\pi = \pi \times P$ donne, colonne par colonne :
Étape 3 : On abandonne la troisième équation (redondante) et on simplifie les deux premières :
- $x = 0{,}7\,x + 0{,}3\,y + 0{,}1\,z$ donne $0{,}3\,x = 0{,}3\,y + 0{,}1\,z$, soit $3x = 3y + z$ ;
- $y = 0{,}2\,x + 0{,}5\,y + 0{,}2\,z$ donne $0{,}5\,y = 0{,}2\,x + 0{,}2\,z$, soit $5y = 2x + 2z$.
Étape 4 : On ajoute la condition $x + y + z = 1$.
Étape 5 : De la première relation, $z = 3x - 3y$. On reporte dans $5y = 2x + 2z$ :
soit $11y = 8x$, donc $y = \dfrac{8}{11}\,x$. On en déduit $z = 3x - 3 \times \dfrac{8}{11}\,x = \dfrac{33x - 24x}{11} = \dfrac{9}{11}\,x$.
En reportant dans $x + y + z = 1$ :
d'où $x = \dfrac{11}{28}$, puis $y = \dfrac{8}{28} = \dfrac{2}{7}$ et $z = \dfrac{9}{28}$. Toutes les composantes sont positives et leur somme vaut $\dfrac{11 + 8 + 9}{28} = 1$.
La distribution invariante est $\mathbf{\pi}$ = $\mathbf{\begin{pmatrix} \dfrac{11}{28} & \dfrac{8}{28} & \dfrac{9}{28} \end{pmatrix}}$, soit environ $\begin{pmatrix} 0{,}39 & 0{,}29 & 0{,}32 \end{pmatrix}$ : à long terme, près de $39\,\%$ des lecteurs sont abonnés, $29\,\%$ occasionnels et $32\,\%$ non-lecteurs.
Remarque
Existence et convergence. Une chaîne de Markov possède toujours au moins une distribution invariante. En revanche, la distribution $\pi_n = \pi_0 \times P^n$ ne converge pas systématiquement vers $\pi$ : la convergence vers l'état stable, indépendamment de la distribution initiale $\pi_0$, est garantie lorsque l'une des puissances de $P$ ne contient aucun coefficient nul (chaîne dite régulière). C'est le cas dès qu'à partir de chaque état on peut atteindre tout autre état en un nombre fixé d'étapes. Dans les deux exemples ci-dessus, la chaîne converge : $\pi$ décrit bien le comportement à long terme.
Pour construire ou lire la matrice $P$ à partir du graphe, on se reportera à la méthode dédiée à la matrice de transition.
Attention
Il ne faut jamais oublier la condition de normalisation (somme des composantes égale à $1$). Le seul système $\pi = \pi P$ est indéterminé : ses équations sont proportionnelles et admettent une infinité de solutions. C'est l'erreur la plus fréquente.
Une distribution invariante n'est pas toujours un comportement-limite. La résoudre donne le vecteur fixe $\pi = \pi P$, mais affirmer que $\pi_n$ « tend vers $\pi$ » suppose que la chaîne converge. Une chaîne périodique (par exemple deux états qui s'échangent à coup sûr, $P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}$) possède bien un état stable $\begin{pmatrix} 0{,}5 & 0{,}5 \end{pmatrix}$, mais la suite $\pi_n$ oscille et ne converge pas.
Enfin, $\pi$ est un vecteur ligne et on écrit toujours $\pi \times P$ (et non $P \times \pi$) : l'ordre des facteurs est imposé.