Déterminer la distribution invariante d’une chaîne de Markov
Créez un compte gratuit pour suivre votre avancement et reprendre où vous avez laissé.
Créer un compteMéthode
Pour déterminer une distribution invariante $ X $ d'une chaîne de Markov de matrice de transition $ P $ :
- Étape 1 : noter $ X = \begin{pmatrix} a_1 & a_2 & \cdots & a_p \end{pmatrix} $ et écrire l'égalité matricielle $ X\,P = X $. Développer le produit pour obtenir un système d'équations linéaires en les inconnues $ a_1, \ldots, a_p $.
- Étape 2 : ajouter la condition de normalisation $ a_1 + a_2 + \cdots + a_p = 1 $ : c'est elle qui assure l'unicité de la solution (sans cette condition, le système admet une infinité de solutions proportionnelles).
- Étape 3 : résoudre le système combiné. Vérifier en remplaçant la solution dans $ X\,P $ : on doit retrouver $ X $.
Remarque
Lorsque la matrice $ P $ n'a que des coefficients strictement positifs, la suite $ \left(X_n\right) $ converge vers cette distribution invariante quelle que soit la distribution initiale $ X_0 $. La distribution invariante représente alors le comportement à long terme du système.
Les équations issues de $ X\,P = X $ ne sont pas toutes indépendantes : pour une matrice $ p \times p $, on obtient $ p $ équations dont une est combinaison des autres. La condition de normalisation est donc indispensable pour obtenir un système de $ p $ équations indépendantes à $ p $ inconnues.
Distribution invariante à 2 états
On considère $ P = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}5 & 0{,}5 \end{pmatrix} $ et l'on cherche $ X = \begin{pmatrix} a & b \end{pmatrix} $ tel que $ X\,P = X $.
Étape 1 : développement de $ X\,P = X $.
soit :
Les deux équations sont équivalentes : $ 0{,}2\,a = 0{,}5\,b $, soit $ b = \dfrac{2}{5}a $.
Étape 2 : on ajoute la condition $ a + b = 1 $.
D'où $ b = \dfrac{2}{7} $.
Étape 3 : vérification.
Premier coefficient : $ \dfrac{5}{7} \times 0{,}8 + \dfrac{2}{7} \times 0{,}5 = \dfrac{4}{7} + \dfrac{1}{7} = \dfrac{5}{7} $.
Second coefficient : $ \dfrac{5}{7} \times 0{,}2 + \dfrac{2}{7} \times 0{,}5 = \dfrac{1}{7} + \dfrac{1}{7} = \dfrac{2}{7} $.
On retrouve bien $ X $, donc :
Distribution invariante à 3 états
On considère la matrice $ P = \begin{pmatrix} 0{,}5 & 0{,}25 & 0{,}25 \\ 0{,}25 & 0{,}5 & 0{,}25 \\ 0{,}25 & 0{,}25 & 0{,}5 \end{pmatrix} $.
On cherche $ X = \begin{pmatrix} a & b & c \end{pmatrix} $ tel que $ X\,P = X $.
Étape 1 : le produit $ X\,P $ donne le système :
En transposant les inconnues du membre de droite :
En soustrayant la première équation à la deuxième : $ 0{,}75\,a - 0{,}75\,b = 0 $, donc $ a = b $.
De même, première équation moins troisième : $ 0{,}75\,a - 0{,}75\,c = 0 $, donc $ a = c $.
Étape 2 : avec $ a = b = c $ et $ a + b + c = 1 $, on obtient $ 3a = 1 $, soit $ a = \dfrac{1}{3} $.
D'où $ X = \begin{pmatrix} \dfrac{1}{3} & \dfrac{1}{3} & \dfrac{1}{3} \end{pmatrix} $.
Étape 3 : vérification rapide. Pour la première coordonnée de $ X\,P $ : $ \dfrac{1}{3}\left(0{,}5 + 0{,}25 + 0{,}25\right) = \dfrac{1}{3} \times 1 = \dfrac{1}{3} $. Idem pour les autres. La distribution est bien invariante.
La distribution uniforme est invariante : c'est un cas typique lorsque la matrice $ P $ est symétrique.
Attention
Erreurs fréquentes :
- oublier la condition $ a_1 + a_2 + \cdots + a_p = 1 $ : sans elle, on trouve l'infinité des vecteurs proportionnels, dont le vecteur nul, qui n'est pas une distribution ;
- résoudre $ P\,X = X $ (avec $ X $ colonne) au lieu de $ X\,P = X $ (avec $ X $ ligne) : la convention du programme impose la matrice ligne à gauche ;
- annoncer une distribution dont l'un des coefficients est négatif : revoir le calcul, une distribution n'a que des coefficients dans $ \left[0\,;\,1\right] $ ;
- conclure trop vite que $ X_n $ converge vers $ X $ : la convergence n'est garantie que sous certaines hypothèses (par exemple, tous les coefficients de $ P $ strictement positifs).