Determiner et utiliser la matrice de transition d’une chaine de Markov
Créez un compte gratuit pour suivre votre avancement et reprendre où vous avez laissé.
Créer un compteMéthode
À partir d'un graphe probabiliste à $p$ états ($p = 2$ ou $3$), pour obtenir la matrice de transition et la répartition des probabilités après $n$ étapes :
- Étape 1 : numéroter les états de $1$ à $p$ ; cet ordre fixe à la fois les lignes et les colonnes de la matrice.
- Étape 2 : lire sur le graphe la probabilité portée par chaque arc orienté de l'état $i$ vers l'état $j$ et la placer dans la case $P_{i,j}$ (une boucle alimente le coefficient diagonal $P_{i,i}$).
- Étape 3 : vérifier que $P$ est une matrice stochastique : tous les coefficients sont compris entre $0$ et $1$ et la somme de chaque ligne vaut $1$.
- Étape 4 : écrire la distribution initiale $\pi_0$ comme un vecteur ligne dont les composantes (de somme $1$) donnent la probabilité de chaque état au départ.
- Étape 5 : calculer la distribution à l'étape $n$ par le produit $\pi_n = \pi_0 \times P^n$, ou de proche en proche grâce à $\pi_{n+1} = \pi_n \times P$.
Remarque
Ne pas confondre la matrice de transition $P$ (coefficients = probabilités, chaque ligne de somme $1$) avec la matrice d'adjacence (coefficients = nombres entiers comptant des arêtes ou des chemins). Ce sont deux objets distincts, associés à deux types de graphes différents.
Chaîne de Markov à 2 états : la météo
Dans une station de montagne, chaque jour est soit ensoleillé (état $S$), soit nuageux (état $N$). On observe que :
- après un jour ensoleillé, le lendemain est ensoleillé avec la probabilité $0{,}8$ et nuageux avec la probabilité $0{,}2$ ;
- après un jour nuageux, le lendemain est ensoleillé avec la probabilité $0{,}5$ et nuageux avec la probabilité $0{,}5$.
Étape 1 : On classe les états dans l'ordre $S$, $N$.
Étape 2 : On reporte chaque probabilité dans la case correspondante :
- de $S$ vers $S$ : $P_{1,1} = 0{,}8$ ; de $S$ vers $N$ : $P_{1,2} = 0{,}2$ ;
- de $N$ vers $S$ : $P_{2,1} = 0{,}5$ ; de $N$ vers $N$ : $P_{2,2} = 0{,}5$.
Étape 3 : Chaque ligne a bien pour somme $1$ : $0{,}8 + 0{,}2 = 1$ et $0{,}5 + 0{,}5 = 1$. La matrice $P$ est stochastique.
Étape 4 : Le jour $0$ est ensoleillé, donc la distribution initiale est le vecteur ligne :
Étape 5 : On calcule $\pi_1$, puis $\pi_2$ pour vérifier.
Le premier jour, la probabilité d'un temps ensoleillé est $0{,}8$ et celle d'un temps nuageux est $0{,}2$.
En effet $0{,}8 \times 0{,}8 + 0{,}2 \times 0{,}5 = 0{,}74$ et $0{,}8 \times 0{,}2 + 0{,}2 \times 0{,}5 = 0{,}26$. Au bout de deux jours, la probabilité d'un temps ensoleillé est donc $\mathbf{0{,}74}$.
Chaîne de Markov à 3 états : déplacements entre villes
Une agence de location suit ses voitures réparties entre trois villes $A$, $B$ et $C$. Chaque semaine, une voiture présente dans une ville peut être rendue dans une autre. La matrice de transition se lit directement sur le graphe probabiliste ci-dessous.
Étape 1 : On classe les états dans l'ordre $A$, $B$, $C$.
Étape 2 : On reporte les arcs partant de chaque état. Depuis $A$ : $0{,}2$ (boucle), $0{,}5$ vers $B$, $0{,}3$ vers $C$. Depuis $B$ : $0{,}3$ vers $A$, $0{,}2$ (boucle), $0{,}5$ vers $C$. Depuis $C$ : $0{,}4$ vers $A$, $0{,}4$ vers $B$, $0{,}2$ (boucle).
Étape 3 : Chaque ligne a pour somme $1$ : $0{,}2 + 0{,}5 + 0{,}3 = 1$, $0{,}3 + 0{,}2 + 0{,}5 = 1$ et $0{,}4 + 0{,}4 + 0{,}2 = 1$. La matrice est bien stochastique.
Étape 4 : Au départ, toutes les voitures sont dans la ville $A$, d'où le vecteur ligne :
Étape 5 : La répartition après une semaine est la première ligne de $P$ :
Après deux semaines :
Le détail du produit ligne par colonne donne :
- $0{,}2 \times 0{,}2 + 0{,}5 \times 0{,}3 + 0{,}3 \times 0{,}4 = 0{,}31$ (ville $A$) ;
- $0{,}2 \times 0{,}5 + 0{,}5 \times 0{,}2 + 0{,}3 \times 0{,}4 = 0{,}32$ (ville $B$) ;
- $0{,}2 \times 0{,}3 + 0{,}5 \times 0{,}5 + 0{,}3 \times 0{,}2 = 0{,}37$ (ville $C$).
La somme des composantes reste $0{,}31 + 0{,}32 + 0{,}37 = 1$, ce qui confirme le calcul.
Remarque
La relation $\pi_n = \pi_0 \times P^n$ et la relation de récurrence $\pi_{n+1} = \pi_n \times P$ donnent le même résultat. En pratique, pour une seule valeur de $n$ on enchaîne les produits $\pi_0 \to \pi_1 \to \dots \to \pi_n$ ; pour comparer plusieurs étapes ou raisonner à la calculatrice, on calcule directement la puissance $P^n$.
Le produit $\pi_0 \times P$ d'un vecteur ligne à $p$ composantes par une matrice carrée d'ordre $p$ redonne bien un vecteur ligne à $p$ composantes : la dimension est cohérente à chaque étape.
Attention
L'ordre des facteurs compte : on écrit $\pi_0 \times P$ (vecteur ligne à gauche, matrice à droite) et jamais $P \times \pi_0$, qui n'a pas de sens ici. C'est la raison pour laquelle $\pi_0$ est un vecteur ligne.
La somme vaut $1$ sur chaque ligne de $P$, pas sur chaque colonne : une ligne décrit le devenir d'un état donné. Vérifier les colonnes est une erreur fréquente.
Enfin, ne pas confondre $P^n$ (la matrice de transition élevée à la puissance $n$, dont les coefficients sont des probabilités) avec les puissances de la matrice d'adjacence, dont les coefficients comptent des chemins. Une chaîne de Markov ne se décrit jamais avec une matrice d'adjacence.