Le cours sur les graphes de Markov étudie les processus stochastiques, où la probabilité d’un événement dépend uniquement de l’état actuel et non de l’historique des événements précédents. Ces processus peuvent être représentés graphiquement sous forme de graphes de Markov, où les nœuds représentent les états et les arêtes représentent les transitions possibles entre les états.

Le cours commence par une introduction aux probabilités et aux concepts fondamentaux des processus stochastiques. Il explique ensuite en détail les graphes de Markov, en passant en revue leurs propriétés et leurs applications. Le cours couvre également les différents types de chaînes de Markov, tels que les chaînes homogènes et les chaînes ergodiques.

Les méthodes pour calculer les probabilités d’états, les temps de passage et les distributions stationnaires sont également étudiées. Le cours se termine par une discussion sur les applications pratiques des graphes de Markov dans des domaines tels que la finance, la biologie et l’ingénierie.