Zakładamy, że łańcuchy Markowa są jednorodne, tj. mają macierz przejścia. W zadaniach starajcie się znajdować macierze przejścia. 
Zadanie 1. Skonstruuj macierz przejścia spaceru losowego na zbiorze $\{0, \dots, 10 \}$:
    a) z barierami elastycznymi (tj. odbijamy się od brzegu),
    b) z barierami pochłaniającymi.
Zadanie 2. Czy istnieje łańcuch Markowa, który ma kilka różnych macierzy przejścia?
Zadanie 3. Pokazać przykład łancucha Markowa $X_0, X_1, \dots$ i dowolnej funkcji (borelowskiej; jeśli nie wiesz, co to, to i tak będzie borelowska) $f$, takich że $f(X_0), f(X_1), \dots$ nie jest łańcuchem Markowa.
Zadanie 4. Niech $\cone{U_n}$ będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie, $\P(U_n=1)=P(U_n=-1)=\frac12$. Czy łańcuchem Markowa jest:
    a) $A_n=U_n U_{n+1}$?
    b) $B_n = \frac{U_n+U_{n+1}}{2}$?
    c) $X_n = U_1+\dots+U_n$?
    d) $Y_n = |X_n|$?
    e) $Z_n = \max(X_1, \dots, X_n) - X_n$?
Zadanie 5. W powyższym zadaniu zmieniamy $\cone{U_n}$ na $\P(U_n=1)=p$, $P(U_n=-1)= q$, $p+q=1$.
Zadanie 6. Niech $X$ i $Z$ będą łańcuchami Markowa o wartościach calkowitoliczbowych.
Czy $X + Z$ musi być łańcuchem Markowa?
Zadanie 7. W dwóch pudełkach umieszczono $k$ kul białych i $k$ kul czarnych, po $k$ kul
w każdym. Przejście pomiedzy stanami odbywa się w następujacy
sposób: z obu pudełek losujemy po jednej kuli (niezależnie od siebie), po czym
zamieniamy je i odkładamy do pudełek. Znaleźć macierz przejścia takiego łańcucha
Markowa. Zauważmy, że cały układ możemy opisać jedną liczbą -- liczbą białych kul w pierwszym pudełku. 
Zadanie 8. Jaka jest oczekiwana liczba rzutów monetą, które trzeba wykonać, aby otrzymać sekwencję RORO? A RRRO? 
Zadanie 9. Na wyspach Bergamutach każdy człowiek pełni jeden z trzech zawodów: szklarz, zdun lub kowal. Małżonka można poznać jedynie w pracy, a zawód rodziców istotnie wpływa na wybór zawodu przez dziecko. Poniższa tabela określa prawdopodobieństwo, że dziecko wybierze zawód $i$, jeśli oboje rodzice pełnią zawód $j$.
    & szklarz & zdun & kowal \\
    \hline
    szklarz & 0.5 & 0.2 & 0.3 \\
    zdun & 0.1 & 0.7 & 0.2 \\
    kowal & 0.15 & 0.05 & 0.8
Czy istnieje taki rozkład populacji, który w następnym pokoleniu nie zmieni się?