Zadanie 1. Niech $X$ ma rozkład jednostajny na zbiorze $\{0, 1, 2, 3\}$, a $Y$ na zbiorze $\{X, \dots, 3\}$. Obliczyć:
    a) entropię $H(X)$, $H(Y)$, $H(X, Y)$,
    b) wzajemną informację $I(X; Y)$,
    c) warunkową entropię $H(X|Y)$, $H(Y|X)$,
    d) wzajemną informację warunkową $I(X; Y|X)$, $I(X; Y|Y)$.
    e) dywergencję Kullbacka-Leiblera $D_{KL}(X||Y)$, $D_{KL}(Y||X)$.
Zadanie 2. Niech $X, Y$ będą dwiema zmiennymi losowymi o rozkładzie charakteryzowanym przez $\P(X=0, Y=1)=\P(X=1, Y=0)=\P(X=0, Y=0)=\frac13$. Obliczyć:
    a)  $H(X)$, $H(Y)$, $H(X, Y)$,
    b)  $I(X; Y)$,
    c)  $H(X|Y)$, $H(Y|X)$,
    d)  $I(X; Y|X)$, $I(X; Y|Y)$,
    e)  $D_{KL}(X||Y)$, $D_{KL}(Y||X)$.
Zadanie 3. Niech $X, Y$ będą dwiema zmiennymi losowymi o rozkładzie Poissona z parametrami $\lambda, \mu$ odpowiednio. Obliczyć:
    a)  $H(X)$, $H(Y)$, $H(X, Y)$,
    b)  $I(X; Y)$,
    c)  $H(X|Y)$, $H(Y|X)$,
    d)  $I(X; Y|X)$, $I(X; Y|Y)$,
    e)  $D_{KL}(X||Y)$, $D_{KL}(Y||X)$.
Zadanie 4. Pokazać, że dla dowolnych zmiennych losowych $X, Y$ zachodzi:
    a) $H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)$
    b) $I(X; Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)$
    c) $I(X; Y) = H(X) + H(Y) - H(X, Y)$
    d) $I(X; Y) = I(Y; X)$
    e) $I(X; Y) = 0 \iff X, Y$ są niezależne
    f) $H(X|Y) \le H(X)$
    g) $I(X; Y) \ge 0$
    h) $D_{KL}(X||Y) \ge 0$
    i) $D_{KL}(X||Y) = 0 \iff X=Y$
Zadanie 5. Pokazać, że $H(X|Y)=0 \iff X=f(Y)$ dla pewnej funkcji (borelowskiej) $f$.
Zadanie 6. Nośnik rozkładu prawdopodobieństwa to zbiór $\supp X = \{x: P(X=x)>0\}$. Niech $X, Y$ będą takimi zmiennymi losowymi, że $\supp X \subset \supp Y$. Co można powiedzieć o skończoności dywergencji Kullbacka-Leiblera?
Zadanie 7. Pokazać, że $I(X; Y ) \ge I(X; g(Y ))$ dla dowolnej funkcji $g$. Kiedy zachodzi równość? Wywnioskować, że lepiej chodzić na wykład, niż uczyć się z cudzych notatek.