Entropie, relativní entropie, diferenciální entropie. Distribuce s maximální entropií. Entropie ve statistických úlohách - odhady paramerů a testování hypotéz. Limitní věty založené na metodě "typů" - silný zákon velkých čísel, věta o velkých odchylkách. Limitní věty pro chyby 2. druhu - Steinova a Chernoffova věta. Věta o konvergenci podmíněného rozdělení.