Institute of Information Theory and Automation

You are here

AS seminář: Stručný přehled teorie entropie, crossentropie a Kullback-Leiblerovy divergence a s tím související metody

Date: 
2011-04-18 11:30
Room: 
"Měl byste tomu říkat entropie ze dvou důvodů. Zaprvé se totéž pod stejným názvem používá ve statistické mechanice. Druhý a významnější důvod je ten, že nikdo pořádně neví, co entropie doopravdy je, takže v diskusích budete mít vždy navrch," poradil roku 1949 během společné diskuse J. von Neumann C. Shannonovi. Druhý bod se ukazuje jako velmi pravdivý. Ačkoliv jsou např. entropické vlastnosti normálního či rovnoměrného rozdělení nebo princip MaxEnt hojně využívány, je korektní znalost jejího smyslu překvapivě řídká. Cílem semináře je podat stručný přehled teorie entropie, crossentropie a Kullback-Leiblerovy divergence a s tím souvisejících metod.
2012-05-04 20:45