KLダイバージェンス、よく出てくるけど今日こそ理解したい。情報理論の基礎（シャノン情報量、エントロピー、クロスエントロピー）から順を追って、KLダイバージェンスの意味と機械学習での重要性を分かりやすく解説します。