情報の意味についてのアイデア
この記事は哲太が書きました。
【基礎知識】情報理論、量子力学
先の記事「コミュニケーションに関する3層構造」において、情報の意味を定量化することに興味があることを述べました。
1.シャノン情報量
ある事象の情報量Iの定義は、ある情報が確率pで見いだされるときに
I = -logp
とあらわされます。これはつまり、確率が小さいものほど情報量が多く、また独立同一分布に従う2つの事象が連続して起きたときには情報量は2倍になるということを定量化したものといえます。要はびっくり度です。
これの期待値が情報エントロピーで、
H = -∑plogp
と定義されます。情報エントロピーはシャノン情報量といわれることもあります。事象の従う確率分布全体の平均的な情報量を定量化したものです。要は、ある情報源がどれだけの情報量を持っているかを表しています。
| 固定リンク | コメント (0) | トラックバック (0)


最近のコメント