通信用語の基礎知識 全国のICカードこれひとつ 戻る

通常PC用 / 人気 更新 今日 カテ
自然科学 > 物理 > 現象・状態 > 状態量・生起確率
情報エントロピー
辞書:科学用語の基礎知識 物理学編 (NPHYS)
読み:じょうほうエントロピー
外語:Information entropy
品詞:名詞

ある情報が伝える情報の本質量。

例えば、ある企業Mは誰もが悪徳企業であると考えていると仮定したとして、"実はM社は悪徳企業では無かった" という情報が伝え得る衝撃は大きいが、"M社の社長BG氏は善人では無かった" という情報が伝え得る衝撃は小さいとすると、そのそれぞれの衝撃の大きさが情報エントロピーである。つまり、予測がしにくい状態ほど、大きな量が得られる。

情報工学的には、ある情報の生起確率を、公式 "-log2 生起確率" にあてはめて、求められる量をエントロピー量とする。

この理論から、生起確率が50%の時のエントロピー量を1ビットとする事によって、エントロピー量の単位をビット単位で測れるようにしている。

リンク
関連する用語
エントロピー
生起確率
圧縮アルゴリズム

[再検索] [戻る]


通信用語の基礎知識検索システム WDIC Explorer Ver 7.04 (07-Mar-2021)
Search System : Copyright © Mirai corporation
Dictionary : Copyright © WDIC Creators club
KisoDic