通信用語の基礎知識 IPv4
戻る
参加者募集中

情報エントロピー

辞書:科学用語の基礎知識 物理学編 (NPHYS)
読み:じょうほうエントロピー
外語:Information entropy 英語
品詞:名詞

記事の有効期限について

この記事は更新履歴情報のない、旧形式項目です。久しく更新されておらず、古い記述を含む可能性があります。

更新すべき内容を見つけた場合は、ページ末の報告フォームよりお知らせください。また、現在当サイトは編集仲間を求めています

ある情報が伝える情報の本質量。

例えば、ある企業Mは誰もが悪徳企業であると考えていると仮定したとして、"実はM社は悪徳企業では無かった" という情報が伝え得る衝撃は大きいが、"M社の社長BG氏は善人では無かった" という情報が伝え得る衝撃は小さいとすると、そのそれぞれの衝撃の大きさが情報エントロピーである。つまり、予測がしにくい状態ほど、大きな量が得られる。

情報工学的には、ある情報の生起確率を、公式 "-log2 生起確率" にあてはめて、求められる量をエントロピー量とする。

この理論から、生起確率が50%の時のエントロピー量を1ビットとする事によって、エントロピー量の単位をビット単位で測れるようにしている。

コメントなどを投稿するフォームは、日本語対応時のみ表示されます


KisoDic通信用語の基礎知識検索システム WDIC Explorer Version 7.03 (16-May-2019)
Search System : Copyright © Mirai corporation
Dictionary : Copyright © WDIC Creators club