マル太の『道草日記』

ほぼ毎日更新――

エントロピーから“情報の量”へ

 ――エントロピー(entropy)

 とは、

 ――不確実性

 であり――

 

 ――不確実性が低まる。

 とは、

 ――情報が伝わる。

 ということである。

 

 例えば、

 ――これから振られるサイコロの目は一見 6 種類あるが、実は 2 種類しかない。

 という情報が伝わると――

 その情報を受け取った者にとっては――

 場合の数が、

  6

 から、

  2

 へと減り、

 ――不確実性

 は低まる。

 

 この時、

  S = k ln W

 であれば、

 ――エントロピー

 という名の、

 ――不確実性

 は、

  k ln 6

 から、

  k ln 2

 へと減っていることになる。

 ただし、S はエントロピー、k はボルツマン定数(Boltzmann constant)、ln は高校の数学で学ぶ自然対数、W は状態の場合の数である。

 

 減った分のエントロピーが情報として伝わったと、みなせば――

 その“情報の量”は、

 

  k ln 6 − k ln 2

  = k ln 3

 

 となる。

 

 以上の考察に基づく類推から、

 ――情報の量

 は、

 

  k ln W − k ln(W / Δw)

  = k ln Δw

 

 へと一般化が可能そうである。

 ただし、Δw は W を定めうる要素の数――例えば、原子や分子などの数――の変化に伴う W の変化である。

 エントロピーが S から S + ΔS へと変化をする時、状態の場合の数は W から W × Δw へと変化をすることに留意をされたい。

 

 また――

 以上の考察では、

  k = 1

 と、みなしても――

 特に支障はない。

 

 よって、“情報の量”は――

 単に、

  ln Δw

 と表せば十分そうである。

 

 このようにして――

 ひとまず、エントロピーから、

 ――情報の量

 を定めることができる。

 

 『随に――』