――エントロピー(entropy)
とは、
――不確実性
であり――
――不確実性が低まる。
とは、
――情報が伝わる。
ということである。
例えば、
――これから振られるサイコロの目は一見 6 種類あるが、実は 2 種類しかない。
という情報が伝わると――
その情報を受け取った者にとっては――
場合の数が、
6
から、
2
へと減り、
――不確実性
は低まる。
この時、
S = k ln W
であれば、
――エントロピー
という名の、
――不確実性
は、
k ln 6
から、
k ln 2
へと減っていることになる。
ただし、S はエントロピー、k はボルツマン定数(Boltzmann constant)、ln は高校の数学で学ぶ自然対数、W は状態の場合の数である。
減った分のエントロピーが情報として伝わったと、みなせば――
その“情報の量”は、
k ln 6 − k ln 2
= k ln 3
となる。
以上の考察に基づく類推から、
――情報の量
は、
k ln W − k ln(W / Δw)
= k ln Δw
へと一般化が可能そうである。
ただし、Δw は W を定めうる要素の数――例えば、原子や分子などの数――の変化に伴う W の変化である。
エントロピーが S から S + ΔS へと変化をする時、状態の場合の数は W から W × Δw へと変化をすることに留意をされたい。
また――
以上の考察では、
k = 1
と、みなしても――
特に支障はない。
よって、“情報の量”は――
単に、
ln Δw
と表せば十分そうである。
このようにして――
ひとまず、エントロピーから、
――情報の量
を定めることができる。
『随に――』