20世紀アメリカの電気工学者・数学者クロード・シャノン（Claude Shannon）は――
なぜ、エントロピー（entropy）を、
――情報の量
と観（み）立てのか。
エントロピーは――
19世紀ドイツの物理学者ルドルフ・クラウジウス（Rudolf Clausius）によって初めて学問の世界に導入をされ――
そのクラウジウスより 20 歳ほど若かった19世紀オーストリアの物理学者ルートヴィヒ・ボルツマン（Ludwig Boltzmann）らによって、
S = k ln W
と定式化をされた―― S はエントロピー、k はボルツマン定数（Boltzmann constant）、ln は高校の数学で学ぶ自然対数、W は状態の場合の数である。
シャノンは――
なぜ、
S = k ln W
という概念を、
――情報
という概念に結びつけることができたのか。
……
……
それは、
S = k ln W
の定式化の結果から、
――エントロピーが減る。
とは、
――場合の数が減る。
ということに等しい――
と、わかったことによる。
――場合の数が減る。
とは、どういうことか。
……
……
それは、
――不確実性が低まる。
ということである。
例えば――
サイコロ 1 個を振る時に――
その目の出方は不確実である。
サイコロには、通常、
1、2、3、4、5、6
の 6 種類の目が描かれている。
よって――
サイコロ 1 個を振る時に――
6 種類の目のうちのどれかが出ることは、わかるが――
どれが出るかは、わからぬ。
確実には、わからぬ。
これが、
――不確実性
である。
場合の数は、
6
である。
この時――
もし――
そのサイコロには、どういうわけか、
1、1、1、6、6、6
と 2 種類の目しか描かれていない――
ということが、わかっていたとしたら――
どうか。
そのサイコロを振る時――
どの目が出るか、確実には、わからぬが――
1 か 6 か、どちらかの目しか出ないということは、わかる。
確実に、わかる。
この時、
――不確実性
は低まっている。
場合の数は、
2
である。
場合の数が、
6
から、
2
へと減り、
――不確実性
が低まった――
それは、なぜなのか。
……
……
それは、
――そのサイコロには、2 種類の目しか描かれいない。
という、
――情報
が伝わったからである――
つまり、
――不確実性が低まる。
とは、
――情報が伝わる。
ということである――
……
……
そのような発想の基づき――
シャノンは、
――エントロピー
を、
――情報の量
と観立てた――
と考えられる。
『随に――』
