ある時刻 t において、状態が 1 つに決まる確率を p (t) とすると――
その状態の
――エントロピー（entropy）
は、
− ln p (t)
で表され――
そのエントロピーが、時間 Δt の間に、
− ln p (t)
から、
− ln p ( t + Δt )
へと減る時――
情報は、
− ln p (t) −（− ln p ( t + Δt )）
= ln（p ( t + Δt ) / p (t)）
という量で伝わってくる――
と、いえる――ただし、ln は高校の数学で学ぶ自然対数である。
今は、時刻 t から時刻 t + Δt までを考えた。
同じように、時刻 0 から時刻 t までを考えることもできる。
その場合は――
エントロピーが、時間 t の間に、
− ln p (0)
から、
− ln p (t)
へと減る時――
情報は、
− ln p (0) −（− ln p (t)）
= ln（p (t) / p (0)）
という量で伝わってくる――
と、いえる。
この際――
もし、
p (0) = 1
と、みなせるならば、
− ln p (0) = 0
となり――
伝わってくる情報の量は、単純に、
−（− ln p (t)）
で表されるが――
これでは、
――状態のエントロピーは負の値しかとらない。
ということになって――
奇妙である。
よって、
p (0)＜1
と、みなしたくなり――
この時――
伝わってくる情報の量は、
C −（− ln p (t)）
となる。
ただし、C は正数である。
……
……
が――
これでは――
あまり判り易くない。
おそらく――
美しくもない。
……
……
そこで――
− ln p (t)
に、
S (t)
と名前を付け――
エントロピー S (t) が、時刻 0 から時刻 t までに、
S (0)
から、
S (t)
へと減る時――
情報は、
S (0) − S (t)
という量で伝わってくる――
と、みなすと――
いくらか判り易くなる。
この時――
時刻 0 で持っている情報の量を I (0) とすれば――
時刻 t で持っている情報の量 I (t) は、
I (t) = I (0) +（S (0) − S (t)）
となって、
I (t) + S (t)
= I (0) + S (0)
= 一定
となる。
つまり――
伝わってくる情報の量は、
I (t) − I (0)
= −（S (t) − S (0)）
である。
あるいは――
情報が、時刻 t から時刻 t + Δt までに、量 ΔI (t) だけ伝わってきたとみなすなら、
ΔI (t)
= I ( t + Δt ) − I (t)
= −（S ( t + Δt ) − S (t)）
= − ΔS (t)
となる。
ただし、ΔS (t) は時刻 t から時刻 t + Δt までのエントロピーの変化である。
要するに――
ΔI (t) = − ΔS (t)
である。
伝わってくる情報の量 ΔI (t) は、確率 p (t) ではなく、エントロピー S (t) で記すほうが――
より判り易く、より美しい。
『随に――』
