ある時刻 t において、状態が 1 つに決まる確率を p (t) とすると、
――情報の量
は、より明瞭に記せる。
――エントロピー
が、時間 Δt の間に、
ln(1 / p (t))
から、
ln(1 / p ( t + Δt ))
へと減る時――
情報は、
ln(1 / p (t))− ln(1 / p ( t + Δt ))
= ln(p ( t + Δt ) / p (t))
という量で伝わってくる――
というように――
である。
ただし、ln は高校の数学で学ぶ自然対数である。
……
……
ところで――
エントロピーを、
ln(1 / p (t))
や、
ln(1 / p ( t + Δt ))
と記すのは、少し判りづらい。
底を a とする x の対数が、一般に、
log a(1 / x)= − log a x
と表されることから――
x の自然対数も、当然、
ln(1 / x)= − ln x
と表される。
よって――
ln(1 / p (t))
ln(1 / p ( t + Δt ))
は、
− ln p (t)
− ln p ( t + Δt )
と表される。
これらの数式には負号が付いているので――
常に負数をとると誤解をされかねぬが、
0 ≦ p (t) ≦ 1
0 ≦ p ( t + Δt ) ≦ 1
なので――
実際には常に正数をとる。
関数、
y = − ln x
が、xy 平面において――
直線、
x = 0
を漸近線として――
かつ――
直線、
y = − x + 1
と点( 1 , 0 )で接する単調減少関数であることを思えば――
いくらか判りやすい。
『随に――』