マル太の『道草日記』

ほぼ毎日更新――

エントロピーを確率で――

 ある時刻 t において、状態が 1 つに決まる確率を p (t) とすると、

 ――情報の量

 は、より明瞭に記せる。

 

 ――エントロピー

 が、時間 Δt の間に、

  ln(1 / p (t))

 から、

  ln(1 / p ( t + Δt ))

 へと減る時――

 情報は、

 


  ln(1 / p (t))− ln(1 / p ( t + Δt ))

  = ln(p ( t + Δt ) / p (t))

 


 という量で伝わってくる――

 というように――

 である。

 

 ただし、ln は高校の数学で学ぶ自然対数である。

 

 ……

 

 ……

 

 ところで――

 エントロピーを、

  ln(1 / p (t))

 や、

  ln(1 / p ( t + Δt ))

 と記すのは、少し判りづらい。

 

 底を a とする x の対数が、一般に、

  log a(1 / x)= − log a x

 と表されることから――

 x の自然対数も、当然、

  ln(1 / x)= − ln x

 と表される。

 

 よって――

 エントロピー

 

  ln(1 / p (t))

  ln(1 / p ( t + Δt ))

 

 は、

 

  − ln p (t)

  − ln p ( t + Δt )

 

 と表される。

 

 これらの数式には負号が付いているので――

 常に負数をとると誤解をされかねぬが、

 

  0 ≦ p (t) ≦ 1

  0 ≦ p ( t + Δt ) ≦ 1

 

 なので――

 実際には常に正数をとる。

 

 関数、

  y = − ln x

 が、xy 平面において――

 直線、

  x = 0

 を漸近線として――

 かつ――

 直線、

  y = − x + 1

 と点( 1 , 0 )で接する単調減少関数であることを思えば――

 いくらか判りやすい。

 

 『随に――』