マル太の『道草日記』

ほぼ毎日更新――

エントロピー、情報の量

 ――エントロピー(entropy)

 は、19世紀、ドイツの物理学者ルドルフ・クラウジウス(Rudolf Clausius)やオーストリアの物理学者ルートヴィヒ・ボルツマン(Ludwig Boltzmann)らによって導入をされた。

  S = k ln W

 と表される。

 S はエントロピー、k はボルツマン定数(Boltzmann constant)、ln は高校の数学で学ぶ自然対数、W は状態の場合の数である。

 

 ここでいう、

 ――ボルツマン定数

 とは、高校の理科で学ぶ気体定数を、やはり高校の理科で学ぶアボガドロ定数(Avogadro constant)で割った値である。

 気体定数は、気体の状態方程式に含まれている。

 物質量が 1 モルの気体――理想気体――に当てはまる状態方程式は、

  P V = R T

 であり、P は気体の圧力、V は気体の体積、R は気体定数、T は温度――絶対温度――である。

 ――物質量が1モル――

 とは、原子や分子がアボガドロ定数の個数だけ集まるときの量である。

 アボガドロ定数は、

  6.02 × 10^23

 という膨大な数である。

 

 また、

 ――状態の場合の数

 とは、自然界のある部分について、その部分に満たされているエネルギーが一定の時に、その部分に存在をする原子や分子などが呈しうる状態の数である。

 状態の場合の数 W は、呈しうる状態の数であるから、その逆数は、その状態が実際に呈される確率 p とみなせる。

  p = 1 / W

 である。

 

 一方――

 20世紀、アメリカの電気工学者・数学者クロード・シャノン(Claude Shannon)が導入をした、

 ――情報の量

 は、

  S = − ln p

 で表される。

 

  S = − ln p

  ⇔ S = ln 1/p

  ⇔ S = ln W

 

 であるから――

 シャノンの“情報の量”は、クラウジウスやボルツマンらのエントロピーと、ほぼ同一である。

 

 違いは――

 大雑把にいえば――

 ボルツマン定数が掛かっているか否かや――

 状態が出来事に結び付けられるか否か――

 など、些事である。

 

 『随に――』