統計力学におけるシャノンのエントロピーの導出

この記事では，シャノンのエントロピー S ，つまり，

S = -k_B \sum_n p_n \ln p_n \tag{1}

をカノニカル集団（正準集団）の基礎から導出します．

準備

基本的なアイディアは，

分配関数 Z= \sum_n e^{- \beta E_n} からエネルギー期待値 \langle E \rangle と ヘルムホルツの自由エネルギー F を求め，公式

S = \dfrac{ \langle E \rangle - F }{T} \tag{2}

少し書き換えて [*] ，

\dfrac{S}{k_B} = \beta (\langle E \rangle - F ) \tag{3}
[*]\beta = \dfrac{1}{k_B T} です．

を用いて，エントロピーを求めます．

β<E>の書き換え

これはよく知られている公式を用います．つまり，

\beta \langle E \rangle &= - \beta \dfrac{\partial}{\partial \beta} \ln Z \\&= - \beta \dfrac{\partial}{\partial \beta} \ln \sum_n e^{-\beta E_n} \\&= - \beta \dfrac{- \sum_n E_n e^{- \beta E_n } }{\sum_n e^{- \beta E_n }} \\&= \dfrac{\sum_n \beta E_n e^{- \beta E_n } }{\sum_n e^{- \beta E_n }} \tag{4}

βFの書き換え

統計力学的定義に戻りますと，ヘルムホルツの自由エネルギー F は，

e^{-\beta F} &= Z \\&= \sum_{n} e^{-\beta E_n} \tag{5}

もしくは，

F &= -\dfrac{1}{\beta}\ln Z \tag{6}

です．ここで，次のボルツマン分布を確認しておきます． 縮退していてもよい，つまり， n \neq n^\prime でも， E_n = E_{n^\prime} であってよいのです． エネルギー準位 E_n をとる確率 p_n は， マクスウェル・ボルツマン分布により，

p_n = \dfrac{e^{- \beta E_n}}{\sum_{n} e^{-\beta E_n}} = \dfrac{e^{- \beta E_n}}{Z} \tag{7}

書き換えると，

Z = \dfrac{e^{- \beta E_n }}{p_n} \tag{8}

となります． 式 (6) より，

- \beta F &= \ln Z \\&= \sum_n p_n \ln Z \tag{9}

と書いておきます．ここで， \ln Z は n の依存性がないので，式 (9) の様に書けるのがポイントです． なぜなら，

\sum_n p_n = 1 \tag{10}

であるからです．

いよいよ導出

式 (8) ，式 (9) より，

- \beta F &= \sum_n p_n \ln \dfrac{e^{- \beta E_n }}{p_n} \\&= \sum_n p_n (- \ln p_n - \beta E_n ) \tag{11}

ですね？

少し戻って，式 (4) を書き直すと，

\beta \langle E \rangle = \sum_n \beta p_n E_n \tag{12}

ですから，式 (11) と式 (12) より，

\dfrac{S}{k_B} &= \beta(\langle E \rangle -F) \\&= \sum_n \beta p_n E_n + \sum_n p_n (- \ln p_n - \beta E_n ) \\&= - \sum_n p_n \ln p_n \tag{13}

つまり，

S = - k_B \sum_n p_n \ln p_n \tag{14}

が導けました．

こうしてシャノンエントロピーが導けました．

最初にこれを考えた，ボルツマンやギブスはとてもすごいと思います．

それでは，今日はこの辺で，お疲れさまでした．