怎样理解混乱度？为什么熵可以表示混乱度？

下面这个答案里我将浅显地讨论一下什么是混乱度，怎样定量表示它，为什么熵可以表示混乱度，为什么熵要取对数，为什么熵可以表示为dQ/T，为什么系统的总熵随时间永远不减小。

慢慢读完相信你对身边的世界的理解一定会加深一丢丢的^。^~ 图侵删。

另外：私人转载请署名，商务用途转载请联系支付稿费。
——————————————–正文的分界线——————————————–

1.首先，什么是混乱度？

我们来看一个简单的例子，下面是三幅程序生成的点图，每幅图里有1000个随机点，点可以重合。大家觉得哪个要更乱？

显然，按照直观感受，混乱度上c>b>a。理由很简单啊，c完全是乱选的点，b虽然竖向有点乱，好歹排成线了。a的话，点行列都对整了，最整齐了。

也就是说：C里的点在0~1的二维平面可以任意取值，b里的点在20根线上可以任意取值，A里的点就只能取在x，y坐标都能被0.05整除的地方。

这白话背后隐藏着一个系统的“整齐”这个抽象概念背后的原理，那就是：

限制一个系统能够取到的状态。

2.那么怎么定量描述一个系统的“混乱程度”呢？

没错，物理学家发明出了 状态数 $W$ 这么一个神奇的玩意。

简单得说，就是一个随机系统所可能取到的状态总数。

然后我们就可以定义：状态数越多的系统，混乱度越高

如何准确理解 系统的状态数 ？再举一个例子，假设有下面两个系统：

1. 随机抛出的两个色子

2. 随机抛出的两个色子，如果结果不同就重新抛

不难算出系统1有 $W=6\times 6=36$ 个状态，而系统2禁止了30种两个筛子有不同取值的状态，所以只有 $W=6$ 种状态。因此，系统2的混乱度是比系统1小的。

3.为什么系统状态数多直观上会给人更混乱的感觉??

对于混乱的直观感受的本质在于：当我们看到一个系统时，我们会本能地猜测这个系统可能的限制条件。例如我们看到一团乱麻时，绝不会本能地想到 “哇，这里每一根线一定都是精心安排过的”。当我们看到整理好的一列水瓶时，也不会下意识地觉得：“死国以，随便乱摆居然碰巧这么整齐~”

另外，对称性高的系统也能给人整齐的感觉，而对称性一定程度上也是限制系统的状态（比如镜面对称就限制境内和境外状态必须相同。）

举两个生活中的例子：
整理好的房间比东西乱摆的房间看上去整齐，是因为整理好的房间系统不能够取到“袜子出现在任意位置”，或者“被子以任意形态摆放”，这样的状态。

左边的书比右边整齐，因为左边的书系统不能取到没有对齐的任何状态。而右边书的朝向和重心的位置是可以任意调整的。

4.主观感受到的混乱与客观的混乱的联系是什么？

主观感受到的混乱通常是片面的，因为我们在一个时间只能观察某个系统的一种状态。而单从一个状态是无法准确判定系统的混乱程度的。

比如说有两组三个一组的色子，投掷之后分别出现下面两组数：

1 1 1 2 3 5

哪一个更混乱？直觉上来说当然是右侧这一组。

但是如果我告诉你，左侧的三个色子其实是随机碰巧掷出来的，而右边的系统限定条件是“如果三个数里没有五点就重新扔” 呢？

所以，要客观地考察一个系统的混乱程度，必须研究这个系统的客观的限定条件是什么，也就是这个系统的状态数有多少，而不是研究其中的某一个状态。对于某一个状态是否混乱的直觉感受很有可能是错误的。

这个“一个系统可以取的所有状态的集合”，在统计热力学中被称为系综。

5. 说了这么多，熵呢？为什么熵可以表示混乱度？

不急不急，这就来了。

要理解一个抽象概念不妨先从定义下手，熵在热学中的数学表达式为：

$S=klnW$

其中：

$ln$ 函数：如果一个数 $A$ 等于 $e^a$ , 那么 $lnA=a$ 。 $e$ 是一个叫自然常数的神奇的数

$k$ ：k是一个常数，叫做玻尔兹曼常数，表示能量与温度的关系，你可以不用理他

$W$ ：不多说了吧，就是状态数。不过名字不一样，他叫微观状态数。

简单地说，微观状态就是把空间按照一定的大小划分成小格子，每一个格子内算一个状态。粒子的动量取值范围也可以看成空间，划成小格子，每一个格子内也算作一个状态。某个自由粒子的状态数就是它能在空间中取到的状态数乘以它在动量空间中能够取到的状态数。

总之，熵是一个随系统状态数W增加的函数。

6.为什么熵要对状态数取对数？

取对数的原因很简单，我们希望“熵”这个值成为一个广延量。

换句话说就是，如果两个系统合并为一个系统，我们希望总系统的熵是两个系统的熵的简单和。

再来看色子：

一个色子的状态数为 $W=6$

两个色子的系统，状态数为 $W^{2}=36$

显然是没法直接相加的，但是如果我们选择 $lnW$ 作为“色子熵”的话，则：

一个色子系统的熵 $S_{dice}=lnW$

两个色子系统的熵 $S_{2dice}=ln W^2 =2 \times lnW$

这样就满足了相加条件。

7.怎样理解熵在热学中的定义： $dS= \frac {dQ}{T}$ ?

首先由问题4，我们知道一个稳定系统的熵就是子系统熵的和。所以一团气体的总熵也就是每一个分子的熵的和。

如图，A系统是体积固定为为V、温度为 $T$ 的气体系统，我们考虑其中的一个气体分子。因为气体是由许多个相同的单个分子组成的，所以整个系统的熵和这个粒子的熵成正比。

接下来，我们将考察这个粒子能够取到的状态数量，考虑它向外传热的过程，最后给出传热和熵的关系。

是不是很激动！！来来我们开搞。

注意：以下讨论略去所有的常数，全部以粗略的正比的形式给出。

首先考虑空间对应的状态数。由于我们把空间划成小格，所以状态数和空间尺寸成正比：

$W_{space} \propto V$

我们的气体体积是固定的，所以就可以忽略掉这部分状态数的变化。

然后考虑动量的状态数，我们都知道动量有三个指向，如果把动量也看成三个维度的话，那么状态数应该和 “动量空间” 的大小成正比，也就是平均动量 $\bar{p}$ 的三次方成正比。(也就是在三维世界里，”空间“ 体积与 ”长度“ 的三次方成正比)：

$W_{p} \propto \bar{p}^3$

然而又因为温度正比于平均动能，平均动能又和平均动量的二次方成正比关系 $T \propto \frac{1}{2}m \bar v^2 \propto \bar{p}^{2}$ ，所以嘛：

$W_p \propto T^{\frac{3}{2}}$

系统的熵需要对状态数取对数，因为对数的运算规则 $\ln a^b=b \times \ln a$ ，所以：

$S \propto \frac{3}{2} \ln T \propto \ln T$

高潮来了！我们考虑气体系统向外界传热，它的温度变化了非常小的 $\Delta T$ 。我们请出偏导数来描述熵的变化！

由于当 $\Delta T$ 足够小时,

$S(T_0+\Delta T)=S(T_0)+\frac{\partial S}{\partial T}_{T=T_0} \Delta T$

考虑表示熵的变化的第二项，带入熵的对数表达式就可以得到：

$\Delta S \propto\frac{\partial \ln T}{\partial T} \cdot \Delta T$ 也就是 $\frac{\Delta T}{T}$

又因为显然温度的变化量 $\Delta T$ 与传热 $\Delta Q$ 成正比，所以上面的式子就变成了传说中的：

$\Delta S \propto \frac{\Delta Q}{T}$

可以看出对数系统有不可多得的优越性，W与T的函数关系只要在幂函数的范围内都可以得到同样的结果，所以熵与热量传递的关系和空间维度没有关系！

8.为什么一个系统的内部过程会倾向于使熵增加？

试想你生活的屋子，如果你平时不注意收拾，用过的东西以很随意的姿态任意摆放。要不了多久屋子就会变得一团糟。并且这样的趋势也不太可能被逆转。

所以熵增加的本质其实是：系统内部自然发生的随机过程打破了原有的状态限制，让系统内部的元素可以取的状态多了起来。

在屋子变乱这个例子里，人的使用和随意摆放就打破了原有的物品的摆放限制，比如你的闹钟本来固定呆在床头柜上，你用过以后满屋子随便扔，那这个闹钟就可以出现在桌子椅子窗台地板的各种地方了。这样被乱扔的东西多了，屋子也就变乱了。

9.为什么常说熵增加是时间单向流动性的本质？

这样的过程，往深刻了说，就是时间流动的本质。

时间向前流动的过程中，系统中会发生大量这样的随机过程。

其中一部分随机过程不会打破原来的状态限制，比如说本身已经是随机的数列，你又随机交换了其中两个数，这样的随机过程并没有什么卵用。

但是有一部分随机过程会打破状态限制，例如本来是按次序摆好的书，你拿出来又随便放回去，或者把一个杯子打碎。引入了随机过程这个捣蛋鬼之后，熵就增加了。

point是，在时间前进的过程中，没有任何随机过程可以为系统添加限制条件。并且宇宙在微观层面几乎只存在附加了某些限制条件的随机过程。（除了生命体这个耗能量维持自身状态数的大bug）

你可以在宏观层面收拾房子，但是你的身体正在发生猛烈的化学反应。肌肉细胞拆了一个又一个葡萄糖、脂肪、ATP，产生了大量的混乱度才供给你了足够能量，让你叠个被子。

换句话说，只要宇宙微观上的随机过程永不停歇，那么总有一些随机过程会打破原来对状态的限制，状态数的增加会永远无休止的进行下去，永远永远不会回头。

————————— 回答读者问题的分界线，下面的内容就比较难懂了= = —————————–

信息熵与热力学的熵关系是什么样的？

有人提到信息熵就是负熵，实际上并不是这样的！！

信息熵的定义是 $S_{inf} = \sum_{i}{-P_i \cdot log_{2}{P_i}}$ ，其中 $P_i$ 是系统处在第 $i$ 个状态的概率。

（注意P表示概率，而概率都是小于1的，所以 $-\ln P$ 求出来的实际上是正值正值正值）

注意到前面的负号，把负号换到对数里面，整个式子其实可以写成：

$S_{inf} = \sum_{i}{P_i \cdot log_{2}{\frac{1}{P_i}}}$

也就是 $log_2{\frac{1}{P}}$ 对于所有可能状态求平均值。

假设这个系统每个状态取到的概率都相同，那么某个态出现的概率是状态数的倒数。

比如骰子有6个状态，那么每个状态出现的概率就是 $\frac{1}{6}$ 。

所以信息熵就可以写为 $log_2 W$ ，和热力学熵只是底数的区别。这里把e换成2是因为可以和信息里的bit相对应，信息熵的大小可以估算系统所有状态大概可以用多少个bit长度的二进制数列来一一对应。

也就是状态数用二进制数来表示时，这个二进制数的位数。

当系统每个状态的概率都一样时信息熵实际上是取到了最大值。这时系统所含信息量最大。

反之，当概率集中在一个状态时，信息熵最小，所含信息量也最少。

怎样理解两团气体放在一起，熵为两团气体的和？明明每一个气体分子可以取的空间都加倍了。

假设这两团气体分别只有一个分子，把隔板抽开之后，两个分子的运动空间分别加倍。所以理论上合并后总状态数应该变成原来的两倍。
但是我们考虑两个粒子的全同性。所以把两个粒子交换之后整个系统并没有任何变化，所以总状态数必须除以2.这就回到了原来的总状态数。
N个粒子同理，可以自己思考一下

怎样理解连续空间的状态数？ @傅亦辰

热统教材里有一个我非常不喜欢的粗暴的强行解释方法：
按照量子力学的不确定性，粒子的空间和动量不确定度之积必须大于一个值：
$\Delta P \cdot \Delta x \geq h$
所以把动量和空间分量分别看成一个空间的两个维度，那么“面积”小于 $h$ 范围内的空间就可以看成不可区分的一个状态。
但是我觉得把这个量子力学的概念强加在经典统计热力学中简直就是强行扯淡

实际上这里划分状态格子的大小并不需要一个具体的值。这个h值只要足够小，让状态数足够大，让斯特林公式可以用，对于经典热力学的理论结果就不会有任何影响。在纯经典的热力学里，状态数更多的是一种方便大家进行计算和理解的东西。
你如果喜欢，完全可以用概率密度函数重建经典统计热力学（然而并没有什么卵用）。

怎样才能更好地理解随机过程使熵不可逆转地增加？

考虑两个相互接触但是还没有相互融合的，除了温度完全相同的气体团A和B。
有温度关系 $T_A> T_B$
这时候 $A$ 里面的每个气体分子可以取到的状态数是大于 $B$ 里面的每个分子的。
但是当来自B的一个分子与A中一个分子发生随机碰撞的一瞬间之后，平均而言来自A气团的分子会丧失能量，导致状态数减小，而来自B气团的分子会得到能量，破除了之前在自己气体内部运动时的状态范围限制，状态数增加。

因为能量守恒，所以失去的能量与得到的能量是相同的。所以熵的变化分别是：
$\Delta S_A = \frac {-\Delta Q}{T_A}$ , $\Delta S_B =\frac{\Delta Q}{T_B}$
总的熵变化为：
$\Delta S_{sum} =\Delta Q(\frac{1}{T_B}-\frac{1}{T_A})$
因为 $T_A>T_B$ ，所以上面这个式子大于0，也就是减少的状态数没有增加的多，所以总的来说系统状态数还是增加的。