在进行线性回归时，为什么最小二乘法是最优方法？

不是很同意 @王芊的说法。
首先跟题主说一下，最小二乘法的“最优”也要看应用情景的。
实际上最小二乘法更准确的说是一个正交投影（orthogonal projection），而这个投影的很多优良性质不需要假设正态分布。
这里正交投影的意思是，在x所张成的线性空间里面找一个向量使得其与y的距离最小。
即使没有正态分布的假设，OLS也是对conditional expectation的最优线性预测。
也有人提到了BLUE，回想一下，证明BLUE的时候我们并没有用正态分布的假定。
如果从统计推断角度来说，小样本情况下的统计推断还需要正态的假设，大样本是不需要的。
最小二乘之所以是“最优”，仅仅是因为用这个方法做出来的刚好是正交投影而已。
但是还有很多其他方法，比如中位数回归：
$\min_\beta{\sum_{i=1}^N{|y_i-x_i'\beta|}}$
最小化的就是绝对值。而且中位数回归在某些方面有比最小二乘更好的性质，比如对异常值稳健等等。当然，如果误差分布对称，中位数回归的 $\beta$ 跟最小二乘得到的结果是渐进相等的。
感兴趣可以看一下这篇文章：JSTOR: Journal of Economic Literature, Vol. 29, No. 1 (Mar., 1991), pp. 34-50
还是那句话，都在做回归，但是首先你得明确自己做回归的目的才能找到那个“最优”的回归方法。