先纠正一个答主的误区。显卡是一整块PCB版，上面很多乱七八糟的元器件，核心的GPU，跟CPU差不了多少。
============================================================================
更新： @呆涛 的回答有一部分比较准确，事实上也跟我在这里的回答有类似
现在的 GPU 都 2000 核了，为什么 CPU 才 16 核？
他的回答也有一些瑕疵：
1. 指令调度逻辑在core里面确实比重不小，但是整个die size主要由cache占据，核心是相对小块。
2. ILP limitation远没有这么小，在cache memory跟得上的情况下OoO可以跑得飞起，做10-issue甚至20-issue的想法十几年前业界就有过， 问题是cache memory跟不上，功耗、设计复杂度开销也惊人。最后才放弃。所以说CPU核心逻辑不做大的问题不在于 ILP limitation。
3. 顶级CPU比顶级GPU还大，问GPU为何比CPU die size大是个伪问题。拿i7跟Titan比并不准确，最大的CPU跟最大的GPU差距并没有那么大，AMD的顶级服务器CPU是300mm2开外，Intel的暂时没有公布，从L3 cache上粗看估计已经超过400mm2，如果没有超过400也不会离400很远，IBM Power8是650mm2，比Titan还大。所以说顶级的CPU和GPU die size差距没那么明显，甚至前者更大，只是CPU把大部分面积花在了cache上，GPU大部分花在了ALU上。
4. 从第三点出发，我们都忘了考虑logic和SRAM的density问题。在2001年的时候logic density大致在7 million to 20 million transistors/cm2，SRAM density在35 million transistors/cm2，不知道现在趋势有无变化。如果这个趋势没有变化，那么以logic为主的GPU die size就容易膨胀，CPU的SRAM density做的好的话die size就不容易涨起来。
============================================================================
首先说第一个问题，CPU的die size不能做太大的一大原因是制造成本。这里面有一个经验公式，die size变大的同时，制造成本是指数级地增加。
以下摘自《量化研究方法》第五版
Processing of a 300 mm (12-inch) diameter wafer in a leading-edge technology cost between $5000 and $6000 in 2010. Assuming a processed wafer cost of $5500, the cost of the 1.00 cm2 die would be around $13, but the cost per die of the 2.25 cm2 die would be about $51, or almost four times the cost for a die that is a little over twice as large.
另一面是设计和测试的复杂度。比如说cache增大以后，花在实际存取上的时间已经远少于花在wire delay上的时间，在cache的物理最远距离处存取数据跟在最近处存取数据，延迟可以差上好几倍，这对前端和后端的设计都是挑战。结构设计和逻辑设计的时候必须更多地考虑wire delay，各种信号传播的差时会更严重，对于后端，floorplanning的难度也比以前更大。
设计复杂度上来说先进OoO核心的复杂度是明显高过基于SIMD的GPU流处理器，GPU结构比较规整些，做设计冗余来规避工艺缺陷可能会稍占些便宜。
再说第二个问题，不是CPU晶体管数量翻一倍性能也就会翻一倍，没有这么便宜的事情的。比如cache，在cache容量很小的时候去加容量，性能会提高很快，但是过了一定限度，cache能装下很多程序的核心工作集之后，性能提高就很慢了，多花晶体管就不再划算。在现在的branch predictor里面多花一倍晶体管，铺一张大一倍的记录表，预测准确率也就提高个把百分点，不值得。
对于GPU性能，则是另一回事，把流处理器数量继续往上翻倍，只要碰到数据级并行度，线程级并行度好的程序，它的性能就能跟着往上翻。但我不保证这里的提高是线性。
最后第三个问题。功耗是现在集成电路设计的头号大敌。耗电量本身只是问题的一方面，更重要的是电能转化为热能带来的散热问题，这一点已经非常非常严重了，前Intel副总裁Patrick Gelsinger曾在2001年的国际固态电子电路会议上发表主题演讲，指出当时处理器的功耗正在以指数级速度增长，如果继续按照这个趋势发展而不加以任何节制，则到2005年（距离2001年也就是四年时间）时高速微处理器的功耗密度将媲美核能反应堆，2010年时将与火箭发动机喷口不相上下，2015年时甚至可以与太阳表面并驾齐驱。
你拿什么去冷却核反应堆和火箭发动机喷口。。。所幸自2000年以后对低功耗设计的逐步重视避免了这个灾难性趋势。GPU在SIMD line或者SIMD流处理器层面上做gating比CPU也容易一些，功耗控制能更方便。
— 完 —
本文作者：破布
【知乎日报】
你都看到这啦，快来点我嘛 Σ(▼□▼メ)
此问题还有 17 个回答，查看全部。
延伸阅读：
显卡性能哪个指标最重要？如何选购显卡？
图像视频处理与电脑的内存，显卡，CPU的性能哪个相关性比较大？
