CPU缓存的大小对性能有影响，CPU执行指令时，会将执行结果放在一个叫“寄存器”的元件中，由于“寄存器”集成在CPU内部，与ALU等构成CPU的重要元件，因此寄存器中的指令很快被CPU所访问，但毕竟寄存器的容量太小，CPU所需的大量指令和数据还在内存 (RAM)当中，所以CPU为了完成指令操作，需要频繁地向内存发送接收指令、数据。 由于内存的处理速度远远低于CPU,所以传统的系统瓶颈在这里就产生了，CPU在处理指令时往往花费很多时间在等待内存做准备工作。 为了解决这个问题，人们在CPU内部集成了一个比内存快许多的“Cache”，这就是最早的“高速缓存”。
缓存大小并不是越大越好，因为缓存空间有限，如果缓存容量过大会导致缓存命中率降低，当缓存命中率降低时，处理器就需要从主存中读取数据或者指令，这样就会增加延迟和降低了性能。
