O primeiro nível, ou cache L2, está sempre dentro da CPU e normalmente alimenta instruções decodificadas no mecanismo de execução da CPU.

O acesso à cache L2 é feito sem atraso algum, enquanto o acesso ao cache da memória secundária envolve um atraso de um ou dois ciclos de relógio.

Em chips multinúcleos, uma única cache L2 pode ser compartilhada por todos os núcleos.

Em chips multinúcleos, cada núcleo obrigatoriamente terá sua própria cache L2, sendo necessário manter a consistência entre os caches.

O cache L3 é chamado de RAM (Random Access Memory — memória de acesso aleatório).