使用頻度の高いデータ等を高速な記憶装置に蓄えることで、全体的な処理速度の向上を目指すもの。
例えば、アクセスするのに時間の掛かる媒体があるとする。
できるだけ遅い媒体にアクセスしないで済むよう、一度読んだものを高速なメモリ等に蓄えておき、次にはメモリの内容を参照することで高速化する機構をいう。
電子計算機では、ディスクキャッシュ、メモリキャッシュと呼ばれるものがよく使われる。
ディスクキャッシュは、ディスクから読み出したものをいったんRAM上に蓄えておくもの。
メモリキャッシュは、低速なDRAM等の代わりに高速なSRAMを用意し、最近実行したプログラムコード等をこのSRAM内に保管しておくものである。このとき使われるメモリを「キャッシュメモリ」という。
キャッシュメモリのうち、マイクロプロセッサ内に標準で内蔵されているものを1次キャッシュと呼び、それに容量を追加するものを2次キャッシュ(若しくはセカンドキャッシュ)と呼ぶ。