連立一次方程式を解く手法としては，Gaussの消去法，LU分解に代表される直接法と，反復法がある．直接法は問題の大きさと手法に応じた一定の計算量で必ず解が求まるのに対し，反復法では解が正解に十分近くなるまで反復を繰返すことが必要である．二次元５点差分のn×n格子の場合，使用メモリ量は直接解法が約2n3なのに対し，反復解法は5n2で済み，大幅にメモリ使用量を削減できる．メモリ使用量が少ないこと，少ない反復数で解が求まる場合があることにより，反復法は超大型連立一次方程式に使用される場合が多い．反復法の種類は数多くあるが，近年では共役傾斜法（CG法）と不完全Choleski分解の前処理を組合せたICCG法（incomplete Choleski CG）や，双共役傾斜法と不完全LU分解を組合せたILUBCG法（incomplete LU BCG）などが多く使用されている．反復解法はスーパコンピュータとの適合性も良く高いベクトル化が可能であり，パラレルコンピュータにおいても，分割作用素法のように高い並列性を達成している例がある．
