およそ、国民から選ばれる議会が実質的な権限を有している国家には会計検査院が存在する。そして、どの国の会計検査院も議会とは密接な関係があり、日本も例外ではない。それは議会の由来が、租税徴収権限を行政主体（国王、大統領又は内閣）に付与する機関というところにあり、会計検査院の本質が、租税の徴収と使途を確認する機関である以上、当然のことである。
もっとも、その在り様は、会計検査院の由来と各国の統治機構の違いを反映したものになる。イギリスの場合は、会計検査院は、当初は行政府の中にありながら独立性を確保しており、現在は、会計検査院長が
下院の officer （役員）と位置付けられていて議会に近い位置にある
（ただし、決算委員長に野党議員が就くなどの慣例により独立性を確保している）。アメリカの場合は、当初は伝票を確認するための独立的な機関とされていたが、現在は議会に対する補佐機能が重視されてきている
（ただし、議会の機関ではない）。
では日本の場合はどうか。日本の場合は、明治初期の財政困難な中で薩長の競争的公費支出を抑制するために肥前の大隈重信が設置したという出自があり、当初から無駄遣い・乱費を抑止する機能を期待されていて、明治憲法下においても、幅広い観点から指摘を行っていた。当然、薩長の影響下にあった軍部とは常に緊張関係にあり、戦前の検査報告においては、特に軍部に対する指摘のなかに、国会で「まあまあ」という趣旨のコメントが付されたものがある。
現在の法制についてみると、
国会との関与において内閣からの独立を確保する仕組みになっている。すなわち、人事においては、トップ・スリーを国会承認としつつ、それ以下は身分保障を与えた対等な３人の合議に委ねている。予算についても、意に沿わない減額を受けた場合は、国会で回復させる道を用意している。
また、大日本帝国憲法下の会計検査院は天皇直隷の地位によって検査の実効を期していたが、日本国憲法下では国権の最高機関である国会との関与において検査の実効を挙げる仕組みが整備されてきている。日本国憲法下の会計検査院法では、まず、検査官の
委員会出席の規定
〔国会法第７２条第１項及び会計検査院法第３０条〕が整備され、その規定を踏まえて事務総局職員も国会の委員会へ出席できるようになった。これは、旧憲法時代には、議会へのアクセスがなく、検査報告の逐条審議が政府側の弁明のみを聴して行われていたことの反省として設けられている。そして、平成１０年には、
国会から検査要請を受けて報告する仕組み
〔国会法第１０５条及び会計検査院法第３０条の３〕が整備され、さらに、１７年には、会計検査院が
国会及び内閣
へ随時報告〔会計検査院法第３０条の２〕できることになった。