陸軍における兵種の一つ。陸軍大臣が管轄していた。
当時の陸軍全般の制度と同様、フランス憲兵をモデルとして、1881(明治14)年の憲兵条例によって設置された。1990年代には全国の市町村に配置され、本来一般警察の任務である社会の考案維持に早くも手を伸ばし始めていた。1918(大正7)年の米騒動では先頭にたって民衆鎮圧に当たっている。
この動きが加速するのは1923(大正12)年の関東大震災後である。関東大震災の混乱に乗じ、憲兵大尉甘粕正彦らが、無政府主義者大杉栄とその妻伊藤野枝らを虐殺するという、いわゆる甘粕事件が発生している。
昭和に入ると、この傾向は加速的にひどくなっていった。1928(昭和3)年には思想係を設置。思想弾圧をも任務とするようになり、軍部に非友好的な言動を見せると憲兵にしょっ引かれてしまうため、やがて民衆、そして政治家ですら軍部に反対できなくなり、軍部の「やりたい放題」を助長させた。これは支那事変が泥沼化し、戦時色が強まると決定的となった。
この憲兵をもっとも利用したのは、大東亜戦争開戦時の東條英機であった。陸相を兼ねており、憲兵隊への指揮権を有していた彼は、憲兵隊を彼の私兵かのように扱い、軍部というよりも彼への反抗を憲兵隊を使ってねじ伏せ、自らの政治基盤を磐石化させた。このため、これは憲兵政治とも言われる。
日本本土内ですらこのようなありさまであったので、朝鮮、台湾や満州、中国、南方などの植民地・占領地では何をか言わんやであった。
日本海軍は憲兵に相当する組織を持たなかったため、海軍大臣も憲兵への指揮権を有していたが、あくまでも陸軍の部隊であり、下手に利用すると情報が陸軍側に漏れる恐れがあるため、大臣や次官への警護程度にしか利用されなかった。
このような歴史的事情から、日本においては「憲兵」というとダーティなイメージがついてしまっているが、本来の憲兵にはそのようなものは無く、軍隊を円滑に運営する上で不可欠なものである。このため、殊に戦前の軍国主義的要素を過剰なまでに取り除いた自衛隊においても憲兵科に相当する警務科という職種(兵種)が存在する。