兵種の一つで、軍隊内の法秩序維持を主任務とし、軍に関する司法・行政警察という役割を持つ。
具体的には、軍人の犯罪防止、捜査、逮捕を行ない、営巣の管理運営、対諜報活動などを行なった。戦場では野戦憲兵として落伍兵の保護、脱走兵の取り締まり、捕虜の管理、交通統制等を行なった。場合によっては歩兵として戦闘に参加することもあった。
憲兵の歴史は古く、アレクサンドロス大王の大遠征時には既に存在したという。
近代憲兵制度のはじまりは中世ヨーロッパであった。この頃の憲兵隊はプロボー・ガード(provost guard)と言い、臨時編成の部隊であった。将校もその時々に任命されるのが一般的であったが、憲兵将校も少なくはあったものの存在した。
イギリスにおいては、プロボー・マーシャル(provost marshal)という憲兵司令官のもと、軍の秩序維持と軍機の保護を行なってきた。もっとも古いものとしては1511(永正)年にヘンリー8世がプロボー・マーシャルを任命したという記録が残っている。近代に入ると、任務の多様化により、複数の憲兵隊が存在することになる。まず、1877(明治10)年に騎兵憲兵隊が、1885(明治18)年には歩兵憲兵隊が創設された。これは1926(昭和元)年に統合されたが、第二次世界大戦後は重要地点の防御、交通統制、特殊捜査の3つの役割別に再編された。
ドイツにおいては1740(元文5)年にフリードリヒII世が交通の統制と防衛を行なうコロネンイエーガー(Kolonnenjäger)、重要書類を伝達するクーリエイエーガー(Kurierjäger)、王室の防衛にあたるフューリエイエーガー(Furiejäger)を創設したことに始まる。その後、ナポレオン戦争、普仏戦争、第一次世界大戦と憲兵隊の拡大は続いたが、第一次世界大戦の敗北により、中断を余儀なくされる。1939(昭和14)年に憲兵隊は復活され、大隊規模で編成された。また、各師団にも師団憲兵を設けていた。
ロシアでは、17世紀に憲兵隊が創設された。しかし、ロシア革命により、体制がソ連になると、憲兵隊は創設されず、内務省軍や国境警備隊が憲兵隊が担う任務をこなしている。
日本では1881(明治14)年の憲兵条例によって設置され、犯罪捜査・軍紀維持にあたった。しかし、次第に権限を拡大し、公安対策・思想弾圧・防諜などにも強い権力をふるい、特に東條内閣下では東條英機の私兵と化し、反抗する勢力を弾圧した。
このような歴史的事情から、日本においては「憲兵」というとダーティなイメージがついてしまっているが、本来の憲兵にはそのようなものは無く、軍隊を円滑に運営する上で不可欠なものである。このため、殊に戦前の軍国主義的要素を過剰なまでに取り除いた自衛隊においても憲兵科に相当する警務科という職種(兵種)が存在する。
ヨーロッパ以外の諸国では英米の憲兵制度を取り入れていることが多い。日本の自衛隊の警務科もアメリカに倣ったものである。