恒星として自ら輝く大きさに成長できなかった天体で、僅かな熱や光を放出するにすぎない、非常に暗い天体のこと。恒星になりそこねた、恒星と惑星の中間の質量を持つ天体ともいえる。
天体が核融合で自ら光るためには少なくとも太陽質量の7〜8%以上の質量が必要だと言われているが、褐色矮星はその質量に満たない天体である。概ね、太陽の1.3〜7.5%の質量しかない。
このような小型の天体は、核融合反応を起こすほど中心核の温度が高くないため核融合が起きず、放出するエネルギーは重力に起因するもののみである。水素ガスを重力エネルギーで圧縮し、高温になって熱(=赤外線)は放出するものの、可視光線や電波などは放出しない。
そのため、赤外線観測技術が発達するまで観測が困難で、理論的にはかなり以前から存在が予想されていたが、実際に見つかったのはごく最近であり、暗黒物質(ダークマター)の一つとして扱われていた。
2005(平成17)年6月9日号のnatureによると、褐色矮星の誕生時も、恒星の誕生時と同様の現象を示すようである。曰くアイルランドのダブリン先端研究所のウィーラン博士らにより、へびつかい座の方向400光年の距離の若い褐色矮星ρOph102が観測され、恒星誕生時と同様、酸素や硫黄のガスが吹き出していることが確認された。