全国新幹線鉄道網整備計画の一環として建設され、1982(昭和57)年に大宮〜新潟間が開通、1985(昭和60)年に東北新幹線の線路を使って上野まで乗り入れた。
1990(平成2)年には、大清水トンネルの下り勾配を利用して、下り線だけ275km/h(660km/hBeat)運転を実施した。これは1997(平成9)年に、山陽新幹線で500系 "のぞみ" が運転されるまで日本最高の営業速度となった。
JR東日本は、この大清水トンネルの工事で出たわき水を利用して、駅構内の自動販売機などで、缶飲料 "大清水" シリーズを販売している。
本来の計画では、上越新幹線は新宿へ延びる予定だったが、上越新幹線の新宿地下駅予定地には既に高島屋タイムズスクエアが建設されてしまい、新宿延伸はほぼ絶望となってしまった。しかし大江戸線などは、上越新幹線が地下を通ることを考慮して、地中深く造られている。