SMA Negeri 2 Jakarta didirikan pada tanggal 24 Februari 1959, dengan terjadi proses pengambilalihan sekolah asing melalui kebijakan pemerintah, yaitu program nasionalisasi. Sekolah asing yang dinasionalisasi tersebut bernama Kwo Min Tang yang letaknya ada di Jl.Gajah Mada 174-175. Berdasarkan keputusan Peperda No. 232, lalu di ubah menjadi SMA PPS (Panitia Pengawasan Sekolah). SMA PPS diawasi dan dibina oleh pemerintah dari perwakilan Depdikbud Jakarta Raya, dengan kepala sekolah pertama G.S. Panjaitan serta wakil kepala sekolah merangkap sekretaris dan pengajar adalah T. Simbolon.

Lalu Pada tanggal 18 Januari 1960, SMA PPS menjadi SMA Nasional Bapergi tetapi tidak lama kemudian ditutup dan gedungnya dipakai untuk gedung pendidikan nasional. Gedung yang ada di jalan Gajah Mada No 174 diambil alih tanggal 11 juli 1966 yang akhirnya dijadikan apartemen Mediterania. Lalu berdasarkan SJP No.004/JV/S/PERW/GG/66, gedung yang ada di jalan Gajah Mada No.175 yang akhirnya menjadi gedung sekolah SMA Negeri 2 Jakarta.

Pada tahun 1971, T. Simbolon mendapat tugas memimpin sekolah Indonesia di Moskow, sebagai pengganti yaitu Samsir Darwis, karena Samsir Darwis bertugas sebagai pengawas, jabatan kepala sekolah SMA Negeri 2 Jakarta digantikan oleh Elman Pakpahan (1979-1987). Selanjutnya pada tahun 1987 – 1992 jabatan kepala sekolah dipegang oleh W.B. Pardosi.

Lalu berdasarkan kurikulum 1994, jabatan kepala sekolah dijabat oleh R. Suprapto (1992-1998), pada tahun 1998-2003 kepala sekolah dijabat oleh Drs. Antonius Supardjo, Mpd. , pada tahun 2003-2008 kepala sekolah dijabat oleh Drs. Sukardo, MM. Pada tahun 2008-2010 kepala sekolah dijabat oleh Drs.H. Achmad Mukri Suramihardja. Sejak bulan September tahun 2010 hingga Februari tahun 2012 kepala sekolah SMA Negeri 2 Jakarta di jabat oleh Drs. H. Suharto, M.Si, M.Pd. Selanjutnya kepala SMA Negeri 2 Jakarta dijabat oleh Drs. Abdullah Tiahara hingga Maret 2014 dan dilanjutkan oleh Dra.Hj Suharti Latifah, MPd sejak 21 Maret 2014.

Menjadikan institusi yang prima dan inovatif dalam layanan pendidikan dan pembelajaran berbasis Religius, ICT, dan Riset.

Menerapkan pendidikan dan pembelajaran yang terintegrasi dengan nilai- nilai religius, karakter dan budi pekerti
Meningkatkan komitmen organisasi melalui penerapan peraturan dan kode etik yang dise