SMA Negeri 31 Jakarta didirikan pada tahun 1978 di atas lahan + 8120 m2 yang merupakan milik Pemerintah Daerah Khusus Ibukota Jakarta, terletak di Jalan Kayumanis Timur No. 17, Kelurahan Utan Kayu Selatan, Kecamatan Matraman, Wilayah Jakarta Timur.

Kepala SMA Negeri 31 yang pertama dipimpin oleh Drs. R. Pasaribu sampai dengan tahun 1981. SMA Negeri 31 adalah pecahan dari SMA Negeri 5 menjadi SMA Negeri 22 dan SMA Negeri 31. Gurunya sebagian ada yang dari SMA Negeri 22 dan SMA Negeri 31, sedangkan muridnya murni dari penerimaan murid baru.

Selanjutnya pada tahun 1981 – 1983 SMA Negeri 31 dipimpin oleh Drs. Subroto, tahun 1983 – 1987 dipimpin oleh Dra. Retty Surjanah. Pada saat inilah nama dari SMA Negeri 31 melambung tinggi keseluruh pelosok nusantara, dikarenakan beberapa prestasinya yang diraih oleh SMA Negeri 31 sangat memuaskan yaitu, lulusan SMA Negeri 31 yang diterima di Perguruan Tinggi Negeri (PTN) hamper mencapai 95%.