Pada tahun 1963 pemerintah mendirikan sebuah SMA Negeri yang terletak di Darussalam sekarang menjadi komplek IAIN Ar-Raniry Banda Aceh), oleh karena lokasi SMA tersebut terletak di Darussalam, maka diberi nama SMA Negeri Darussalam dibawah pimpinan Bapak Drs. Zainal Abidin.
Setelah pecah pemberontakan G.30S.PKI pada tahun 1965, timbul pergolakan-pergolakan dan perlawanan-perlawanan menentang ajaran komunis yang merupakan faham PKI. Perlawanan terhadap ajaran komunis di Aceh dipelopori oleh mahasiswa yang tergabung dalam HMI dan ormas-ormas Islam lainnya. Pada masa itu masyarakat Aceh sangat anti terhadap Cina dan WNI keturunan Tionghoa, karena faham komunis berasal dari negeri Cina. Oleh karenanya pada masa itu masyarakat memboikot/membakar semua produk Cina, mengusir WNI keturunan Tionghoa/ Cina dari bumi Aceh, dan menguasai aset-aset WNI keturunan.
Sebuah komplek sekolah Cina (SD, SMP, SMA, dan sebuah asrama/perumahan guru) terletak di kampung Mulia Banda Aceh juga turut dikuasai oleh HMI. Situasi Aceh pada saat itu sangat kacau, maka kondisi pendidikan juga sangat menyedihkan. Dalam waktu yang tidak terlalu lama, HMI menyerahkan aset Cina tersebut kepada pemerintah. Setelah situasi Banda Aceh lebih kondusif, maka pemerintah berinisiatif untuk memindahkan lokasi SMA Darussalam ke lokasi baru di kampung Mulia Banda Aceh yang sebelumnya merupakan komplek sekolah Cina, hingga sekarang. Seluruh proses belajar mengajar SMA Darussalam memanfaatkan fasilitas peninggalan Cina, gedung-gedungnya yang terbuat dari kayu berdiri kokoh, hingga musibah gempa dan gelombang Tsunami meluluhlantakkan Banda Aceh.
Pada tahun 1977 SMA Negeri Darussalam dimekarkan menjadi SMA Negeri 2 dan SMA Negeri 3, masa itu SMA Darussalam dipimpin oleh Bapak Drs. Razali Cut Lani, yang kemudian Bapak Drs. Razali Cut Lani memimpin SMA Negeri 3 Banda Aceh, sementara SMA Negeri 2 Darussalam Banda Aceh dipimpin oleh Bapak Drs. Khairuddin Abbas.
Sejarah panjang perjalanan SMA Negeri 2 Banda Aceh telah menghasilkan ribuan alumnus, politikus handal, birokrat ternama, pengusaha besar, dan berbagai posisi berpengaruh yang dipegang oleh jebolan SMA Negeri Darussalam/SMA Negeri 2 Banda Aceh. Beratus prestasi yang diraih, segudang piala yang dipersembahkan oleh siswa SMA Negeri 2 untuk almamater tercintanya.

Gelombang Tsunami yang sangat dahsyat juga menghancurkan bangunan dan memporak-porandakan SMA Negeri 2 Banda Aceh, menghancurkan semua arsip dan dokumen-dokumen penting, hanya menyisakan sebuah bangunan dua lantai (12 ruang), dibangunan ini pula beberapa anggota keluarga guru/TU selamat. Bukan hanya itu, sekitar enam ratus siswa hilang, 15 guru dan 4 karyawan TU juga jadi korban Tsunami (menurut saksi hidup pada saat itu tinggi air mencapai 4 meter di atas tanah). Disamping itu sebuah boat ikan yang panjangnya sekitar 30 meter menghantam ruang dewan guru dan meratakan dengan tanah yang kemudian terhempas di tengah lapangan upacara.

Berikut nama-nama guru/pegawai SMA Negeri 2 Banda Aceh yang menjadi korban Tsunami:

Guru:   

1. Drs. Ali Basyah
2. Dra. Asmani
3. Dra. Jamilah Hayaton
4. Dra. Wardaniah
5. Drs. M. Husin
6. Wanmahni
7. Dra. Faridah Hanum
8. Sulastri, S.Pd
9. Drs. Husni
10. Dra. Khairon
11. Amin Lubis
12.  Dra. Rosmiati
13. Nely Darni

Pegawai:
1. Syamsul Rizal, S.Sos        2. Safwan Hasan
3. Yusni                               4. Poppy

Setelah musibah Tsunami proses belajar-mengajar SMA Negeri 2 Banda Aceh menumpang di SMA Negeri 8, belajar di sore hari dengan kondisi yang sangat darurat dengan jumlah siswa yang ada sekitar 600 orang, ini berlangsung selama satu semester (Januari – Juni 2005). Bermacam bantuan diterima dari berbagai donatur, dari perlengkapan sekolah, buku, tas, baju, dan sepatu. Semua bantuan disalurkan kepada siswa korban Tsunami melalui koordinasi antara donatur dan pihak sekolah. Pada awal tahun ajaran 2005/2006 proses belajar-mengajar kembali dilakukan di gedung SMA Negeri 2 Banda Aceh, yaitu menggunakan gedung-gedung yang tersisa dengan kondisi sangat darurat. Proses belajar mengajar berlangsung pagi dan sore, ini dilakukan mengingat ruang belajar siswa yang tidak mencukupi.
Sekitar bulan Agustus 2005 sebuah perusahaan itali yaitu Pirelli membantu membangun tiga unit gedung dua lantai (22 ruang belajar), beberapa ruangan telah digunakan untuk pelaksanaan UAS/UAN 2005/2006 meski belum diresmikan. Selama belajar di gedung sendiri banyak bantuan yang diterima, baik mobiler, buku-buku bacaan, komputer maupun alat tulis siswa. Bantuan yang diterima sangat membantu kelancaran proses belajar-mengajar.

Berikut Nama-Nama Penjabat Kepala SMA Negeri 2 Banda Aceh

1. Zainal Abidin (1963 – 1969)Drs. Khairuddin Abbas (1969 – 1970)
2.  Drs. Razali Cut Lani (1970 – 1977)
3. Drs. Khairuddin Abbas (1977 – 1984)
4. Abdurrahman, BA (1984 – 1986)
5. Mohd. Ali Buntok (1986 – 1989)
6. Drs. Sanusi Harun (1989 – 1997)
7.  Dra. Darmawati, M.Sc (1997 – 2001)
8. Drs. Zahri ZA, MM (2001 – 2002)
9. Drs. Sofyan Sulaiman (2002 – 2003)
10. Drs. Lukman Ali (2003 – 2004)
11. Drs. Syamsuddin Umar (2004 – 2008)
12. Drs. Amiruddin (2008 – 2010)
13. Syarwan Joni, S.Pd (2010 –  2018)
14. Drs. MUKHTAR (2018 – sekarang)