Berawal dari ide pihak Pemda DKI untuk mengadakan semacam fasilitas dan sarana dalam rangka ikut serta dalam program pembangunan pemerintah mencerdaskan bangsa. Pemda DKI Jakarta bersama dengan Departemen Pendidikan dan Kebudayaan bekerjasama menyusun suatu proyek pendirian perpustakaan umum Pemerintah DKI Jakarta. Kerjasama tersebut tertuang dalam surat keputusan bersama SKB No: 38522SekjDPK1977-1513 tahun 1977 tertanggal 15 Juni 1977 tentang pembangunan perpustakaan umum di DKI Jakarta.

Berdasarkan kerjasama tersebut maka secara bertahap dibangun gedung perpustakaan umum yaitu :

1.  Pada tahun 1980 dibangun pula perpustakaan Soemantri Brodjonegoro yang beralamat di jalan HR. Rasuna Said, Kuningan, Jakarta Selatan.

2.  Pada tahun 1985-1986 menyusul pembangunan perpustakaan umum Kotamadya Jakarta Selatan beralamat di Jalan Gandaria Tengah V Nomor 3 RT 02/ RW 01, Kramat Pela, Kebayoran Baru, Jakarta Selatan. Saat ini berdasarkan Keputusan Kepala Dinas Perpustakaan dan Kearsipan Provinsi Daerah Khusus Ibukota Jakarta Nomor e-0042 Tahun 2022 tentang Penamaan Perpustakaan Umum Daerah Provinsi dan Lima Wilayah Kota Administrasi Sesuai Citra Baru di Lingkungan Dinas Perpustakaan dan Kearsipan, perpustakaan ini bernama Perpustakaan Jakarta Selatan – Gandaria Tengah.