Kegiatan perpustakaan Pemerintah Provinsi DKI Jakarta sudah dimulai sejak tahun 1950 ketika masih berbentuk kotapraja dengan sebutan Perpustakaan Kotapradja Djakarta Raja. Pada tahun 1961, setelah Kotapradja Djakarta Raja ditingkatkan statusnya menjadi Daerah Tingkat I DKI Djakarta Raja, kemudian menjadi Perpustakaan Balaikota Pemerintah DKI Djakarta Raja. Kemudian pada tahun 1972, melalui Keputusan Gubernur Kepala DKI Jakarta tentang Susunan Organisasi Sekretariat Daerah Pemerintah DKI Jakarta, Bagian Perpustakaan dibagi atas Sub Bagian Perpustakaan dan Sub Bagian Tata Usaha Perpustakaan, di mana perpustakaan merupakan salah satu bagian pada Biro Organisasi dan Ketatalaksanaan. Pada tahun 1978, melalui Keputusan Gubernur Kepala DKI Jakarta dibentuk Lembaga Perpustakaan Umum yang menangani jenis perpustakaan umum di lingkungan Pemerintah DKI Jakarta, seperti Perpustakaan Umum Gelanggang Mahasiswa Soemantri Brodjonegoro dan Perpustakaan Umum di lima wilayah Kotamadya DKI Jakarta.
Pada tahun 1981 perpustakaan umum bernaung di bawah Biro Bina Mental dan Spiritual dengan status non struktural. Pada tahun 1989, perpustakaan umum di lima wilayah kotamadya DKI Jakarta dialihkan pengelolaannya kepada Dinas Pendidikan dan Pengajaran DKI Jakarta sebagai Unit Pelaksana Teknis Dinas (UPTD), sedangkan Perpustakaan Umum Soemantri Brodjonegoro masih tetap dikelola Biro Bina Mental Spiritual DKI Jakarta.
Pada tahun 1993 dibentuk Perpustakaan Umum DKI Jakarta dengan Peraturan Daerah DKI Jakarta Nomor 8 Tahun 1993 tentang Pembentukan Organisasi, dan Tata Kerja Perpustakaan Umum Daerah Khusus Ibukota Jakarta yang meliputi perpustakaan umum di lima wilayah kotamadya dan Soemantri Brodjonegoro. Berdasarkan perda ini maka semua perpustakaan umum yang ada di wilayah Propinsi DKI Jakarta di bawah pembinaan dan pengendalian Perpustakaan Umum DKI Jakarta.
Pada tahun 2001 diterbitkan Perda Provinsi DKI Jakarta Nomor 3 Tahun 2001 tentang Bentuk Susunan Organisasi dan Tata Kerja Perangkat Daerah dan Sekretariat DPRD Propinsi DKI Jakarta yang menetapkan pembentukan Kantor Perpustakaan Umum Daerah Propinsi DKI Jakarta melalui Keputusan Gubernur Propinsi DKI Jakarta Nomor 109 Tahun 2001 tentang Organisasi dan Tatakerja Kantor Perpustakaan Umum Daerah Propinsi DKI Jakarta. Tahun 2009 Berdasarkan Peraturan Daerah DKI Jakarta Nomor 10 Tahun 2008 tentang Organisasi Perangkat Daerah ditetapkan Organisasi dan Tata Kerja Badan Perpustakaan dan Arsip Daerah dengan Peraturan Gubernur Provinsi DKI Jakarta Nomor 153 Tahun 2009. Selanjutnya yang semula berkantor di Kawasan Taman Ismail Marzuki kemudian pindah ke Pulomas. Sedangkan bangunan yang di Taman Ismail Marzuki dimanfaatkan menjadi Perpustakaan Umum Cikini.
Tahun 2014 Berdasarkan Peraturan Daerah DKI Jakarta Nomor 12 Tahun 2014 tentang Organisasi Perangkat Daerah ditetapkan Organisasi dan Tata Kerja Badan Perpustakaan dan Arsip Daerah dengan Peraturan Gubernur Provinsi DKI Jakarta Nomor 243 Tahun 2014.
Tahun 2016 Berdasarkan Peraturan Daerah DKI Jakarta Nomor 5 Tahun 2016 tentang Pembentukan dan Susunan Organisasi Perangkat Daerah Provinsi DKI Jakarta ditetapkan Organisasi dan Tata Kerja Dinas Perpustakaan dan Kearsipan dengan Peraturan Gubernur Provinsi DKI Jakarta Nomor 282 Tahun 2016. Tahun 2018 Berdasarkan Peraturan Daerah DKI Jakarta Nomor 2 Tahun 2017 tentang Penyelenggaraan Perpustakaan ditetapkan Organisasi dan Tata Kerja Dinas Perpustakaan dan Kearsipan dengan Peraturan Gubernur Provinsi DKI Jakarta Nomor 10 Tahun 2018.
Pada tanggal 24 Januari 2018 Pemprov DKI Jakarta menandatangani pelimpahan Pusat Dokumen Sastra HB Jassin yang kemudian dikelola Dinas Perpustakaan dan Kearsipan Provinsi DKI Jakarta. Pada tahun 2019 kawasan Taman Ismail Marzuki direvitalisasi dan menyatukan bangunan Gedung Perpustakaan Cikini dengan Pusat Dokumen Sastra HB Jassin dan diresmikan penggunaannya pada tanggal 7 Juli 2022. Pada tanggal 14 Oktober 2022 berdasarkan Peraturan Gubernur Provinsi DKI Jakarta Nomor 57 Tahun 2022 tentang Organisasi dan Tata Kerja Perangkat Daerah, Perpustakaan Jakarta Cikini dengan Pusat Dokumen Sastra HB Jassin ditetapkan menjadi Unit Pengelola Perpustakaan Jakarta dan Pusat Dokumen Sastra HB Jassin sebagai Perpustakaan Umum Provinsi yang melengkapi Perpustakaan Umum Kota Administrasi di lima wilayah (diolah dari berbagai sumber).