Kelahiran Perpustakaan Al Ghazali Cilacap tidak bisa dilepaskan dari kelahiran induk lembaganya yaitu Institut Agama Islam Imam Ghazali Cilacap Tahun 1989, IAIIG (Institut Agama Islam Imam Ghozali) lahir berdasarkan keputusan rapat Ya BAKII dengan Nomor 036/BAKII/C-127/VI/89. Cita-cita pendiriannya sendiri berawal dari keinginan simbah Badawi Hanafi membangun pendidikan yang dimulai dengan pendirian pesantren Al Ihya Ulumuddin. Dan karena tuntutan zaman dan kebutuhan tentang pendidikan formal, maka dibentuklah sebuah Yayasan Badan Amal Kesejahteraan Ittihadul Islamiyah pada tahun 1971. Dan hingga kini ada sekitar 50 lembaga dibawah naungan Ya BAKII. Pada saat pendirian pertama Perpustakaan Institut Agama Islam Imam Ghozali menggunakan nama Perpustakaan Institut Agama Islam Imam Ghozali .Disebut demikian karena Perpustakaan Institut Agama Islam Imam Ghozali menjadi perpustakaan pusat rujukan bagi fakultas -fakultas dan prodi-prodi yang ada dilingkungan civitas akademik. Sebagai sarana penunjang pembelajaran Perpustakaan Institut Agama Islam Imam Ghozali Cilacap menempati salah satu ruangan gedung IAIIG dengan ukuran 8×8 M2. Pada Tahun 2006 Perpustakaan Institut Agama Islam Imam Ghozali menempati gedung baru dengan luas perpustakaan atas bawah sampai pengolahan 580 m2 dengan diskripsi 2 lantai . Bangunan lantai satu sebagai pusat adminstrasi, layanan dan koleksi sedangkan lantai atas sebagai auditorium. Kemudian pada tahun 2011 Perpustakaan Instutut Agama Islam Imam Ghozali menerapkan standarisasi perpustakaan perguruan Tinggi yaitu SNI 7330 : 2009 Perpustakaan perguruan tinggi dan di kelola dengan manajemen perpustakaan perguruan tinggi sebagai implementasi dari UU no 43 tahun 2007.
Untuk meningkatkan mutu secara berkelanjutan, relevan, efisien dan efektif, maka Perpustakaan Institut Agama Islam Imam Ghozali memerlukan supporting system, khususnya perpustakaan yang dikelola secara baik. Akselerasi peningkatan kemampuan Perpustakaan IAIIG telah dilakukan dalam tahun-tahun terakhir, khususnya untuk memenuhi kebutuhan proses manajemen perpustakaan dengan mengembangkan dan menerapkan sistem automasi perpustakaan terpadu dan pada tahun 2011 proses kegiatan perpustakaan sudah terautomasi secara penuh dengan sumber pendanaan silang yaitu sumber dana dari yayasan dan dari bantuan APBN.
Pada perkembangan berikutnya Yayasan Ya BAKII melahirkan Perguruan Tinggi baru dengan sebutan Universitas Nahdlatul Ulama Al Ghazali Cilacap dengan Keputusan Kementerian Pendidikan dan Kebudayaan Republik Indonesia Nomor : 264/E/O/2014 tanggal 23 Juli 2014. Pada saat itu ada 4 (empat) fakultas dengan 10 program studi yang ditawarkan.
Keberadaan dua Perguruan Tinggi ditengah-tengah perpustakaan Institut Agama Islam Imam Ghozali sangat mempengaruhi manajemen pengelolaan perpustakaan. Terutama di kebijakan pengembangan koleksi perpustakaan. Dan sistem otomasi perpustakaan maupun digital librarynya. Maka Yayasan BAKII membuat kebijakan merubah nama dari perpustakaan Institut Agama Islam Imam Ghozali menjadi Perpustakaan Al Ghazali Cilacap dengan harapan agar Perpustakaan Al Ghazali mampu menjadi pusat rujukan perpustakaan Perguruan Tinggi di wilayah Cilacap dan sekitarnya.