Embrio perpustakaan sudah ada pada 1 Agustus 1982 yang berlokasi di Jl. K.H.Ahmad Dahlan Yogyakarta. Kemudian pada tahun 1984 Perpustakaan UMY pindah ke kampus Jl. H.O.S. Cokroaminata No 17 Wirobrajan Yogyakarta bersamaan dengan pindahnya kampus Universitas Muhammadiyah Yogyakarta/UMY.

Bersamaan pindahnya kampus UMY dari Wirobrajan ke kampus baru ke Jl. Lingkar Selatan Tamantirta Kasihan Bantul Yogyakarta tanggal 1 Juli 1997, maka embrio perpustakaan itu, resmi menjadi Perpustakaan UMY dengan Surat Keputusan Rektor UMY Nomor 090/SK UMY/VII/1997 menempati Gedung A.R. Fachruddin A lantai 1.

Kemudian pada tanggal 19 Juli 2000, Perpustakaan UMY pindah ke gedung baru yakni Gedung D lantai 2 dan lantai 3. Sampai September 2019 Lantai 2 digunakan untuk ruang baca umum, kantin, American Corner, Warung Prancis, mushala, Taiwan Education Center, ruang repositori & jurnal. Lantai 3 untuk koleksi buku cetak, ruang  belajar, mushala, Muhammadiyah Corner, ruang pengolahan, ruang internet, gudang. Sedangkan lantai 1 untuk administrasi, mushala, ruang sidang 1 & 2, bilik mandiri, Muhammadiyah Corner, dan ruang sharing knowledge.

Disamping Perpustakaan Pusat,  juga terdapat perpustakaan-perpustakaan Pascasarjana, Fakultas Kedokteran dan Ilmu Kesehatan, Fakultas Teknik, Fakultas Agama Islam, Fakultas Pertanian, Fakultas Hukum, Fakultas Ilmu Sosial dan Politik, Fakultas Ekonomi dan Bisnis, Lembaga Pengamalan dan Pengembangan Islam (LPPI) dan perpustakaan Pusat Pelatihan Bahasa yang semua itu telah terintegrasi manajemen, pengadaan, pelayanan, pengadaan  buku , dan e-journal, anggaran, maupun penugasan sumber daya manusia.