Galerie výtvarného umění vznikla v roce 1965, kdy získala i svou specializaci na českou knižní ilustraci, kresbu a grafiku vzniklou po roce 1918. Její sídlo se nachází v zrekonstruovaném měšťanském domě pocházejícím ze 14. století.

Galerie jsou zaměřeny na moderní českou knižní ilustraci, kresbu a grafiku 20. století a na významné autory mající vztah k regionu Havlíčkobrodsko, např. Adolfa Borna, Vladimíra Boudníka, Cyrila Boudu, Josefa Ladu, Kamila Lhotáka, Bohuslava Reynka, Josefa Sasku, Zdeňka Sklenáře, Zdeňka Seydla, Naděždu Syneckou, Jaroslava Šerých aj. Kromě toho vlastní a ve své stálé expozici prezentuje jeden unikátní exponát vybočující z daného sběrného programu tzv. Uhrovský oltář, vrcholně barokní dílo sochaře Ignáce Rohrbacha.