Oddělení uměleckých sbírek, původně s názvem Dokumentace a literární galerie, vzniklo jako pracoviště pro organizování a vytvoření expozice budoucího literárního muzea. Zpočátku plnilo archivní, sbírkotvorné a výstavní úkoly.

Sbírka výtvarného umění vznikala postupně od roku 1952. Tvořily ji zejména převzaté fondy Strahovského kláštera (převážně grafiky, mobilie a uměleckořemeslné předměty). Základ vlastní výtvarné sbírky muzea však vytvořilo až několik významných souborů výtvarných děl, které PNP převzal během padesátých let do své správy (sbírka Jiřího Karáska ze Lvovic, tzv. Karáskova galerie, archiv originálních ilustrací Vilímkova nakladatelství, část archivů nakladatelství Družstevní práce, Ottova nakladatelství, nakladatelství Šolce a Šimáčka a předměty z fondu Národní kulturní komise).

V roce 1964 se umělecké sbírky staly specializovaným oddělením zaměřeným na shromažďování, zpracování , publikování a vystavování originálních výtvarných děl volného a užitého umění, hmotných památek po spisovatelích, mobilií a reálií vztahujících se jak k vývoji literatury a knižní kultury obecně, tak i k jednotlivým literárním osobnostem. Akvizice se soustředila na vytváření sbírky, která by obsahově souvisela s historií vývoje české literatury a dokumentovala vztahy mezi literaturou a uměním v nejširších souvislostech. V návaznosti na výtvarné fondy nakladatelství byl založen a systematicky doplňován fond knižní ilustrace, vznikl fond volných výtvarných děl inspirovaných významnými literárními díly, sbírka portrétů a karikatur literárních osobností, v posledních letech pak i soubor autorských knih.

V roce 1991 převzal PNP do své správy sbírkový fond Kabinetu ex libris v Chrudimi, který se stal detašovaným pracovištěm oddělení uměleckých sbírek. Chrudimský fond Kabinetu ex libris vznikl v roce 1971 ze zájmové činnosti sběratelů organizovaných v Klubu přátel výtvarného umění. Od roku 1974 Klub pořádal pravidelně trienále českého ex libris. PNP na tuto tradici navázal. Z darů výtvarníků, sběratelů a odkazů byla vytvořena významná kolekce ex libris, která doplněná o ex libris z fondů PNP představuje největší sbírku českého a světového ex libris v Čechách.