Počátky umělecké sbírky Charkivského muzea sahají do roku 1805, kdy Vasyl Karazin, zakladatel Charkivské univerzity a významný ukrajinský akademik a veřejný činitel, zakoupil přibližně 2 500 grafických listů západoevropských umělců. Jednalo se o díla významných umělců 16. až 18. století, třeba Dürera, Pietera Bruegela staršího, Antonia van Dycka, Hendricka Goltzia, Luky Giordana, Françoise Bouchera. V době, kdy začala druhá světová válka, čítala sbírka muzea více než 75 000 exponátů a patřila k nejlepším v Sovětském svazu. Avšak po vypuknutí války sovětské úřady nezahrnuly sbírky muzea do evakuačního plánu. Kvůli tomu byly zachráněny jen nejcennější exponáty, kolem 4 700 předmětů, což tvořilo nanejvýš 6 % původní sbírky. Část zbylé sbírky nacisté vyvezli do Německa, zbytek spálili při ústupu.