Základem expozice se stala sbírka zdejšího rodáka Augusta Švagrovského, který městu daroval 234 obrazů českých malířů. V současné době galerie uchovává přes 3000 uměleckých děl. V zámecké jízdárně je instalována expozice českého malířství z konce 19. a 20. století, kde jsou zastoupena všechna velká jména a výtvarné skupiny té doby. V kapli sv. Viléma je umístěna malá expozice barokního umění.