A földszintes, klasszicista stílusú lakóépületet 1838-ban Szalay József földbirtokos építette, később a Gál, majd az Álgya-Pap család birtokába került.
Két, utca felőli homlokzatát toszkán oszlopos tornácokkal, illetve a homlokzat közepén előreugró, timpanonos előcsarnokokkal alakították ki. Keleti timpanonját a Szalay család, a hátsó homlokzat timpanonján pedig az Álgya-Pap család iker címere díszíti. Az épületet övező parkban (mely még ma is őriz néhányat az egykori növényritkaságok közül) Schulek Frigyes építész szobra, valamint id. Kapoli Antal népi fafaragómester egyik alkotása áll. A kastélyban kapott helyet a Városi Művelődési Ház és Könyvtár, itt kerülnek bemutatásra az évről évre meghirdetett Országos fafaragó pályázat legszebb munkái.