Das Mathias-Haus wurde im Inneren der Stadtburg im Jahre 1479 gebaut und in die Bergmannsbastei eingegliedert. Es ist hohes vierstöckiges Gebäude, gebaut dicht an der slowakischen Kirche. Die Räume haben meistens flache Decken, im Erdgeschoss und der ersten Etage haben einige Räume auch das Tonnengewölbe. An der Fassade sind das Baujahr (1479), reliefartige Steinwappen des ungarischen Königs Mathias Corvinus und seiner Gemahlin Beatrix von Aragon und das Stadtwappen angebracht. Die Frontfassade ist mit einem Steinbalkon verziert.
In der Bergmannsbastei waren im 16.-17 Jh. Kanonen untergebracht, die die Stadtburg vom Norden beschützten. Später diente das Gebäude als Schießpulverlager, aber als auch Getreidelager. Im 16. Jh. war hier auch eine Getreidemühle, deswegen hat man die Bastei auch „Mühlenbastei“ genannt.
In den Jahren 1907-1909 wurde das Mathias-Haus restauriert und es wurde hier die erste Ausstellung des Museums eröffnet. Gegenwärtig verläuft in den Räumlichkeiten des Mathias-Hauses eine komplexe Rekonstruktion des Objekts. Mit Hinsicht darauf, dass die letzte Rekonstruktion Anfang des 20. Jh. zwecks der 1. Dauerausstellung des Stadtmuseums realisiert wurde, ist die heutige eine Unumgänglichkeit.