Matejov dom bol postavený v roku 1479 vo vnútri Mestského hradu a bol včlenený do Baníckej bašty. Je to vysoká štvorposchodová stavba postavená v tesnej blízkosti slovenského kostola. Miestnosti sú zväčša plochostropé, na prízemí a prvom poschodí majú niektoré miestnosti valenú klenbu. Na fasáde je vročenie (1479), reliéfne kamenné erby Mateja Korvína a Beatrix Aragónskej a erb mesta. Priečelie zdobí kamenný balkón.
V Baníckej bašte boli počas 16.-17 stor. umiestnené delá, ktoré chránili Mestský hrad od severu. Budova neskôr slúžila ako sklad pušného prachu, ale aj obilia. V 16. stor. tu bol aj mlyn na obilie, preto sa bašta nazývala aj Mlynská.
V rokoch 1907-1909 bol Matejov dom zreštaurovaný a bola v ňom otvorená prvá expozícia múzea. V súčasnosti prebieha v priestoroch Matejovho domu komplexná rekonštrukcia objektu. Vzhľadom na skutočnosť, že posledná rekonštrukcia interiéru objektu bola realizovaná na začiatku 20. storočia pre účely 1. stálej expozície Mestského múzea, je súčasná rekonštrukcia nevyhnutnosťou.
