Drewniana budowla, która powstała zapewne w wieku XII, w latach 1223-28 stanowiła siedzibę zakonu norbetanek, które w tutejszych zabudowaniach prowadziły szkołę. Gdy siostry przeniosły się niebawem do miejscowości Czarnowąsy koło Opola, Rybnik znalazł się ponownie w rękach książąt opolskich, a następnie raciborskich. Wraz z miejscowością przypadł im też zamek. Pełnił on typowo obronną funkcję, czemu sprzyjały otaczające go wały ziemne oraz okoliczne stawy. W XIV w. powiększający się zamek stał się budowlą murowaną, a kamienne fortyfikacje wokół podniosły jego walory obronne.
W XV w., gdy Rybnik stał się stolicą księstwa obejmującego także Pszczynę, nastąpiła kolejna przebudowa. Zamek stał się wówczas rezydencją księcia Wacława III Rybnickiego. Utracił on władzę w 1473 r., a kolejni, zmieniający się właściciele niezbyt dbali o budowlę, która zaczęła popadać w ruinę. Stan ten uległ zmianie w połowie XVII w., gdy ówczesny właściciel miasta, Jan Bernard Prażma, podjął się ambitnej przebudowy obiektu na rezydencję pałacową. Dzieło to kontynuowali po jego śmierci także nowi właściciele, Oppersdorfowie. W rezultacie tych prac powstał dwupiętrowy, masywny pałac z dominującą nad nim wieżą. Kolejni po Oppersdorfach (od roku 1682 roku) właściciele, hrabiowie Węgierscy, dobudowali w XVIII w. dwa skrzydła boczne.
W roku 1788 państwo rybnickie znalazło się w rękach króla Prus, Fryderyka Wilhelma II. Dotychczasowy główny gmach pałacu został wówczas rozebrany, a na jego fundamentach wzniesiono w roku 1789 nowy korpus, łącząc go z pozostawionymi skrzydłami bocznymi. Pracami tymi kierował Fryderyk Ilngner. W pałacu urządzono wówczas przytułek dla inwalidów wojennych. Późnobarokowo-klasycystyczna forma zachowała się do czasów dzisiejszych. Od połowy XIX wieku mieściły się tutaj sądy i tę funkcję budynek pełni do dziś.
