Pierwszymi znanymi właścicielami wsi Rembów (dawniej Podgrodzie) byli członkowie rodu Odrowążów. Oni to (Krzesław lub Jakub) najprawdopodobniej zbudowali zamek na pocz. XIV w. nazwany Szumsko.
Warownię wybudowano na cyplu wzniesienia, którego nasadę odcięto rowem. Zamek posiadał mur obwodowy z piaskowca w kształcie nieregularnego owalu. Brama została umieszczona w południowej części zamku, a na wschód od niej stał budynek przybrania. W centrum dziedzińca stała wieża na planie kwadratu, która przylegała do wydłużonego domu. We wschodniej części dziedzińca stała kolejna wieża, a jedyną częścią zamku wychodzącą poza mury był wsparty na dwóch przyporach wykusz.
Po 1357 r. wieś z zamkiem stała się własnością Poraitów. Ród ten opuścił Szumsko po tym jak zbudował dla siebie zamek w Kurozwękach. Wówczas to zamek został częściowo rozebrany. O upadku zamku zadecydowała nie tylko zmiana właściciela (i wybudowanie nowej siedziby), ale przede wszystkim jego błędne umiejscowienie na zaglinionym lessie, co powodowało osuwanie murów. Obecnie z zamku pozostały jedynie mury fundamentów.