W XII w. Mistrz Krzyżacki Herman von Blank zbudował w Starogrodzie drewniany gród warowny, na miejscu którego w połowie XIII wzniesiono murowany zamek. Został on siedzibą mistrzów krajowych, a potem komturów, zarządców prowincji.
W 1242 r. Krzyżacy przywieźli z Sartowic relikwie św. Barbary i od tego czasu zamek stał się miejscem kultu religijnego. Pielgrzymowali tu m.in. król Czech Wacław, żona księcia litewskiego Witolda, kardynałowie Włoch i Węgier oraz hrabiowie Anglii.
Na zamku w Starogrodzie sporządzono i podpisano akt lokacyjny dla Torunia i Chełmna. Na początku XV w. przeszedł na własność biskupów chełmińskich. W 1623 r. zamek wizytował król polski Zygmunt III Waza. Podczas potopu szwedzkiego warownia znacznie ucierpiała i pomimo remontu w XVII w. zaczęła podupadać.
Pod koniec XVIII w. zamek został zburzony i rozebrany, do naszych czasów nie zachował się żaden z elementów budowli.