Skarszewy nazywały się po niemiecku Schöneck, czyli "piękny zakątek". To sympatyczne miasteczko prezentuje się podróżującym drogą nr 224 faktycznie pięknie. Widać z niej świetnie zachowane średniowieczne mury obronne, a za nimi ciasno "upakowane", zajmujące niezmienną od średniowiecza przestrzeń domy. W panoramie miasta dominuje dawny kościół ewangelicki z 1881 r. pw. św. Maksymiliana Kolbego. W Skarszewach uważają, że gdyby Księga Guinessa miała starszy rodowód, ich świątynia na pewno trafiłaby na jej karty. W miejscu, w którym stoi dzisiaj kościół, budowano zbory przynajmniej od początku XVII w. Walący się budynek drugiego z nich musiano rozebrać w 1741 r. Rozbiórki dokonano błyskawicznie i rekordowo szybko, bo w ciągu jednej doby, zbudowano nowy kościół. Pośpiech był uzasadniony nie tylko obawami przed zablokowaniem przedsięwzięcia przez katolickiego starostę, ale też lękiem przed wstrzymującymi decyzjami urzędników kancelarii królewskiej z Warszawy. Cieśle i murarze pracowali bez wytchnienia dzień i noc z 14 na 15 września 1741 r. Prawdopodobnie przodownicy z lat 50. XX w. spaliliby się ze wstydu, gdyby mogli zobaczyć skarszewskich budowniczych przy pracy. Zbór służył parafianom do 1881 r., po czym go rozebrano.
Na metalowym krzyżu wieńczącym dach zakrystii współczesnego kościoła zachowały się dyskretne ślady po wcześniejszych świątyniach protestanckich. Przymocowano do niego dwie blaszane chorągiewki, które dawnym obyczajem umieszczano na masztach ponad dachami. Starsza pochodzi ze zboru numer 2, z 1635 r. Nowsza zdobiła wieżę "rekordowego" kościoła z 1741 r. W mieszczącym się w Skarszewach przy ul. Szkolnej 9 Centrum Ekspozycji Historycznej można zobaczyć półksiężyc z blachy, dawniej towarzyszący XVIII-wiecznej chorągiewce. W zbiorach Centrum znajduje się ponadto wiele ciekawych eksponatów związanych z historią Skarszew. Centrum jest czynne: poniedziałki i środy w godz. 8.00-15.00, wtorki i czwartki w godz. 10.00-18.00, piątki w godz. 8.30-15.00.
Przy ul. Szkolnej warto jeszcze zwrócić uwagę na osobliwą kamieniczkę. Piętrowy budynek "wcisnął" się w czworobok dawnej baszty z linii murów miejskich. Po wzniesieniu ściany frontowej i przepruciu kilkoma otworami okiennymi grubych murów fortyfikacji powstał współczesny dom z XIV-wiecznymi ścianami.
W Skarszewach ponadto warto zobaczyć budynek będący pozostałością dawnego zamku joannitów z XIV w. oraz gotycki kościół św. Michała Archanioła z bogatym wyposażeniem.