Wzgórze św. Wawrzyńca znajduje się obok Góry Królowej Bony (opisanej w oddzielnym artykule). Wzgórze swoją nazwę wzięło od kościoła, który stał na tym terenie. Ostatnie badania archeologiczne wykazały, że obszar ten jest średniowiecznym cmentarzem. Murowany kościół wybudowano w późnym średniowieczu; został on rozebrany w 1765 roku. W jego miejscu zbudowano kaplicę z drewnianą figurą św. Wawrzyńca, która obecnie mieści się w Muzeum Północno-Mazowieckim. Tam, gdzie znajdował się kościół, pozostały tylko resztki fundamentów. Ewangelizacja tych terenów jest ściśle związana ze św. Brunonem z Kwerfurtu. Badania naukowe wskazują, że właśnie z Łomży wyruszył on ze swoją ostatnią misją ewangelizacyjną. W 2009 roku, w tysięczną rocznicę śmierci św. Brunona, na wzgórzu postawiono krzyż.