Wzgórze św. Wawrzyńca znajduje się obok Góry Królowej Bony. Wzgórze swoją nazwę wzięło od kościoła, który stał na tym terenie. Ostatnie badania archeologiczne wykazały, że obszar ten jest średniowiecznym cmentarzem. Murowany kościół wybudowano w późnym średniowieczu; został on rozebrany w 1765 roku. W jego miejscu zbudowano kaplicę z drewnianą figurą św. Wawrzyńca, która obecnie mieści się w Muzeum Północno-Mazowieckim. Tam, gdzie znajdował się kościół, pozostały tylko resztki fundamentów. Ewangelizacja tych terenów jest ściśle związana ze św. Brunonem z Kwerfurtu. Badania naukowe wskazują, że właśnie z Łomży wyruszył on ze swoją ostatnią misją ewangelizacyjną. W 2009 roku, w tysięczną rocznicę śmierci św. Brunona, na wzgórzu postawiono krzyż (źródło: www.polskaniezwykla.pl)