Według legendy, starej jak sam Sandomierz, kościół pod wezwaniem św. Jakuba i klasztor dominikanów wybudował św. Jacek Odrowąż. Był on jednym z pierwszych sandomierskich dominikanów i bratankiem biskupa krakowskiego Iwo Odrowąża.
Plac, na którym znajduje się cały zespół klasztorny, należał do Konrada. Znany sknera i niedowiarek miał przekazać plac pod budowę za darmo, jeśli św. Jacek dokona cudu. I Jacek cudu dokonał, posadził lipy wokół placu korzeniami do góry. Dzięki żarliwej modlitwie zakonników drzewa wyrosły, a w ciągu wieków ich korzenie zamienione w konary przybrały ciekawe i niespotykane kształty, do dzisiaj zdobiąc otoczenie kościoła.
Najstarsze egzemplarze drzew mieszczą się koło wejścia do kościoła, lecz poprzez pielęgnacyjne cięcia zatraciły swój niezwykły wygląd. Jako ciekawostkę dodam, że św. Jacek sprowadził z Włoch nieznaną wcześniej w Polsce odmianę orzecha. Doskonałe warunki glebowe Sandomierszczyzny przyczyniły się do rozpowszechnienia tej odmiany orzecha zwanego powszechnie "Jackiem".