Do pięknego budynku poczty w Siedlcach przylega piętrowa kamienica ujęta w gminnej ewidencji zabytków. Zbudowana w XIX wieku była siedzibą starostwa powiatowego. Jednak przede wszystkim budynek związany jest z ponurym okresem, który rozpoczął się po zajęciu miasta przez Armię Czerwoną w 1944 r.
W jego pomieszczeniach znalazła swoją siedzibę osławiona bezpieka, czyli Powiatowy Urząd Bezpieczeństwa Publicznego. Tutaj przetrzymywano i torturowano wrogów nowej, komunistycznej władzy. Funkcjonariusze polskiego PUBP wspierani przez sowieckie NKWD dokonali fizycznej likwidacji wielu członków patriotycznego podziemia związanych m.in. z Armia Krajową oraz Narodowymi Siłami Zbrojnymi.
Po zmianach ustrojowych na ścianie frontowej odsłonięto dwie tablice: w 1995 r. upamiętniającą wszystkich więźniów UB, a w 1998 r. 16 zamordowanych osób w nocy z 12/13 kwietnia 1945 r.