Неподалеку от Каменной Покровской находилась церковь в честь Параскевы Пятницы, известная также как Старо-Пятницкая. В той же описной книге за 1768 г. она названа «Пятницкая, что в стрелецкой Слободе». Деревянную Параскевинскую церковь в 1776 г. возвели именитые купцы Курдюмовы. В середине ХIХ в. между новым Покровским храмом и Параскевинской церковью было построено новое двухэтажное здание богадельни, сохранившееся до наших дней. В 1872 г.  на средства Г.М. Курдюмова его реконструировали, и с тех пор оно стало называться «Курдюмовской богадельней».

В 1869 г. приход и причет Старо-Пятницкой церкви был причислен к Покровскому храму, само же ее здание с разрешения Курской Духовной консистории было разобрано в 1899 г., а материал с нее был отправлен в деревню Михайловку (ныне – Бурынский район) для сооружения там церкви. В этой связи интересно отметить, что жители современного с. Пруды (находится в непосредственной близости от черты города) которые издревле относились к числу прихожан Пятницкой церкви а потом Покровской каменной, до сих пор празднуют день памяти св. Параскевы Пятницы как свой престольный день, причем сам праздник в этом селении называется довольно необычно – «Питюнки» или «Питюнки».