Небольшая кирпичная однокупольная Скорбященская церковь построенна в 1753 году, как зимний храм при Благовещенском соборе, к северу от него. Второй престол- Марии Египетской. После постройки Тихвинской церкви занята под ризницу и библиотеку. Закрыта в 1930. В 1980-х, занята художественной галереей.

В декабре 2018 года произошло окончательное возвращение храма в состав Архиерейского подворья. А в начале 2019 с Благословения Епископа Вяземского и Гагаринского Сергия, игуменом Александром здесь открыта детская приходская группа выходного дня для детей от 7 до 15 лет.

6 ноября, впервые почти за 30 лет, храм отметил свой престольный праздник, в честь иконы «Всех Скорбящих Радости». Праздничную Литургию возглавил иерей Ростислав Суконченко, которому сослужили:

иерей Димитрий Тимофеев, протоиерей Владимир Титов, иерей Роман Ступа, диакон Димитрий Прусов.

Под праздничные песнопения хора Архиерейского подворья все присутствующие совершили крестный ход.