Двухэтажное здание в юго-западной части кремля было построено в третьей четверти XIX века для размещения в нем духовного училища. Позднее в здании размещались городские присутственные места, а в 1922 году сюда переехал Зарайский краевой музей, основанный в 1918 году.

Ядро богатейшей музейной коллекции составили еще не уничтоженные в революционном вихре художественные ценности, архивы из дворянских усадеб Зарайского уезда. С 1936 по 2014 г. музей располагался в Троицкой церкви за пределами кремля, а здание Присутственных мест в те десятилетия становилось то больницей, то госпиталем, то школой, но в конце столетия вновь было передано музею и долгое время реставрировалось.

В настоящее время здесь размещена постоянная экспозиция Государственного музея-заповедника «Зарайский кремль». Здесь можно увидеть предметы эпохи палеолита, в том числе шедевры первобытного искусства, обнаруженные вблизи стен кремля. Русское искусство XVIII – начала XX века представлено купеческими и дворянскими портретами, среди которых наиболее ярко выделяется портрет графини М.А. Келлер кисти Леона Бакста, а также работами русских передвижников. Зарубежное искусство представлено как образцами европейской живописи XVII–XIX века, так и предметами из собраний мебели, художественной керамики, бронзы, оружия производства стран Западной Европы и Дальнего Востока.