Музей был учрежден 1 января 1934 г., одновременно с учреждением Академии архитектуры СССР, подразделением которой он являлся. В нем работали крупнейшие отечественные специалисты по истории и теории архитектуры. В 1935 г. ему были переданы территория и постройки Донского монастыря. Основная экспозиция разместилась в Большом соборе. Внутри монастырских стен под открытым небом установили художественные фрагменты разрушенных памятников, спасенные сотрудниками музея, и ставшие частью коллекции.

Объектом музейного собирания и показа была заявлена мировая архитектура от древних времен до XIX в. Фонды музея объединяли материалы по русской архитектуре, составлявшие большую часть собрания, с материалами по европейскому, византийскому, ближневосточному зодчеству. Имелись даже такие экзотические экспонаты, как образцы-макеты новозеландских хижин и индокитайских свайных жилищ. Ключевым предметом показа стали сами сооружения монастыря и сохранившийся некрополь XVIII-XIX вв.