Музей сооружался в центре города на территории бывшего Колымажного двора. Просветители народа, московские профессора, хотели, чтобы в городе каждый бы мог увидеть, хотя бы в копиях, слепках, великие творения мастеров прошлых веков.

Профессор Московского университета Иван Цветаев (отец Марины и Анастасии Цветаевых, одна из которых стала великим русским поэтом) поставил цель построить такой музей. За большие деньги в Европе выполнялись искусные слепки и привозились в Москву. В это же время возводилось крупнейшее здание Музея. Единомышленник профессора архитектор Роман Клейн создал проект дворца с колоннадой, роскошными залами, способными принять громоздкие экспонаты, фрагменты фризов, врата, конные статуи, копии тех, что украшали города и музеи Европы.

Государство не особенно шло навстречу профессору, выговаривая ему устами петербургских сановников, что народу нужны лапти, а не картины. Музей, несмотря на все трудности, был выстроен в основном на частные деньги. Имена и барельефы профессора Цветаева и архитектора Клейна запечатлены на мраморе памятных досок у парадного входа.

Председателем комитета по устройству музея был великий князь Сергей Александрович, убитый террористом Иваном Каляевым.

Музей изящных искусств имени Александра I открылся в присутствии императора и царской семьи в 1912 году. После этого сестры перестали ревновать отца к "старшему брату", как иронически называли они музей. Выполнив свой долг, профессор вскоре умер.

Из хранилища копий, слепков, учебно-дидактического учреждения дворец на Волхонке быстро превратился в музей подлинников. В него вошла коллекция египтолога В.С. Голенищева, собравшего памятники Древнего Египта, античные вазы и монеты, картины западноевропейских мастеров.

В 1918 году на Волхонку после национализации частных собраний стали поступать картины из квартир и особняков аристократов, промышленников, коммерсантов, многие из которых бежали за границу. Сюда попали также картины из закрытого Румянцевского музея, западноевропейская живопись из собраний фабрикантов братьев Третяковых, Ивана Морозова, братьев Щукиных, картины А.А. Брокара, В.Е. Мандло и многих других. Таким образом, быстро сформировалась картинная галерея, вторая по значению после Эрмитажа.