Per gestire i lavori di organizzazione del Museo presso l'Università di Mosca, nel 1898 fu istituito un Comitato per la Costruzione del Museo di Belle Arti Alessandro III. Il Comitato venne pensato come una comunità di volontari che desideravano partecipare in modo attivo alla diffusione sistematica delle conoscenze scientifiche nel campo delle belle arti tra diversi settori della società russa. Esso riunì la direzione dell'Università, i professori della facoltà di storia e filologia, i più alti rappresentanti del potere e i privati, che donarono soldi e opere per l'organizzazione del Museo.
Il presidente del Comitato era il Granduca Sergej Aleksandrovič (1857-1905), che aveva concesso il suo patrocinio alla creazione del Museo universitario già a partire dal 1894. Nel 1898, grazie al suo sostegno, vennero stanziati 200 mila rubli dai fondi di stato per la costruzione del Museo.
Il vice-presidente del Comitato era invece Jurij Stepanovič Nečaev-Maltsov (1834-1913), un grosso imprenditore moscovita. Grazie ai suoi mezzi furono acquistati diversi tipi di marmo per il rivestimento delle facciate e degli interni del Museo. Nel 1897 Nečaev-Maltsov donò al Museo le prime opere originali risalenti all'Antico Egitto. Sempre grazie a lui il Museo acquisì copie pregevoli di opere d'arte antiche di fama mondiale. L'imprenditore investì nella costruzione e nell'allestimento del Museo circa 2 milioni di rubli (i due terzi del costo totale del museo).
La cerimonia della posa della prima pietra dell'edificio nel Cortile delle Carrozze (Kolymažnyj dvor) si svolse il 17(29) agosto 1898 alla presenza dei membri della famiglia imperiale, del rettore e dei professori dell'Università di Mosca, dei membri del Comitato e dei vari ospiti d'onore.
Il Museo venne organizzato sulla base della collezione del Gabinetto di belle arti e antichità dell'Università di Mosca, la quale includeva vasi, una raccolta numismatica, copie in gesso di sculture antiche e una piccola biblioteca specialistica. Dopo l'arrivo di I.V. Tsvetaev alla direzione del Gabinetto, tra il 1889 e il 1890 la piccola esposizione riservata all'Università iniziò a trasformarsi in Museo di Belle arti, come struttura sia pubblica che didattica, all'interno della quale si potevano ripercorrere le principali fasi della storia dell'arte dall'antichità fino all'epoca moderna, attraverso copie scultoree in gesso, modellini architettonici, copie pittoriche e bassorilievi. Il Museo, nella sua nuova forma, divenne la prima struttura di questo tipo in tutta la Russia. Le copie e i calchi venivano ordinati da Tsvetaev presso laboratori artistici all'estero e furono realizzati direttamente dagli originali.
La maggior parte dell'esposizione del Museo era costituita dall'arte antica. La collezione presentava le ultime scoperte archeologiche dell'epoca e le riproduzioni scientifiche delle opere scultoree dell'antichità. Per l'arte medioevale e quella del rinascimento italiano e nord-europeo, presentate in Russia per la prima volta, vennero create delle sezioni apposite. Molte opere, che al Museo era possibile vedere sotto forma di copie del più alto livello, furono una vera e propria scoperta per gli amanti dell'arte anche solo per il fatto che riproducevano gli originali nelle loro reali proporzioni.
Fin dall'inizio nel Museo iniziarono a formarsi anche collezioni di opere originali, sia pittoriche, che grafiche, scultoree e decorative. La straordinaria collezione di manufatti artistici dell'antico Egitto (oltre 6 mila pezzi), raccolta dallo studioso orientalista russo Vladimir Semёnovič Goleniščev, venne acquistata dallo stato e in seguito, grazie alle premure di Tsvetaev, venne concessa al Museo tra il 1909 e il 1911. Questo fu un evento che portò subito il Museo universitario tra il numero dei pochi istituti in possesso di una simile collezione di arte dell'antico Oriente. Il diplomatico Michail Sergeevič Ščekin donò al Museo i quadri di artisti italiani e gli oggetti di arte decorativa dei secoli XIII-XV appartenenti alla sua collezione personale, la Granduchessa Elizaveta Fedorovna e il figlio del famoso letterato slavofilo, Aleksej Stepanovič Homjakov, Dmitrij Alekseevič, donarono al Museo le prime sculture italiane originali del XVI-XVII secolo, il conte Aleksej Aleksandrovič Bobrinskij, archeologo, donò candelabri, orologi e altri lavori dei maestri ferrai francesi del XVIII-XIX secolo. Grazie al nipote del collezionista il museo acquisì inoltre la collezione di opere grafiche di artisti europei e russi di Sergej Vasilevič Penskij.
Il Museo di Belle Arti "Alessandro III" venne inaugurato ufficialmente il 31 Maggio (13 giugno) del 1912. Alla cerimonia erano presenti l'imperatore Nicola II e l'imperatrice Maria Fёdorovna, vedova di Alessandro III.
Il primo direttore del Museo, a partire dal 1911, fu I.V.Tsvetaev che rimase in carica fino alla morte.
Il nuovo museo divenne subito molto popolare: durante la settimana il numero dei visitatori arrivava a 700 – 800 al giorno, e alla domenica, o in occasione di feste particolari, si arrivava anche a 2500 persone. Nelle sale si svolgevano sia le lezioni con gli studenti che le visite guidate.
Gli sconvolgimenti che segnarono l'epoca della rivoluzione non risparmiarono neanche il Museo. Nella primavera del 1923 il Commissariato del Popolo per l'istruzione dell'RSFSR decise di creare a Mosca un Museo centrale di Arte Occidentale sulla base della sezione di pittura straniera proveniente dal Museo Rumjantsev, ormai chiuso, utilizzando le sale del Museo di Belle Arti, il quale venne inoltre privato del titolo di didattico. Dal novembre del 1923 il Museo venne sottratto al patrocinio dell'Università e venne chiamato Museo Statale di Belle Arti. Nel 1924 nel Museo vennero trasferiti i dipinti provenienti dalle collezioni di Genrih Atanasovič Brokar, di Dmitrij Ivanovič Ščukin, dal fondo museale di Stato, e da alcuni musei di Leningrado.
Fino al 1930 continuò il processo di trasferimento al Museo di opere provenienti dalle tenute statalizzate della nobiltà moscovita, dal Museo di Iconografia e Pittura I.S. Ostrouhov, chiuso dai bolscevichi, e inoltre di opere dell'arte dell'Europa Occidentale provenienti dal Museo di Storia, dal Museo del Cremlino e dalla Galleria Tretjakov. Altre opere giunsero poi il Museo dall'Ermitage. Fu così che andò formandosi il nucleo della Pinacoteca dei maestri antichi dell'Europa Occidentale. La collezione di arte dell'antico Oriente venne arricchita da più di mille tavolette di testi in scrittura cuneiforme e da circa 3 mila altri manufatti dell'arte orientale antica provenienti dall'ex Museo-Istituto dell'Oriente Classico.
Nel 1932 il Museo venne ribattezzato Museo Statale di Arti Figurative e nel 1937 venne dedicato ad A.S. Puškin.
Nel 1941-1944 la maggior parte delle opere conservate nel museo venne evacuata a Novosibirsk e Solikamsk. Nel 1944 iniziò il restauro dell'edificio del Museo che durante la guerra era stato danneggiato dai bombardamenti, e venne allestita una nuova esposizione per la riapertura del Museo che avvenne il 3 ottobre 1946 sotto la direzione dello scultore Sergej Dmitrevič Merkurov, del vice-direttore per la ricerca, professor Boris Robertovič Vipper e del curatore capo, Andrej Aleksandrovič Guber. Ricominciarono subito le attività finalizzate a far conoscere il museo e le sue collezioni a un ampio pubblico, oltre a quelle di allestimento delle esposizioni e di sostegno alle spedizioni archeologiche che il Museo patrocinava in Crimea e a Taman fin dal 1927.
Oltre alle spedizioni regolari nei territori a settentrione del Mar Nero tra il 1951 e il 1973, il Museo prese parte anche a una spedizione archeologica nella zona transcaucasica dove si trovava Erebuni, una città dell'antico regno di Urartu.
Nel 1948, in seguito alla chiusura del Museo Statale d'Arte occidentale moderna e con la spartizione della sua collezione tra Mosca e Leningrado, il Museo acquisì più di 300 nuovi dipinti e oltre 80 opere scultoree di artisti europei e americani della seconda metà del XIX secolo – primo terzo del XX secolo, per la maggior parte le opere degli impressionisti e post-impressionisti francesi provenienti dalle famose raccolte dei collezionisti moscoviti Ivan Abramovič Morozov e Sergej Ivanovič Ščukin. Grazie a questa ultima acquisizione il Museo completò il suo arco cronologico fino quasi all'età contemporanea diventando così famoso come uno dei possessori di capolavori di livello mondiale.
Dalla fine del 1949 fino al 1953 la maggior parte delle sale del Museo era occupata dall'esposizione dei regali per I.V.Stalin. Tuttavia, il 15 dicembre 1953, l'esposizione principale venne nuovamente allestita e, a partire dalla metà degli anni '50, l'attività espositiva del Museo andò acquisendo sempre più slancio. Durante la sua esistenza il Museo ha ospitato in tutto più di 1200 mostre, esponendo al pubblico sia le opere provenienti dal fondo del museo, sia da molte altre collezioni di musei russi e stranieri.
Uno degli eventi più significativi per la vita culturale di Mosca fu l'esposizione nel 1955 dei capolavori provenienti dalla Pinacoteca di Dresda. Questa fu la prima di una serie di mostre in cui vennero esposte opere che erano state portate in Unione Sovietica durante la Seconda guerra mondiale e scrupolosamente conservate dai collaboratori del Museo.
Nel 1985, su proposta del collezionista sovietico Ilja Samojlovič Zilberštejn e del direttore del Museo Irina Aleksandrovna Antonova, venne creato il Reparto Collezioni Private. Per la prima volta intere collezioni, e non solo singoli pezzi, venivano assunte nella loro integrità come oggetto di studio ed esposizione museale. Il reparto è stato aperto al pubblico in un edificio a parte appositamente restaurato (Volchonka n° 14), il 24 gennaio 1994. Nel 2005 il reparto è stato trasferito nei locali situati al n°10/2 della stessa via.
A partire dall'agosto dello stesso anno, in quelle che erano state le sale del Reparto Collezioni Private, è stata allestita un'esposizione, molto ampliata, della collezione pittorica e scultorea del Museo relativa al XIX e XX secolo. L'edificio è stato quindi battezzato Galleria d'Arte europea e americana del XIX-XX secolo.
Nel 2006 presso il Museo, in una palazzina antica situata nelle vicinanze, è stato aperto il Centro di Educazione estetica per bambini e ragazzi "Museion" (vicolo Kolymažnyj, 6/2, 3).
Il Museo ha inoltre diverse filiali anche in altri quartieri di Mosca. Nel 1996 fu organizzato il Museo Artistico-Didattico "I.V.Tsvetaev" come un reparto del Museo, situato nell'edificio dell'Università Statale Russa di discipline Umanistiche (RGGU). Venne inaugurato il 30 Maggio 1997 in Via Čajanova n°15. La sua esposizione è costituita dai gessi provenienti dal preesistente Museo Universitario che non sono entrati a far parte dell'esposizione principale del Museo "A.S. Puškin".
A partire dal 1981, su proposta di Svjatoslav Teofilovič Richter, il museo ha iniziato ad ospitare il festival musicale internazionale "Serate di dicembre", dal 1997 denominate "Serate di dicembre di Svjatoslav Richter". Dal 1999, per volere del musicista, è entrato a far parte del Museo anche il suo appartamento-memoriale (Bolšaja Bronnaja n° 2/6, 58).
Al momento attuale la raccolta del Museo Statale di Belle Arti "A.S.Puškin" conta più di 670 mila opere tra dipinti, sculture, opere grafiche e decorative, materiale archeologico e numismatico, fotografia artistica.