Muito próxima do Mosteiro dos Jerónimos, a quinta, cuja muralha era banhada pelo Tejo, pertencia no século XVI a D. Manuel de Portugal, filho do 1º conde de Vimioso. e foi sua filha, D. Joana que a vendeu a Fernão da Silva, sogro do 1º conde de São Lourenço. Nesta família se conservou com a designação de Quinta de São Lourenço até D. Mariana Rosa de Lancastre, viúva do 5º conde D. Rodrigo de Melo da Silva, a vender em 1745, ao rei D. João V.
Pouco depois do terramoto de 1755, seu filho, o rei D. José I, decidiu doá-la ao seu estribeiro-mor,. D. Pedro José de Alcântara de Menezes, 4º marqués de Marialva, em remuneração dos serviços de seu pai, D. Diogo de Noronha, cujo palácio em Lisboa, situado onde hoje se ergue a praça Luis de Camões, no Chiado, tinha sido completamente destruído pela catástrofe.
Morrendo o 4º marquês, D. Pedro, em 1799, viria a herdá-la sua filha D. Ana José de Noronha e Menezes, casada com o conde de Vale de Reis, Nuno Rolim de Moura, de quem foi filho o 1º marquês de Loulé, Agostinho de Mendoça Rolim de Moura Barreto, ficando a partir de então na posse dos Duques de Loulé.
Com a morte da 3ª duquesa, D. Maria Domingas, em 1929, sua sobrinha e herdeira D. Maria Constança vendeu a quinta ao Estado Português, que aí instalou nesse mesmo ano de 1929, o Liceu D. João de Castro, mantendo-se até 1939.
Foi depois sede de outras instituições do Estado - comissão administrativa da Exposição do Mundo Português, das obras da Praça do Império, etc. - e, finalmente em 1962, acabaria por ser demolida.
Nesse espaço veio a erguer-se, com obras que se realizaram entre 1989 e 1992, o Centro Cultural de Belém.