En 1820, Manuel Silvela fundó en este bello palacete dieciochesco, el Colegio para los jóvenes españoles. La institución regentada por el antiguo alcalde de Madrid fue el punto neurálgico de las conferencias y cafés literarios de los selectos exiliados peninsulares y americanos. Entre sus huéspedes permanentes se encontraba Moratín.
“Tengo jardín, emparrado, flores, árboles, sol y sombra; tengo largos y espaciosos salones en los que poder pasearme, mesa de billar, etc, etc. Como en refectorio acudo por la noche al teatro y vuelvo a casa en coche”. (Carta de Moratín a Juan Antonio Melón, Burdeos, 2 de marzo de 1822)