La historia de la RACMYP está íntimamente ligada a la del edificio civil más antiguo de Madrid, la Casa y torre de los Lujanes, construida a medidos del siglo XV y salvada de la demolición para convertirse en sede de la academia.
El 1 de mayo de 1866, la academia celebró su primera sesión en la casa. Comenzaba entonces el proceso de recuperación de un edificio histórico, en donde se sostiene que estuvo prisionero el rey de Francia Francisco I, en el siglo XVI.
Partiendo de un estado ruinoso que la abocaba a la piqueta, poco a poco, la casa fue recuperando el esplendor de sus orígenes. Hoy, es un edifico plenamente consolidado, después de amplias restauraciones en 1992 y 1998, realizadas con el apoyo de instituciones estatales, madrileñas y privadas.
El conjunto monumental. La Casa y torre de los Lujanes data de la segunda mitad del siglo XV, cuando la Plaza de la Villa (entonces de San Salvador), se situaba en el eje de la vida urbana madrileña. El conjunto es de estilo mudéjar y consta de un caserón señorial y una robusta torre. A fines del XV, la casa se repartió entre los hermanos Álvaro (el número 3) y Juan de Luján (el número 2). Destacan el portal gótico, con los escudos familiares, junto con la puerta de herradura, en la fachada de la torre que da a la calle del Codo, única en su género en Madrid.
Los ambientes isabelinos: la biblioteca Colmeiro, el salón de la Reina y la sala de Juntas. Este es el corazón de la academia. Conserva todo el espíritu y la decoración isabelina de la década de 1860, cuando se estableció la sede en esta casa. La biblioteca Colmeiro es muy singular, de madera y techos artesonados. Cuenta con una angosta galería a la que se accede por cuatro escaleras de caracol escondidas tras puertas circulares de madera. El salón de la Reina se utiliza para los actos más institucionales, particularmente para los discursos de ingreso. Finalmente, la sala de Juntas, con amplias ventanas que miran al palacio del ayuntamiento, esta preparada para las ponencias de los plenos que semanalmente reúnen a los académicos.
La torre. Es una construcción maciza, herencia defensiva de los castillos medievales, en este caso de carácter más simbólico. Tiene tres plantas, rematada por una torreta con cubierta a cuatro aguas. Dado que era uno de los edificios más altos de la capital, en su azotea se instaló en la primera mitad del siglo XIX un telégrafo óptico de la línea Madrid-Aranjuez.
La escalera gótica. Procedente del antiguo Hospital de La Latina, la bella balaustrada de la escalera gótica es uno de los elementos más antiguo de la casa y uno de los pocos restos preservados del gótico en Madrid.
El patio toledano. Es uno de los dos patios que forman el conjunto de la Casa y torre de los Lujanes. Cuenta con una fuente central y esta rodeado por elegantes columnas toledanas y antiguas vigas de madera.