El castillo de Vélez Blanco fue declarado Monumento Nacional en 1931 y tras la aprobación de la Ley de Patrimonio Español, fue declarado Bien de Interés Cultural lo que supuso que el castillo pasara a titularidad pública.
La dinastía Fajardo vivió en este castillo hasta finales del siglo XIX,
cuando, extinguida la línea sucesoria, fue comprado por los duques de Medina Sidonia y a partir de ahí empezó a sufrir un progresivo saqueo. En 1904, sus
propietarios vendieron el Patio de Honor por 80.000 pesetas a un marchante francés. Las piezas fueron trasladadas por carretera hasta el puerto de Cartagena y embarcadas a Marsella. Posteriormente, fue comprado por el multimillonario
americano George Blumenthal, el cual lo donó en 1959 al Museo
Metropolitano de Arte de Nueva York donde fue reconstruido y actualmente se puede admirar, siendo una de sus piezas de mayor atractivo.