La fundación se debe a la Duquesa viuda de Lerma quien restauró y acondicionó el antiguo Hospital de Tavera, también denominado Hospital de Afuera y la vinculó a la casa de Medinaceli. El edificio fue erigido, en 1544, por el Cardenal Tavera, enterrado en la Iglesia del Hospital y cuyo sepulcro es obra de Alonso Berruguete. El proyecto lo hizo Bartolomé de Bustamante, continuando las obras Covarrubias, los Vergara y, más tarde, Vandelvira. El museo expone importantes pinturas de El Greco y diversos maestros de primerísima fila: Ribera, Berruguete, Tintoretto, Lucas Jordán, Canaletto, Tristán, Sánchez Coello, etc. que alternan tapices, mobiliario y objetos suntuarios con una magnífica biblioteca. Su famosa farmacia guarda una importante colección de botes de cerámica de Talavera y Puente del Arzobispo, destacando en el conjunto de tarros, redomas y frascos un mueble decorado y con un gran número de cajones, denominado el ojo del boticario. Especial mención debemos hacer del patio renacentista.